胡藩字道序，豫章南昌人，他祖父胡随，官至散骑常侍。父亲胡仲任，官至治书侍御史。
胡藩很小便死了父母，在丧事期间非常悲痛，以此著名。太守韩伯看见他，对他的叔父尚书胡少广说：“你的这个侄儿一定会以义气成名。”本州本府征调他，他没有应任，等待两个弟弟结婚后，他才当郗恢的征虏军事。当时殷仲堪当荆州刺史，胡藩的舅兄罗企生当仲堪的参军，胡藩请假回家，经过江陵，探望企生。殷仲堪邀请胡藩相见，接待他很隆重。胡藩趁便劝说殷仲堪：“桓玄意气不凡，每每不满于他的职务，足下对他太好，恐怕不利于将来。”仲堪脸上顿时露出不愉快的神色。胡藩退回对罗企生说：“倒着战戈给人一定会招致大祸。如果不早点打算避开，后悔就来不及了。”桓玄从夏口袭击殷仲堪，胡藩当桓玄的参后军军事。殷仲堪失败，罗企生果然因为跟从殷仲堪而遇到灾难。胡藩则转任参太尉、大将军和相国军事。
刘裕的起义开始，桓玄被击败准备出逃，胡藩在南掖门拉住桓玄的马缰绳说：“今日羽林射箭能手还有八百人，他们都是桓家老部下，又是西楚人氏，一旦不利用他们，想回去哪有什么可能呢？”桓玄只用马鞭指着天说天命而已。于是胡藩和桓玄逃散分开。他到芜湖追赶上桓玄，桓玄看见胡藩，高兴地对张须无说：“你们州本来很多义士，今日又见到王叔治。”桑落州战役中，胡藩的船被烧，他穿着一身铠甲潜入水中行走三十余步，才得登岸。起义军逼近，胡藩不能向西，于是回家。高祖一向听说胡藩对殷仲堪讲真话，又为桓玄尽忠，召他为员外散骑侍郎、参镇军军事。
胡藩随同征讨南燕慕容越，敌人屯驻临朐，胡藩对高祖说：“敌人屯兵城外，留下的守兵必然很少，现在前往攻城，敌兵看见城池陷落，必定一下子逃散，这也是韩信击败赵兵的法子。”高祖于是派檀韶和胡藩暗中前进，宋军一到，便攻下临朐城，燕兵一时间逃跑，回保广固城几个月。广固将攻拔的夜晚，宋军将佐都在座，突然有一只像鹅一样的青黑色的大乌鸦，飞入高祖的军帐，众人都非常惊骇，以为是不祥之兆。胡藩上前祝贺道：“青黑的颜色，正是胡人的颜色，胡人投降我们，这正是大吉的征兆。”第二天早晨，宋军攻城，拔下了广固。胡藩又随同讨伐在左里的卢循，连续战斗都有军功，被封为吴平县五等子爵，任正员郎。不久转任宁远将军、鄱阳太守。
胡藩又随同讨伐刘毅。刘毅当初到荆州，上表请求走东面回到京口，辞别先人庐墓，离都城几十里，不到皇宫拜谒而过。高祖到倪塘会见刘毅。胡藩劝高祖在会见中杀了刘毅，高祖没同意。高祖到这时对胡藩说：“当年如果听从你在倪塘的计策，就不需要今日的行动了。”胡藩又随同征伐司马休之，再当参军，加号建武将军，在江津一带率领游军。徐逵之败亡，高祖非常愤怒，当天便在马头岸渡长江，但江岸险峭，耸立几丈高，司马休之在岸边布阵，官军无法上岸。高祖叫胡藩马上上岸，胡藩有些犹豫，高祖更加愤怒，叫左右的人把胡藩捆来，想将他斩首。胡藩不接受砍头的军令，回过头来说：“胡藩宁愿上前战死！”他用刀头凿岸壁，稍微能容脚掌，于是直接登上，随他上岸的人稍稍多起来。官军登岸之后，都拼死奋战，司马休之的部队挡不住，只好退却，官兵乘机追击，司马氏部队瞬间逃散。
高祖征讨后秦姚泓，暂任胡藩为宁朔将军、参太尉军事，统率一支独立的部队。到河东，大风把胡藩的船只吹到北岸，魏人牵住这些船只，拿取其中的器物。胡藩非常愤怒，带身边十二人，乘小船直驶河北。敌人骑兵五六百看见胡藩都笑他胆大。胡藩向来会射箭，登上河岸便射击敌人，敌人应声而倒的有十来人，其他的人便连忙奔逃，胡藩把失落的船只物品全部收回。刘裕又派胡藩和朱超石等人追击在半城的魏人，魏人骑兵几层包围宋兵，胡藩和朱超石带的都是刚分配的新兵，不满五百人，但他们率兵激战，大败敌军。又和朱超石等人进击在蒲坂的姚业，朱超石败而退回。胡藩收集朱超石丢下的器械物资，慢慢地退回，姚业不敢追击。
高祖回到彭城，胡藩当参相国军事。当时卢循余党和苏淫等亡命徒相互勾结，用苏淫为始兴相。高祖因平定打败司马休之和攻广固的功劳，封胡藩为阳山县男，食邑五百户。少帝景平元年(423)，胡藩因为防守东府，擅自打开边门，被免去官职，不久又恢复他的职位。元嘉四年(427)胡藩迁任建武将军、江夏内史。七年(430)被征调为游击将军。到彦之北伐，南兖州刺史、长沙王刘义欣进据彭城，胡藩出外戍守广陵，代管州府事务。又转任太子左卫帅。十年(433)，胡藩逝世，享年六十二岁，被谥为壮侯。他的儿子胡隆世继承他的职位。隆世去世，儿子胡乾秀继承。胡藩非正妻生的儿子有六十人，多数不遵守法纪。