王镇之字伯重，琅笽临沂人，是隐士王弘之的哥哥，曾祖王訥，是晋代的骠骑将军。祖父王耆之是中书郎，父亲王随之，是上虞县令。
王镇之开始当琅笽王卫军行参军，出外补任剡县和上虞县令，在任上都有能干的名声。内史谢车酋请王镇之当山阴县令，他再一次作出了特别的成绩。升官卫军参军，本国郎中令，加号宁朔将军。桓玄辅佐晋朝，用他当大将军录事参军。当时三吴发生饥荒，派遣王镇之带着朝廷命令赈济灾民，但是会稽内史王愉不接受圣旨，王镇之按法律弹劾了他。王愉的儿子王绥，是桓玄的外甥，当时是非常显赫的人物。王镇之便遭到他的排挤。王镇之因为母亲年老便以此作为借口请求补任安成太守，到了桓玄失败时，桓玄的部将苻宏侵略本郡边境，王镇之抵抗了一年多，兄弟子侄五人都在战斗中牺牲。母亲去世他就离职，因为在做官时清廉正直，他的妻子儿女无法得到完全的物质供应。于是丢下家庭带着母亲灵柩回到上虞祖先坟墓，安葬完毕，为儿子王标之请求任安彳复县令，随同儿子到任上做官。三年守孝期满，当征西将军刘道规的司马，南平太守。徐道覆进逼江陵。朝廷增加王镇之建威将军的官号，统率檀道济、到彦之等人讨伐徐道覆，王镇之因为未搞过军事，坚决辞让，但没被允许。既而他的先锋将军打败了。王镇之以大兵身份兼任官职，不久又恢复官职。因为讨伐徐道覆的功劳，封爵华容县五等男、被征为廷尉。晋穆帝何皇后在建陵墓时，王镇之任将作大匠(工程总管)，又进官御史中丞。因为刚正不阿，朝中百官都怕他。
接着王镇之出外当使持节，都督交广二州诸军事，建威将军、平越中郎将、广州刺史。高祖对人说：“王镇之青年便建立清廉名誉，他必定会成为吴隐之之后最好的官吏。岭南的弊病必定会一洗干净。”在任上不接受俸禄，离开广州时，和初至广州时几乎一样干净。高祖刚开始建立相国府，用他当谘议参军，兼领录尚书事。王镇之在行政上特别能干，虽然严厉，但不残酷，又升官宋国宫廷的祠部尚书。高祖刘裕即位做皇帝，王镇之以脚病名义申请辞职，刘裕让他出外当辅国将军、琅笽太守，又升官宣训卫尉，并任本州大中正。永初三年，在任上逝世，时年六十六岁。他弟弟王弘之的事迹在《隐逸传》之中。