荀勖字公曾，颍川颍阴人，是汉司空荀爽的曾孙。祖父荀非木，是射声校尉。父亲荀月八十，早死。荀勖幼年寄托在舅父家里。奇异早熟，十几岁能写文章。从外祖父魏太傅钟繇说：“此儿将来会赶上他曾祖父。”长大后学识渊博，有从政的本领。在魏做官，被大将军曹爽征召为掾属，又迁为中书通事郎。曹爽被杀，他的门生故吏都不敢去收尸办丧，荀勖独自去处理丧事，其他人才敢跟着去。后又做安阳令，转为骠骑从事中郎。荀勖受百姓爱戴，安阳人为他立了生祠。提升为廷尉正，参与文帝大将军军事谋划，赐爵关内侯。转为从事中郎，兼记室职。
高贵乡公率兵攻文帝时，大将军掾属孙佐等守阊阖门。文帝之弟安阳侯司马干听说发生兵变，要进阊阖门，孙佑对司马干说：“还没有人进这个门，可从东掖门进去。”司马干进去后，文帝说他来得太晚了，司马干将来迟的原因说明后，文帝欲将孙佑处以灭族之罪。荀勖进谏说：“孙佑不让安阳侯进门，确实应深受责备。然而事情总有顺心的不顺心的，用刑轻重不能以喜怒为转移。成亻卒有罪，刑只及于本人，而孙佑却要全族诛灭，恐怕义士们会有议论的。”于是只免孙佑为庶人。
当时官骑路遗请求作为刺客入蜀行刺，荀勖对文帝说：“明公您以至公之道治理天下，应举正义之师以伐叛贼，用行刺的办法去除贼，这不是以德服远人，也不能为四海之人做榜样。”文帝认为这个意见很好。
钟会在蜀谋反，没有得到确实消息，只是外人传闻，文帝平素待钟会甚厚，不相信他会谋反。荀勖说：“钟会虽然受了您的恩，然此人不能看作是得恩而思义的人，不能不早作戒备。”文帝立即出镇长安。主簿郭奕、参军王深认为荀勖是钟会的从外甥，幼年在舅家长大，劝文帝将荀勖贬出去。文帝不听，并且使荀勖与自己同车陪坐，像原来一样对待他。在此之前，荀勖进言：“伐蜀应以卫馞为监军。”及平蜀后发生钟会叛乱，有赖于卫馞才得平息。钟会被平定后，回到洛阳，荀勖与裴秀、羊祜共管国家机密。
当时将要派使者出使东吴，让当时文士草拟与孙皓书，文帝选用了荀勖所作的。孙皓接书后回报愿意和亲通好，文帝对荀勖说：“君以前作的那封书使吴顺服，真是胜过十万大军啊！”文帝即晋王位，以荀勖为侍中，封安阳子，食邑一千户。武帝受禅让即帝位，改封为济北郡公。因为羊祜辞让封爵，荀勖也辞让接受封爵。拜为中书监，加侍中，领著作，与贾充共同制定律令。
贾充将要去镇守关中，荀勖对冯..说：“贾公远放外任，我等在朝会失势。太子的婚事未定，若使贾充的女儿为太子妃，则贾充自然会留在京师任职了。”于是荀勖与冯..找机会在武帝面前称道：“贾充女才色绝世，若纳入东宫，必然能扶助未来人君，有像《诗经·关雎》所歌颂的后妃之德。”太子的婚事就这样定下来了。此事甚为当时正直之士所愤恨，讥讽荀勖是奸佞谄媚之徒。过了很久，又晋位为光禄大夫。
荀勖曾掌管音乐，他所修订的音律流行于世。当初，荀勖在路上听到赵地商人的牛铃声，识辨其中音律。掌管音乐之后，音调不能协调，对人说：“得到赵地的牛铃音调就会协调了。”即下令让郡国都送牛铃来，果然得到音调和谐的牛铃，调好了音律。荀勖曾在武帝旁边进饭，对在座的人说：“这饭是受过劳苦的柴烧成的。”在座的人都不相信。武帝派人问厨师，厨师说：“是用旧车脚烧的饭。”举世都佩服他明智多识。
不久任秘书监，与中书令张华一起按照汉刘向的《别录》整理古籍。又立书博士，设置博士弟子，教习书法，以钟繇、胡毋敬的为规范。
咸宁初年(275～280)，与石苞等并为开国功臣，列入铭功配飨的元勋。王氵睿上表请求伐吴时，荀勖与贾充坚决谏阻，以为吴不可伐，武帝没有听从他的意见，而伐吴果然成功。因荀勖专管诏命，论功封其一子为亭侯，食邑一千户，赐绢千匹。又封其孙荀显为颍阳亭侯。
汲郡古墓中古文竹书被发现后，皇帝下诏让荀勖编撰整理，成为《中经》，作秘书收藏。
当时朝中议论让王公们都到封国就职，武帝以此事问荀勖，荀勖回答说：“诸王公多已任都督之职，若使其回封国，则都督地方之任废弃。按封国治理，必然分割郡县，人心恋眷乡土，必因此而心意不顺。封国都要置军队，官兵还要供封国使用，守边的军队就会不足。”武帝让荀勖再作考虑，荀勖又陈述说：“如果按照诏书仿效古代诸侯选拔人才，使军务与政令合一，在封国地域都督军务，则诏书旨意是对的。至于将固定的封疆割裂开，而又亲疏不同，这当然也是好的。然而使旧土割裂，恐怕会发生动荡，必使人心急促生变。我审慎思虑，私下认为还是应依原制不动。若遇到某种情况，不得不转移封地，只要不至于分割土域，损夺封国之利，是可以相宜行事加以节度的。五等封国行于远古，今日实不成制度，只是虚名，事实上和旧时的郡县乡亭的封制无异。若匆忙改变，恐怕将成遗憾。当今先解决大的问题，五等爵制问题可等以后再裁定。凡事虽有经久而更加完善者，而临时有不得不解决的问题，也不可忽视。”武帝认为荀勖的意见允当，很多地方都听从他的。
当时朝中又议论裁减州郡县官吏半数去支援农业，荀勖提出意见认为：“省吏不如省官，省官不如省事，省事不如清心。昔日萧何、曹参为汉相，怀清静之心，百姓有‘萧何为法，觏若画一’的歌谣，这是清心之本。汉文帝垂衣拱手而天下大治，几乎不用刑法，这是省事的结果。汉光武帝合并吏员，县官国邑设置官吏才及原来的十分之一，这是省官。魏太和年间(227～233)派遣朝廷使者四出，精简天下吏员，正始年间(240～249)也曾合并郡县，这是省吏。今欲寻求根本，则应以省事为先。凡居官位者，务使知萧何之心，以辅佐国家，大行教化。重义行，崇和睦，使以邪道得宠者不得居官位，则虚伪之行自然消逝，浮华之人会畏惧缩敛。重敬让，尚知足，令贱者不妨害贵者，少者不欺凌长者，疏远者不离间近亲，新识者不离间旧友，小者不加于大者，淫行不破义举，则上下相安，远近之人互相信任了。官位不能以钻营的手段得到，荣誉不能靠朋党吹捧求得，则是非就会弄清，官人不会受迷惑了。去掉奇技，抑制异说，好改变旧规以侥幸获非常之利者必加重刑，则官守其职，民心不会见异思迁了，事存则政繁，政繁则功废。在位的官吏孜孜不倦，守职司者日夜不懈，虽是才智短浅之人，也能尽其职守。上下信任如金石之坚，即使有小过失，也不会妨害国家大政，应忍耐宽容。简省文牍案卷和细碎繁苛的条文，法令的施行，定使人民易于接受。得益如盼阳春，避罚如畏雷电。不能使细碎条令烦扰百姓，并为百吏所轻慢，不能朝令夕改，使百姓厌恶，如此则官吏竭诚尽职，百姓拥护国家法令。分职务而设官，委托政事以求成效。君子竞争向上存于心而不以力相争，估量自己的才能接受职位，谋不出其位，则官无分外之业，政事少有奸诈了。这些都是我所说的省事之本。若无多事之弊，虽不省吏，天下人也认为是省吏了。如欲省官，我认为九寺之职可合并于尚书，兰台的事应交付三府。然而现行制度已历多代，为世人所习惯，所以很久以来有这种想法而未敢提出。至于省事，还是以求实为善。若只作笼统的规定，都减少一半，恐怕文武众官、郡国职责及事之兴废各不相同。凡发号施令，典则允当者可以使民安，无规律而杂乱者会使政道壅塞。凡到职临事的人都要精察得失。使忠信明察的官长，裁决适中的举措，列条上奏。然后全面斟酌，宜省者省，则令下必行，不可动摇。如不这样，恐怕只是迷惑视听，会造成前面省去，后面恢复，或更加繁杂，这也不能不重视。”荀勖议论政事的损益得失，大多类此。
太康年间(280～289)，皇帝下诏说：“荀勖聪明通达，辨识天命所归，有佐命创业之功，兼有博学多识之才。久任内职，功勋卓著，咨询朝政，谋略允当。应登大位，辅助朝政。今以荀勖为光禄大夫、仪同三司、开府辟召，守中书监、侍中、侯如故。”当时太尉贾充、司徒李胤都已死，太子太傅又缺。荀勖上表陈说：“三公和太保太傅之职，应有恰当人选。若使杨珧为太保太傅，必可符合圣意。尚书令卫馞、吏部尚书山涛都可做司徒。若以为卫馞新任尚书令未便改任，则山涛更为合适。”武帝采纳了这些意见。第二年秋，各州郡都有水灾，兖州一带尤其严重。荀勖上奏陈说应设立都水使者。此后门下启通事令史伊羡、赵咸为宫中舍人，掌管法令条文。皇帝下诏以此事问荀勖，荀勖说：“当今天下幸赖陛下圣德，四海为一，可望大道兴隆，教化和睦，垂训于将来。而门下官员上有程咸、张恽，下有此类人物，欲以繁法苛令治国，这是我不能理解的。汉张释之谏汉文帝，认为兽圈啬夫不宜被任用；邴吉停车，阐明调和阴阳之理。此二人岂不知小吏也可施恩惠，只是更重视朝廷教化的推行。昔魏武帝使中军司荀攸掌管刑狱，魏明帝时就将这一职务交付内常侍。据臣所知，明帝时只有刘泰所任的通事等官，不过与殿中官是一样的。又论者都说应省官简事，而要求增加管理的人又相继而来。很多人说尚书郎太令史不亲手起草文书，都委托给书令史及干事，真是吏多则互相依赖。增设掌文法的官职，恐怕只能会干扰台阁大臣的工作，损耗他们的精力，臣私下以为是不可行的。”
武帝平素知道太子愚钝懦弱，恐以后给国家带来祸乱，派荀勖、和峤去观察太子情况。荀勖回来后极力赞扬太子有德，而和峤却说太子还是以前那个样子，于是天下人尊敬和峤而鄙视荀勖。武帝将废贾妃，荀勖与冯..等进谏请求，贾后才没有被废，当时议论者以为荀勖倾覆国家搅乱时局，是孙资、刘放之类的人物。然而荀勖做事小心谨慎，每有他所参与的诏令大事，虽已宣布，他始终不说，不想让别人知道他参与其事。族弟荀良曾劝荀勖说：“公失去众人的信赖，您给别人做了好事应该说出来，那么对您怀德感恩的人就会多了。”他的女婿武统也劝说：“应为自己的事经营安置一下，以便有人归附拥戴您。”荀勖都沉默不应。回来对儿子们说：“作为人臣不守密则失掉自己的身份，树私党则背公事，是应该深为警戒的，你们也会官路亨通，应当懂得我的用意。”很久以后，皇帝让荀勖守尚书令。
荀勖长期在中书之位，专管机密之事。失去此职后，心中怅恨不满。任新职时有人去祝贺，荀勖说：“夺了我禁苑中凤凰池的官署，你们还来贺我！”任尚书令时，考试令史以下官吏，核实其才能高低，那些不熟悉法令条例，不能解决疑难处理事务的人，都被遣出。武帝曾对荀勖说：“魏武帝说：‘荀文若提拔善者，不提拔起来不休止；荀公达斥逐恶人，不赶走他们不罢休。’两个令君的美德，希望您兼而有之。”在职月余，因母丧上缴印绶辞职，武帝不许，派常侍周恢传达旨意，荀勖这才奉诏履行职责。
荀勖久管机密工作，才思敏捷，能揣摩人主心思，不触犯人主之意，所以能始终受到皇帝宠信，保其爵禄。太康十年(289)死。下诏追赠为司徒，赐棺木、朝服一具，钱五十万，布百匹。派兼御史持节护丧，谥号为成。荀勖有十个儿子，做过显官的有荀辑、荀藩、荀组。