嵇绍字延祖，曹魏中散大夫嵇康之子。十岁时失去父亲，奉养母亲孝顺慎重。因父亲曾获罪，安居家门。山涛管理选评官吏的事，上奏武帝说：“《康诰》说的有：‘父子间罪不互相牵扯。’嵇绍贤能可比春秋时晋国的谷阝缺，应当加给旌命，请求赐他秘书郎之职。”武帝对山涛说：“照你所说，可以任辅丞，岂止为秘书郎之职。”于是下诏书征用他，离家作秘书丞。
嵇绍刚到洛阳，有人告诉王戎说：“昨日在人群中才见到嵇绍，气宇轩昂恰如野鹤立在鸡群中。”王戎说：“你还未见过他父亲呢。”接着升迁为汝阴郡太守。尚书左仆射裴危页也很器重他，常说：“假使令嵇延祖任吏部尚书，可使天下不会再有遗弃的人才。”沛国的戴日希年青有才气，同嵇绍的侄儿嵇含友好，当时人们相信他将来必有大用，嵇绍却认为必不会成器。戴日希后任司州主簿，因品行不好被斥退，州里民众都说嵇绍具有知人之明。后转任豫章郡内史，因母亲去世，未到任。孝期届满，被授任为徐州刺史。当时石崇作都督，性情虽傲慢粗暴，但嵇绍以道义相助，所以石崇也很亲敬他。后又因长子死离职。
元康初年(291)，任职给事黄门侍郎。当时侍中贾谧因是外戚受宠爱，年青身居高位，潘岳、杜斌等皆依附他。贾谧恳请嵇绍与他交往，嵇绍却疏远他不应允。等到贾谧被诛，嵇绍正在官署，因他不迎合结交暴类，封为弋阳子，迁任散骑常侍，兼任国子博士。太尉、广陵公陈准死了，太常奏请加给谥号，嵇绍反驳道：“谥号是用来使死者垂名不朽的，大德之人当接受大名，微德之人当接受微名，文武这些谥号，宣扬死者功德可嘉，灵厉这些谥号，表示死者昏暗胡涂。由于近来掌礼制之官附和情弊，谥法便不依据原则。加给陈准的谥号过誉，当加谥号为缪。”此事下达给太常处理，当时虽不听从嵇绍的意见，朝廷大臣都有点怕他。
赵王司马伦篡夺了帝位，嵇绍暂任侍中。惠帝恢复帝位后，仍居侍中之职。司空张华被司马伦杀害，朝中重新议论审理他的事，提出恢复他的官爵，嵇绍又驳道：“为臣的敬奉君主，应摒弃烦躁与疑惑。张华历任朝廷内外要职，虽然有些可认为是好事，但其人应负乱国之责，已盖棺定论，远近皆知，国家祸乱的开端，实是张华造成的。所以春秋时郑伯经问罪幽公之乱，掘开斫毁子家的棺圹；鲁有弑杀隐公之罪，史书终篇贬低公子..。没有容忍重大刑戮，使事件后来扩大了，所以认为不应恢复其爵位，审理其无罪。”当时惠帝刚刚复位，嵇绍又上疏说：“臣听说能以前车为鉴的人车子不会倾覆，能改革以往弊政的人政治就不会败坏。国家的统一靠国君之力，百废之兴靠使用众多的人才，所以周文王兴国表率在前，成王、康王享太平于后。生存不忘死亡，《易》书的阐述最为恰当。希望陛下不要忘了金墉，大司马不要忘了颍上，大将军不要忘了黄桥，这样祸乱之源就无处萌生了。”
齐王司马礒已经辅佐国事，大举营造达官贵族宅第，放纵奢侈日甚一日，嵇绍上书进谏说：“夏禹王以住陋室为美，唐尧、虞舜以住茅屋显其德，华丽的住宅虽多，无济于国家的危亡，私自毁坏太乐官署而广建宅第，兴起营造之工为三王建造住宅，这难道是今天当务之急！现在国事刚刚安定，万民景仰，都期待施给恩惠，所以应减少大举营造的繁劳，深思谦受益满招损之理。恢复君位的功绩不可忘却，但箭与垒石的危险也不可忘却。”司马礒虽曾以卑谦之辞回答嵇绍，但终不能采纳他的意见。嵇绍曾往司马礒处议事，司马礒举行宴会，召有董艾、葛..等一齐讨论时政，董艾对司马礒说：“嵇侍中擅长管弦，公可令奏一曲。”从属送上琴，嵇绍推辞不接受。司马礒说；“今天因为欢乐，您何故吝啬奏一曲呢！”嵇绍回答说：“公挽救国家危亡，当以法度和礼制为准则，建功名垂后世。嵇绍虽然空虚浅陋，愧列君主左右，腰系印绂头戴礼帽，鸣玉佩于王殿官署，怎么可以操作琴弦而作伶人的事！如果脱去公服参与私人宴会，我决不敢推辞。”司马礒十分惭愧。董艾等因各自不得意而告退。不久，因公事免职，司马礒任用为左司马。过了十天，司马礒被诛。开始，有兵战，嵇绍逃开，奔赴王宫，东阁下持有弩弓的人，正要射他，遇殿中领兵的萧隆，从面容上看嵇绍是位长者，猜测他不是一般人，赶上前拔掉箭，便幸免于难。以后便回到荥阳旧居。
不久被征召为御史中丞，未拜受，重任侍中。河间王司马禺页、成都王司马颖起兵直趋京都，借以讨伐长沙王司马磖，帝王车驾驻扎城东。司马磖向属众宣告说：“今日西征，希望谁作都督呢？”军中将士都说：“希望嵇侍中尽力在前面引导，我们死也如生。”于是授给嵇绍使持节、平西将军。继而司马磖被俘，嵇绍重任侍中。公王以下的官皆往邺城向司马颖认罪，嵇绍等均被贬官，罢免为庶民。不久朝廷又有北向征伐的战役，征召嵇绍，恢复了爵位。嵇绍因天子蒙受风尘，接奉诏书驰往行驾驻处。恰逢王师在荡阴战败，百官及侍卫人员皆纷纷溃逃，只有嵇绍俨然端正冠带、挺身捍卫，军队接近銮驾，飞箭如雨，嵇绍便被射死在皇帝身旁，血溅染了御衣，天子为他的死沉痛悲叹。等到战事平定，侍从要浣洗御衣，皇帝说：“这是嵇侍中的血，不要洗去。”
当初，嵇绍奉诏前往，侍中秦准问他说：“今日向敌出击，您有骏马吗？”嵇绍正颜厉色答道：“帝驾亲征，是以刚正征伐叛逆，理应不战而胜。如果皇帝有失，为臣子的当以死殉节，骏马有何用？”闻听这些话无不叹息。当张方挟制皇帝迁都长安时，河间王司马禺页表彰追赠嵇绍为司空，晋爵位为公。恰巧皇帝还都洛阳，此事便未履行。东海王司马越驻防许昌，路经荥阳，探拜嵇绍的墓，哭得伤心极了，刻石立碑，又上表请求追赠官爵。皇帝这时才派使者下文追赠侍中、光禄大夫，加赠金印和紫色丝带，晋爵为侯，赏给墓田一顷，守墓人十户，用少牢礼祭祀。元帝司马睿为左丞相时，承袭前制，认为嵇绍死节之事关系重大，而追赠之礼与功勋德操不合，又上表请求追赠太尉，用太牢礼祭祀。当他即了帝位，赐谥号称忠穆，又用太牢礼祭祀。
嵇绍素行害谷达洒脱，不拘小节，但开朗而有约束，通达而不杂乱。他与侄子嵇含等五人同居，对他们的抚养体恤如亲生。门生及老部下思念他留下的仁爱，按丧礼守住墓旁，守满三年者有三十多人。长子嵇纁，有父亲的风度，早死，由侄孙嵇翰袭封。成帝时常缅怀嵇绍之忠，加嵇翰为奉朝请。嵇翰因无兄弟，自己上表请回本家。太元中(376～395)，孝武帝下诏说：“褒奖德操宣扬仁爱，圣明帝王都命记入典籍。去世的太尉、忠穆公行德高远，人虽不在而美名更著，忠贞高洁之风，著称千载。每想到他的事，便凄楚忧伤。忠贞之士的后代，祭祀应当久远，借此广为彰明高尚气节，推崇奖励礼教。可以查访他的同宗，袭封官爵主持祭祀。”于是又将嵇翰的孙子嵇旷封为弋阳侯。