嵇康生于魏文帝黄初五年（224年），其祖先本姓奚，住在会稽上虞（今浙江省绍兴市上虞区），其曾祖父后为躲避仇家，迁徙到谯国的铚县（今安徽省淮北市濉溪县），并改姓为嵇。嵇康的父亲名昭，字子远，官至督军粮治书侍御史。嵇康有兄长，名嵇喜，早年即以秀才身份从军，志在用仕，后官至太仆、宗正。

嵇康年幼丧父，由母亲和兄长抚养成人。幼年聪颖，博览群书，学习各种技艺。成年后喜读道家著作，身长七尺八寸，容止出众，然不注重打扮。后迎娶了沛王曹林之女长乐亭主为妻，育有一儿一女。他常修炼养性服食内丹之事，弹琴吟诗，自我满足。

嵇康崇尚老庄，曾说：“老庄，吾之师也！”讲求养生服食之道。主张“越名教而任自然”的生活方式，著《养生论》来阐明自己的养生之道。他赞美古代隐者达士的事迹，向往出世的生活，不愿做官。

嵇康曾经游于山泽采药，得意之时，恍恍惚惚忘了回家。当时有砍柴的人遇到他，都认为是神仙。到汲郡山中见到隐士孙登，嵇康便跟他遨游。孙登沉默自守，不说什么话。嵇康临离开时，孙登说：“你性情刚烈而才气俊杰，怎么能免除灾祸啊？”嵇康又遇到隐士王烈，一道入山中，王烈曾得到石头的精髓饴糖，便自己吃了一半，余下一半给嵇康，都凝结为石头。又在石室中见到一卷白绢写的书，立即喊嵇康去取，而嵇康便不再相见。王烈于是感叹道：“嵇康志趣不同寻常却总是怀才不遇，这是命啊！”

大将军司马昭欲礼聘他为幕府属官，他跑到河东郡躲避征辟。司隶校尉钟会盛礼前去拜访，遭到他的冷遇。同为竹林七贤的山涛离开选官之职时，举荐嵇康代替自己。嵇康作《与山巨源绝交书》，列出自己有“七不堪”、“二不可”，坚决拒绝为官。 

吕安之妻貌美，被吕安的兄长吕巽迷奸，吕安愤恨之下欲状告吕巽。嵇康与吕巽、吕安兄弟均有交往，故劝吕安不要揭发家丑，以全门第清誉。但吕巽害怕报复，遂先发制人，反诬告吕安不孝，吕安遂被官府收捕。嵇康义愤，遂出面为吕安作证，触怒大将军司马昭。此时，与嵇康素有恩怨的钟会，趁机向司马昭陷害嵇康，将吕安、嵇康都处死。

行刑当日，三千名太学生集体请愿，请求赦免嵇康，并要求让嵇康来太学做老师。这些要求并没有被同意。临刑前，嵇康神色不变，如同平常一般。他顾看了日影，离行刑尚有一段时间，便向哥哥嵇喜要来平时爱用的琴，在刑场上抚了一曲《广陵散》。曲毕，嵇康把琴放下，叹息道：“昔从前袁孝尼曾跟我学习《广陵散》，我每每吝惜而固守，《广陵散》现在要失传了。（《广陵散》并不是嵇康独作）”说完后，从容就戮。海内的士人，没有不痛惜的。司马昭不久才意识到错误并深为后悔。谢万将其列为“八贤”之一。袁宏在《名士传》中称嵇康等七人为“竹林名士”。