父刘该,刘宋时为青、徐二州的刺史。父亲刘邕,任宋的兖州长史。
刘芳的父亲刘邕因参与刘义宣的反叛,死在彭城。刘芳随伯母房氏逃到青州,被赦免。舅父元庆任宋青州刺史沈文秀建威府的司马,被沈文秀杀害。刘芳母子入居梁邹城。慕容白曜领兵南讨青、齐,梁邹举城投降,刘芳又向北迁徙,成为平齐人,当时的年龄为十六岁。
后魏南部尚书李敷的妻子,是司徒崔浩弟弟的女儿,刘芳的祖母是崔浩的姑姑。刘芳来到京城,到李敷家求见,崔氏耻于刘芳的流离颠簸,拒不接见他。刘芳虽然处在穷困潦倒之中,而他的学业却固守正道。又聪敏过人,致力于古代典籍。白天卖字谋生,晚上诵读经书,彻夜不眠,以至于出现易衣而出,并日而食的窘迫困境,而依然淡泊守志,不急于追逐功名利禄,不忧愤于贫寒卑贱,便著《穷通论》以自我安慰,他常常被和尚们雇佣抄写经卷,笔体称为上乘。每卷价值一匹细绢,每年能收入一百多匹,如此多年,颇依赖抄佛经有所积蓄,并借此与有道德学问的高僧交往。
当时,南方的和尚慧度因事被责罚,不久暴病身亡。刘芳因为知道这件事,因而被文明太后召入宫中,责打了一百鞭。太监李丰主理这件事的全过程,知道刘芳笃志苦学,颇有操行,告诉给了太后,太后对于责打刘芳心有惭愧。恰巧南齐使者刘缵到来,这是刘芳的本族兄弟,于是,朝廷提拔刘芳兼任主客郎,接待刘缵。又被授予中书博士,后来与崔光、宋弁、邢产等人都为中书侍郎。不久,皇帝下诏命刘芳与邢产入宫教授皇太子学习经书,升任他为太子庶子,兼任员外散骑常侍。他跟从圣驾到洛阳,在路途上以及回到京城,常常被皇上赐坐讲读经书。刘芳才思深沉敏捷,尤其精于经书要义;见闻广博,记忆惊人;又披览《苍雅》,更见长于音训,对有关问题的解释分析,都准确无疑。因此,受到朝廷的礼遇一天比一天重,赏赐十分丰厚。不久,又兼任通直常侍,跟随圣驾南巡,负责记录皇帝活动的情况,很快就正式授职。
王肃来投奔北魏,孝文帝对他十分器重,引起了朝野上下的瞩目。刘芳没有来得及和他见面。孝文帝曾在华林宴请群臣,王肃在谈话中说:“古代惟有妇女用簪插头发,男人则不用簪。”刘芳说:“根据《礼经》推究,古代男女都用簪。”王肃说“:《丧服》上称男子免冠而妇女用麻束发;丧事过后,男子戴帽子而妇女用簪。这样看来男子不应用簪。”刘芳说:“这是专门说的丧事呀。《礼经》说,刚遇到丧事,男子脱掉帽子,同时妇女用麻束发;丧事过后,男子戴上帽子,同时妇女用簪。说的都是情况变化,男人妇女采取脱帽、束发不同的方式,帽和簪不同罢了。另外,戴帽子庄重,所以超过了发簪,是相比较而说的,不是说男人不用发簪。再则,《礼经》《内则》篇说:‘子女侍奉父母,鸡刚叫,就起来给父母梳头,扎头,插上簪子。’照这种说法,男子用发簪是明白的事。”高祖听了,连连称赞他说得对。王肃也认为他的话很对,说:“这不是那个绰号叫刘石经的么?”过去汉代在太学内造三字石经,读书人文字拿不准,就到那里对正。刘芳对文字的读音和意义都辨析得很清楚,有疑难的人都向他请教,所以人们称他为刘石经。酒宴过后,刘芳和王肃一起出来。王肃拉着刘芳的手说:“我从小就留意于《三礼》,南朝的诸儒们多次一起讨论,都是持这种看法,像我前面说的那样。现在听了您的阐释,顿时消除了我平时的疑惑。”刘芳对经书精深丰富含义的理解,都有类于此。
孝文帝迁都洛阳,路经朝歌,看到殷时比干的墓,悲怆痛惜,写祭文悼念。刘芳为孝文帝的祭文详加注解,写成表文呈上,文帝下诏说:“读了你的注解,内容十分富厚渊博。文章虽不同于屈原、宋玉,但内容却使张衡、贾谊惭愧。既然文雅精致,可以付印并收入书中。”下诏认为刘芳经学博洽精深,破格提拔为国子监祭酒。因母亲去世而辞去官职。
文帝征讨宛和邓,起用刘芳为辅国将军、太尉长史,跟随太尉、咸阳王元禧进攻南阳。齐将裴叔业进犯徐州,在战场上的人颇有些想去归顺齐军。孝文帝十分忧虑,任刘芳为散骑常侍、国子祭酒、徐州大中正,主持徐州事务。后来又兼任侍中,跟随大军征讨马圈。孝文帝在行宫驾崩,等到宣武帝元恪即位,刘芳亲手给他戴上丧帽。孝文帝的入殓,以及启告祖先、选择陵寝地点、祭奠礼节,丧事从始到末,都由刘芳制定。咸阳王元禧等人尊奉孝文帝的遗命,让刘芳入宫教授宣武帝经书。南徐州刺史沈陵反叛,徐州发生水灾,都是派刘芳去抚慰和赈恤。