贫无书,他曾在一个算命先生家中看到一部解释《书经》的书,便去手抄回来细读,后来逃难到徂徕山才得到一部王辅嗣注释的《易经》。当时虽兵荒马乱,许衡坚持日读夜思,且身体力行。有一回路过河阳,正当盛暑,口渴难忍,路边有一梨树,果实累累,同行者争相摘食,而许衡独坐树下不动,问他何故,他说:“不是自己的东西不能摘取。”有人说“:在这乱世,此树哪有主?”衡曰:“梨无主,难道我心中也无主吗?”其为人如此。他到处逃难,先到鲁后到魏,在魏住了三年又回到怀庆,后又常来往于河、洛之间,在柳城从姚枢处得到伊洛程氏(程颐、程颢)及新安朱氏(朱熹)的著作,从中获益甚大。后移居辉县附近之苏门山时,常与姚枢及窦默讨论学问,凡经传、子史、礼乐、名物、星历、兵刑、食货、水利之类,无不是他们讨论的话题。许衡曾说“:纲常伦理国家一日不可废,如果在上者不履行,我们一般人也要履行。”在实际生活也正是这样做的。
宪宗四年(1254),世祖受封于秦中,任命姚枢为劝农使,召许衡为京兆提学。该郡子弟有上学机会,莫不高兴。衡在京兆郡县广建学校。世祖南征,许衡返归怀庆,京兆学者挽留不住,送至临潼而归。
中统元年(1260)世祖即皇帝位,召许衡、姚枢至京师。当时王文统为平章政事。在讨论治国安邦之道时,文统重利,而衡、枢认为必须以义为本,文统忌恨于心。加上窦默在世祖面前说文统学术不正,文统怀疑许、姚、窦三人是一派,奏请委任姚枢为太子太师,窦默为太子太傅,许衡为太子太保,表面上是尊敬重用,实际上是使他们不能接近皇帝。后又改命枢为大司农,默为翰林侍讲学士,衡为国子祭酒。不久,衡因病辞官返乡。至元二年(1265),帝以安童为右丞相,打算许衡为辅,召至京师,命参预中书省政务。衡上疏治国纲要五条,大意是:
其一,立国要以中国历代所行的汉族各项制度为本。考察历史,凡北方民族占有中国之后,必行汉族制度,国运才会久远,否则乱亡相继,国运不长。当然,蒙古贵族和勋臣们立即完全接受汉族制度是不容易的事,但经过长期教化,也不是不可以改变其原来的思想和态度,关键在皇帝要坚定不移,不听信谗言,不求速效,最后必会达到安邦定国的目的。
其二,中书省的政务不胜其烦,要领在于用人、立法两点。用人就是果敢任用贤人,立法就是立古人之遗法。用人与立法相辅相成,治人者法也,守法者人也,人法相依,上安下顺。对于已经任用的人,要给以俸禄,使他们廉洁奉公;对于尚未任用而可任用的人,要放宽限制,量才录用。同时还要设监察机关来考察他们的行为,设吏部以确定他们的资历。该升者升,该降者降,使他们的才德与爵位相称。