廷纲纪败坏,便辞去官职,隐居林下。准备在蒙山下建屋结庐,以遂退隐的志愿。恰逢朝廷设置司隶官,选取天下知名人士。朝廷认为他公正端方,声誉显著,众望所归,因此,任命他为司隶刺史。他也慨然有澄清天下的志向,凡是他向朝廷举荐的,都是人伦表率。如有弹劾,被纠察的人也毫无怨言。司隶别驾刘火乇欺上辱下,任意攻击别人,却自以为正直。刺史们都害怕他,见了他都恭恭敬敬下拜。惟有房彦谦对他不卑不亢,见面一揖而已。有见识的人都称赞他,刘火乇也不恼恨他。
大业九年(613),彦谦跟随炀帝到辽东,负责监察扶余道的军事。后来,隋朝政治逐渐混乱,朝臣们大多改变节操。彦谦坚守正道,有如平常,颇为执政的权要嫉恨,将他调出京城,任泾阳县县令,死在任上。
彦谦在家乡居住时,子侄们来问安,他常给他们讲解处世的道理,督促勉励他们一番。态度恳切勤勉,不知疲倦。家中有祖上留下的旧业,资产素来殷厚,加上他前后做官所得的俸禄,都用来接济亲戚朋友,所以家中没有多余的钱财。他乘坐的车马,穿戴的衣服,使用的家具,都务必简朴省俭。从少年到成年,一言一行,从不涉及私人的事情。虽然屡次导致钱囊羞涩,却怡然自得。曾从容独自发笑,对他的儿子房玄龄说:“别人都因俸禄致富,我却独因做官而贫困。所留给子孙的,只有清白啊!”他所写的文章,气派宏大,风格闲雅,有古人的深意。又擅长写隶字,人们如果能得到他的书信,都珍藏展玩。太原的王劭、北海的高构、。。县的李纲、中山的郎茂、郎颖、河东的柳。。、薛孺,都是一时著名的高雅清俊人物,彦谦都与他们结交为友。他家里虽然高朋云集,冠盖相望,而却没有一个行为卑下的客人。他举止文雅,十分通达政务,有见识的人都用行为远大赞许他。
当初,隋文帝平定南陈之后,天下归为一统,论者都说天下将要太平。彦谦却私下里对他所亲近的赵郡人李少通说“:皇上性情疑忌峻刻,不采纳别人的建议。太子懦弱平庸,诸王在各地擅作威福。朝廷只实行苛刻严酷的政治,没有表现出恢宏远大的气魄。天下虽然安定,我却忧虑动乱就要到来。”李少通听了不以为然。等到仁寿和大业之际,他的话果然都被验证。
毕义云,小名瞓儿。少年粗犷豪侠,家住在兖州北部,常常打劫来往的行人,州里的人都把他当成祸患。年纪很大才强自克制,改恶从善,出来做官,升至尚书都官郎中。他的性情严酷刚烈,事情处理得大多干练果断。齐神武帝高欢做东魏的丞相,认为毕义云很称职,命他捉拿非法骗取职位的假官,他专门用车轴般粗的木棒拷打他们,获得了大量罪证。然而,也引起很多人的怨恨诽谤,曾被司州的官吏控告,说他杀人灭口,侵吞这些人的财物,并偷偷改换了有关的文书。高欢认为义云察举伪官,难免不引起众人的怨恨,并不追问。义云有所依恃,拘捕了一些官吏,列举他们的罪状,并将他们斩首。因此,锐意刑讯审问,威名日渐增加。
齐文宣帝高洋称帝,任毕义云为书侍御史。对于勋臣国戚,他也照样弹劾。多次升迁,任御史中丞,对官吏的要求和奏劾更加认真严厉。然而,却引起了豪强权要们的不满,多次被他们诬告。先是被汲郡太守翟嵩弹劾,说他的从兄毕僧明拖欠官债。僧明原先任京城地区的长史,不受翟嵩的统属,限时命僧明还债,因此挟嫌报复。并多次派御史去访察,想因此牵连义云。后来,义云又因家里私藏工匠坐罪。他家有十多张织锦的织机,并私自打造金银器物,便被拘禁,不久释放,任司徒左长史。