为陛下应该称孝宗为皇伯考,献帝为皇考,这是应加分别的人伦关系。尊崇亲生父母的讨论,姑且可以往后放一放,这是因为王位正统应该优先尊崇。我认为陛下对昭圣皇太后,所用的礼仪等级虽然崇高,但势头越来越轻微了。陛下对待自己母亲,名号虽然还没有尊贵到极点,但势头越来越重要了。大臣们所以不依不饶要您尊崇嫡系,以昭圣皇太后为母亲,大概是为了防范陛下将来的过失,并用以作为报效孝宗皇帝应尽的本分。希望陛下把我们提此建议的衷情禀告圣母,就说昭圣皇太后事实上是正统、嫡亲,她的地位尊贵无比,希望圣母能经常谦退一些,对昭圣表示尊敬的意思。庄奉皇后当了十六年的国母,圣母接见她的礼仪不可轻忽,凡是元旦、贺寿,圣母要经常表现出谦让、不敢接受庄奉大礼的意思,让宫廷内部的大权全归昭圣皇太后掌握,圣母像不参与的样子,那么天下人和后代人就会称颂圣母的美德,就像称颂老天一样没有停止的那一天了。”世宗深深赞扬他奏疏中表现出来的忠诚,就催促他回到朝廷去。第二年,提拔他为少詹事兼侍讲学士。霍韬坚决推辞,并且请求诏令六部尚书、侍郎、翰林、给事中、御史都应该出任地方官职,以便他们熟悉政治局势;监司、守令政绩突出的,就应提拔为卿丞,有文才、学识的提拔为翰林官;科举、贡选入官的都可以提为翰林,进入部院,不应该局限于资格。世宗不允许他的推辞,催派他上任,把他的奏议下发给有关部门讨论,结果全部被废置,没有采用。
六年(1527),霍韬回到朝廷里,世宗命令他到经筵前值勤,担任日讲官。霍韬因为自己的南方口音竭力推辞,请求让他撰写《古今政要》及《诗书直解》,然后进呈。世宗表示赞许。那年九月,世宗提拔他做詹士兼翰林学士,霍韬又极力推辞,说:“从杨荣、杨士奇、杨溥直到李东阳、杨廷和都把握权柄,培植党羽,把翰林笼络来做下属,中书做幕僚,所以翰林的升任不经过吏部,而中书甚至有升官做到尚书的。我曾经建议把翰林任免的权力归属吏部,以期他们不暗中投靠内阁,做内阁大臣的心腹;内阁也无法暗中勾结翰林做他们的羽翼。并且想把京官调补地方上做官,以便劳逸均平。我的建议还没采用,我自己就先登翰林之门,而且又忝居学士徐缙之上,该有什么比这还难为情的?”世宗颁诏嘉奖,但不允许他辞让。
第二年四月,世宗又升用他为礼部右侍郎。霍韬极力辞让,并且推荐康海、王九思、李梦阳、魏校、颜木、王廷陈、何塘替换自己,世宗不允许,他两次推辞,才得到允准。六月“,大礼”议定,破格任命他为礼部尚书,主管詹事府的事务。霍韬于是上书说翰林院编书升官、日讲荫子以及巡抚子弟荫封为武官的不恰当,然后说自己虽然不能挽救这些错失,但不愿跟随大流。并且言称给事中陈。。受了冤屈,推荐国子监学生陈云章有才干,可以任用做官。世宗颁诏称赞了他,但不许他推让。霍韬又上书说“:现在持不同政见的人们以为陛下只是想尊崇自己的父王,就拿官职、爵位来诱引自己的臣下;我们两三个人只是苟且贪图高官显爵,所以迎合了陛下的心思。我曾经慷慨地对自己发过誓:如果‘大礼’最后定下来,我决不接受加官,让天下人和后代人看到讨论‘大礼’的大臣并不是图谋私利的官员。假使让人们怀疑讨论‘大礼’的大臣是图谋私利的官员,那么由这些人议定的‘大礼’即使正确,人家也还是认为不正确,怎么才能使人不说呢?”因此他坚持辞让不肯就职,世宗还是不允许,经再三推辞,世宗最后同意了他。
霍韬先后推荐过王守仁、王琼等人,世宗都采纳了他的意见。他又曾因为灾异的发生上书陈述十多条革除弊政的意见,大多经讨论被实施。张璁、桂萼被免除职务时,霍韬上书说谏官陆粲等人是受杨一清指使的,他两次上书猛烈攻击一清,结果一清被削职,而张璁、桂萼被召了回来。世宗听取夏言的建议,将分开来祭祀天和地,修建两座郊祀台,霍韬极力说这样子不对。世宗不高兴了,批评他蒙骗君上,自以为是。夏言也上书替自己辩护,猛力抨击霍韬。霍韬一贯注意保持以前的印象,以便自我施展,现在看到世宗生了气,就不敢辩解了,却送给夏言一封信,把他痛痛地抨击了一番,又把那封信抄录一份送交法司。夏言恼了,上书对世宗讲了这件事,并且揭发了霍韬目无君主的七条罪行,连带霍韬的来信一起交了上去。世宗大为恼火,批评霍韬诽谤、嘲笑君上,心术不正,丑化好人,就把他关进了都察院的监狱。霍韬自己从狱中上书哀求宽恕,张璁也两次上书救他,世宗都不听。南京御史邓文宪上书说应该看到霍韬的善良愿望,包涵他的戆直,并且说把天和地分开来祭祀等于是把父母安置在不同的地方,让后妃到郊外亲自养蚕就是废除了男女、内外之间应有的防范。世宗恼了,把他贬官到远方。霍韬在监狱中关了一个多月,世宗最后想到了他当初议定“大礼”的功劳,就让他捐输资财赎罪还职。不久他因为母亲去世回乡去了。广东佥事龚大稔后来上书攻击霍韬和方献夫在家乡干下的违法事件,龚大稔反倒被逮捕,削了官籍。
十二年(1533),霍韬复出,先后做过吏部左、右侍郎。当时吏部的事情大多都由尚书做主,两个侍郎一般无法干预。霍韬向尚书汪钅宏争取,侍郎才获得了参议部事的机会。霍韬一向刚愎自用,多次与汪钅宏争斗,汪钅宏等人也很惧怕他。不多久汪钅宏罢官,世宗长期不另外任命尚书,就让霍韬主持吏部的事务。内阁大臣李时有一次传达世宗的意思,要任用鸿胪卿王道中为顺天府丞。霍韬说:“内阁大臣得到过皇上指示,这本没什么可疑的,但是我们还是应当再行奏请,以便杜绝弄虚作假。”于是按照惯例,开列道中和应天府丞郭登庸两个人的名字,让世宗审定。世宗喜欢他办事照规矩来,就任用了登庸,把道中改任大理少卿。过了很久,世宗让霍韬出任南京礼部尚书去了。