下您虽然身为天子,与上天相比,还不是最尊贵的。根据《春秋》《元命苞》篇说‘:乙酉这一年,要除掉旧物,刷新政治。’今年太岁星运行到乙酉的位置上,应传位给东宫太子,让君臣之间的名分早日确定下来,以适应天道的警示。”又奏上魏献文帝将皇位禅让给太子的故事。武成帝同意了他的奏请。因此,他被授予秘书监,加仪同三司衔,很被武成帝亲近宠爱。
祖珽既已被皇帝和皇太子器重,便开始窥探宰相的位置。他原来与黄门侍郎刘逖关系密切,便列举侍中尚书令赵彦深、侍中左仆射元文遥、侍中和士开的罪状,让刘逖出面弹劾他们。刘逖害怕,不敢写奏章给皇上,这件事便泄露出去。赵彦深等人先到武成帝那里替自己辩解。武成帝雷霆大怒,抓住祖珽并问他:“为什么诋毁我的和士开?”他高声说道:“我依靠和士开才得以进取,本没有心去诽谤他。陛下您现在既然问我,我不敢不把实话告诉您。和士开、元文遥、赵彦深等人结伙专权作威,控制朝廷。与吏部尚书尉瑾内外勾结,互为表里,出卖官爵和刑狱,政治靠贿赂才能成功。天下有歌谣说:‘如果被有见识的人所了解,怎么能只听这四个人的?’陛下您不当成一回事,我却怕大齐的基业毁于一旦呀!”武成帝说:“你还敢诽谤我。”祖珽说“:不敢诽谤,陛下却要过人家的姑娘。”武成帝分辩道“:我因为她家吃不饱饭,所以才收养她。”祖珽问:“为什么不打开仓库赈济,却花钱将她买来放入后宫呢?”武成帝更加恼怒,用刀环去堵他的嘴,皮鞭和棍棒也一齐打来,要将他打死,他大声喊叫说:“不杀我,陛下您能得到好的名声;杀了我,我却得到好的名声。您如果要获取好的名声,就不要杀我,我替陛下制造长生不老的金丹。”武成帝暂时宽释了他。他接着又说“:陛下放着一个范增却不用,您还知道干什么?”武帝又发怒,说:“你自比为范增,难道把我当成了项羽吗?”他说“:项羽一般人怎么能赶得上,只不过是他的时运不好罢了。他原是一个布衣百姓,率领乌合之众,奋斗五年终成霸业。陛下您依靠父兄的资本,才会有今天,我认为项羽不可以轻易蔑视。我何止才比于范增呢?就是张良也不能赶得上我。张良身为太子的师傅,还只能依靠山中的四位白发老人,才确定了汉太子的位置。我并不是辅弼朝廷的大臣,只是一个被朝廷疏远的人,却竭尽力气和智慧,奉劝陛下让位给太子,使陛下您被尊为太上皇,使太子坐上了皇帝的宝座,使您和太子都保住了吉祥和福气。小小的张良,怎么可以和我相比呢?”武成帝愈加恼怒,命令用土堵住他的嘴,他一边吐一边说,没有一点屈服的样子。便打了他二百鞭,流配在街市里巷。不久,又将他流放到光州。刺史李祖勋对他特别优待,别驾张奉礼迎合大臣们的意思,奏说祖珽虽然是一个被流放的囚犯,却常常与刺史对坐谈话。武成帝下命令说“:投入牢房监禁。”张奉礼解释说:“牢,是说的地牢。”便挖了一个深坑,将祖珽放在里面,严加防范,枷锁时时不离他的身上,家属和亲戚也不能探视。晚上把蔓菁籽点着,熏他的眼睛,他的双目因此失明。
武成帝驾崩,后主高纬忆起祖珽的功劳,便任他为海州刺史。这时,后主的乳母陆令萱干预朝政。她的儿子穆提婆受到朝廷重用,祖珽便送给陆媪的兄弟悉达一封信,说:“赵彦深心腹众多而狡诈,想效法伊尹和霍光的故事,您们姐弟怎么会平安无事?为什么不早一点任用智谋之士想办法对付呢?”和士开也因为祖珽能决断大事,想请他做谋士,所以放弃前嫌和旧恶,虚心地对待他。他与陆媪一起对后主说“:文襄、文宣、孝昭三位皇帝的儿子都不能继位,您却能当上皇帝,至大至尊,实在是祖珽的策划。有大功劳就应该报答,祖珽人格虽然卑薄,但智谋过人,遇到事情可依靠他出谋划策。况且他已双目失明,必定不会再有反叛朝廷的意思,请将他唤来,向他询问计谋。”后主听从了他们的意见,任命祖珽为银青光禄大夫、秘书监,加封为开府仪同三司。
和士开去世以后,祖珽仍劝说陆媪排斥赵彦深。他被任命为侍中,在晋阳给后主秘密送信,请求诛杀琅邪王高俨。他的计谋实现,逐渐被朝廷重用。胡太后被幽禁时,他想让陆媪升为太后,撰写了魏帝晋升皇太后的故事替她说话,对别人说“陆媪虽说是位妇道人家,实在是位英雄豪杰,女娲以来还没有过这样的人才。”陆媪也称他为“国师”、“国宝”因此,他又被授予尚书左仆射,监修国史,又给予特殊的晋升,让他进入文林馆,任撰写诏书的总监。又封为燕郡公,领取太原郡的俸禄,给他派七十个兵卒负责守卫。他的住宅在义井坊,又向旁边的邻居家拓展,极力修建。陆媪又亲自到他家里去,他的权势使朝野倾倒。
斛律光对他十分厌恶,远远地看见他就偷声骂道“:很多事他只同小人们商量,不知道想干什么!”斛律光曾经对各位将领说:“边境上的情况,如何调动兵马,中书令赵彦深常同我们这些人商议。这个瞎眼的掌管国家军事机密以来,完全不跟我们说话,只恐怕要耽误了国家大事。”祖珽听到了他的这些牢骚,因为他的女儿斛律皇后失宠,因而制造谣言设法使后主听到。谣言说:“百升飞上天,明月照长安”(按:明月是斛律光的字,意思是说斛律光要当皇帝)。祖珽让他的妻兄郑道盖奏给后主。后主问祖珽,祖珽证实这是真的。祖珽等又传播谣言说“:高山崩,槲树举,盲老背上下大斧,多事老母不得语。”他对后主说:“盲老公指的是我。”自称要与朝廷共担忧患,劝后主及早动手处治斛律光。又说谣谚中的“多事老母”似乎是指的女侍中陆令萱。后主将这件事向韩长鸾、穆提婆询问,又命高元海、殷士良秘密计议,大家都不同意祖珽的意见。由于斛律光府上的参军封士让报告斛律光谋反,朝廷便将斛律光处以灭族的惩罚。
祖珽又依附陆媪,请求担任禁军领军,后主答应了他。诏命须由朝臣们复议,让侍中斛律孝卿在这个诏命上署名,斛律孝卿偷偷地告诉了高元海,高元海对侯吕芬、穆提婆说:“祖珽这个汉人,两眼又看不见东西,怎么能当领军呢?”第二天早朝当面向后主奏说,都陈述祖珽不适合任领军,并且书奏祖珽与广宁王高孝珩交往,没有做大臣的样子。祖珽也要求面见后主,后主命人将他引入。他替自己分辩,并说:“我与高元海素有积怨,一定是他诋毁我。”后主脸皮嫩,不能隐瞒真象,回答说:“是这个样子。”祖珽列举了高元海与司农卿尹子华、太府少卿李叔元、平准令张叔略等结为朋党的罪状,朝廷便调尹子华任仁州刺史,李叔元任襄城郡太守,张叔略任南营州录事参军。陆媪与祖珽互相唱和,朝廷又将高元海调任为郑州刺史。
从此,祖珽独霸朝廷,总领骑兵和外地军队的指挥;他所有的亲戚,都得到显赫的位置。后主也命数名太监服侍他的饮食起居,他可以戴着只有天子才能戴的纱帽一直来到皇宫,出万春门到后主的圣寿堂,两人同坐在御榻上讨论国家大事。朝廷对他的信任倚重,群臣们都无法相比。自从和士开执掌朝政以来,朝廷风气败坏。祖珽重用那些声望高的,任用的人都很称职,宫内宫外都称颂他的美政。他又准备对朝廷政务进行整顿,裁减一些不必要的冗员。还奏请罢除京畿府,将它与领军合并,府内的百姓都归郡县管辖;而宿卫、都督等将领仍然袭用旧的官名,文武官员的服饰印鉴,都按照过去的式样。还想黜退宦官及朝廷内卑鄙肖小之徒,他认为开诚布公地延纳人才,才是长治久安的办法。