面对金军的不断攻，赵构又从扬州逃到了杭州。在这里赵构又过了一段安宁的日，有诗为证：“山外青山楼外楼，西湖歌舞几时休。风熏得游人醉，直把杭州作汴州。”但是，宋宗赵构在杭州能安享几天太平日？一心要灭掉赵氏王朝的金军会善罢甘休吗？

当时，也有很多忠义之士奋起抵抗金军。其中，有一个特别人的故事，是说金军攻占了一个州城，守将投降了，金国将领就领着一千多个金兵城。金军刚走城，宋军中有一个叫唐琦的卫士，突然从怀中掏一块石，向金军投去。但是，唐琦这一投并没有打中金人，于是就被金兵抓了起来。金国的将领觉得非常奇怪，就问唐琦，你们主帅都投降了，你不过是一个小小的卫士，为什么还要冒死这无谓的反抗呢？唐琦义正词严地回答，我虽然只是一个小小的卫士，但尚知忠义，我生为宋臣，死宋鬼。

到了杭州，赵构听说杭州有个郊县，叫仁和县。当年，太祖皇帝发动“陈桥兵变”在陈桥驿登基，就是从仁和门的东京汴梁。赵构现在听说杭州有个仁和县，非常兴，心想，太祖皇帝仁和门，我现在到了仁和县，这说明太祖皇帝神灵保佑，我即位是天意，我们大宋中兴有日啊。他也不想想，太祖皇帝的神位都被他扔给金国人了，太祖还能保佑他这个不肖孙吗？

就在赵构一路南逃的过程中，金国大军也迅速挥师南下。金军攻的速度之所以这么快，是因为宋朝多数城池的官兵都不战而降。金军所到之，基本都是城门开，宋朝的官兵不是举着降书顺表跪在地上苦苦求饶，就是早已经跑得不知去向。当时，金军的统帅是完颜宗翰，他派自己手下的将率领五千轻骑一路南下，继续追击赵构。

金将听了唐琦的话，对旁边投降的宋将说，你是一城主帅，可气节还不如手下的卫士。这个宋将听完，惭愧难当。唐琦转对自己的主帅说，我一个月的俸禄只有一石米，尚知以死报国，你世受皇恩，享有官厚禄，而今金军南下，却只知开城投降，你这么，百年之后有何面目见列祖列宗于九泉之下？唐琦的这番话，让这个宋将惭愧得恨不得找个地钻去。金国将领叹唐琦是义士，问他愿不愿意投降金

赵构面对金军的不断南侵，只会一路南逃，过着从北到南、颠沛离的逃亡生活。而地方的官员士兵，面对金军铁骑，不是投降就是逃跑，整个南宋王朝显得非常弱和无能。那么，难整个宋王朝就没有一个人而，奋起反抗吗？

么还在这里待着？这两个相一听，也放下酒杯，上就跑。两个宰相一跑，扬州城的文武百官就作鸟兽散了。有的官员还算比较忠于职守，知抱着自己的官印跑，那些不负责任的官员就只顾逃命了。所以，南宋三省的印信和很多重要文书，都被丢在了扬州城。老百姓一看，当官的都跑了，金国人又杀人不眨，我们也不能留在这里等死啊，于是大家也跟着逃跑。

这样一来，整个扬州城就了。当官的、当兵的、老百姓，都急着城，就在城门那儿挤成了一团。在这情况下，这些逃跑的大臣和军士不但不先保护百姓，反而刀砍杀拥堵的百姓，以便清路自己先跑。百姓们群情激愤，把矛一起指向了汪伯彦和黄潜善这两个相。百姓们说，要不是这两个贼祸国殃民，皇上不至于扔下我们不，于是，大家喊着要杀掉这两个相愤。但是，这两个相比谁跑得都快，百姓们自然逮不着他们。这时，另一个姓黄的大臣要城，命他的随从驱赶堵路的百姓。随从们一边驱赶百姓一边喊，快躲开，黄老爷要城。百姓们一听说是黄老爷，以为这是相黄潜善，于是大家一拥而上，拳打脚踢，齐下，就把这位姓黄的大臣打死了。这个倒霉的大臣，本来要城逃命，没想到却了黄潜善的替死鬼。

杭州毕竟有长江之险屏障，金军不会很快攻过来，所以，赵构就在杭州安顿下来了。安顿下来之后，赵构罢免了汪伯彦和黄潜善两人的职务。一方面是因为这两个人的名声已经太臭了，再用他们会引起公愤。另一方面，赵构也觉得这两个人误国。当然，皇帝不是因为汪伯彦和黄潜善巧言令、善于谄媚而觉得他们误国，赵构更不喜李纲、宗泽这样整天吵着收复失地、迎回二圣的大臣，他是觉得，这两个人在骗他，整天说天下无事，只要朝廷乞和，金国人就会同意，结果造成金军兵临城下，自己从扬州仓皇逃的窘局。汪、黄两个相被撤掉之后，赵构又任命朱胜非为宰相，王渊为枢密使兼御营都统制