在投奔伪齐过淮河的时候，离淮河还有三十里地的时候，吕祉虽然是文人很有气节，他不是捆在上了吗，他自个儿一使劲儿骨碌下来了，说什么都不肯在往前再走一步，你们要投降你们去投降，我生为宋臣，死为宋鬼，绝不过淮降敌，他不但不过淮，他还招呼要走的这些将士们，说咱们都是大宋的军人，世受皇恩，皇帝待咱们不薄，现在郦琼逆贼要投降金国，咱们难就忍心去降贼，军中难就没有大丈夫吗，有没有人起来振臂一呼，歼此逆贼，他这一嚷嚷，果然很多士兵就开始犹豫了，有几千人就不走了，因为他的队四五万人，有几千人就不走了，是啊，吕大人说得对，咱们是大宋的官兵啊，咱如果降敌的话，汉的话，咱有什么面目去见祖宗啊，不走了，这一不走，郦琼害怕了，这小能说，回他再嚷嚷几嗓，万一这士兵哗变怎么办，于是他给边的他的亲信使，亲信上去刀把吕祉砍死，然后吕祉就挟持这些士兵，就投奔了伪齐，这支队一过去，多少人啊，能够占当时宋军总兵力的五分之

这两谁都不服谁，本来俩人仇就大了，矛盾很，就是因为刘光世在，看着老大的面所以咱们都能忍，现在派这么一个文官来指挥这个队，俩人就打起来了。打到什么程度啊，互相给对方告御状，状告到宋宗的前来了，状递到宋宗的前来，皇上您看吧，有他没我，有我没他，这事您看着办，皇上看了这件事，也不好理啊，皇帝又不了解前线的情况，这事不好理，不好理怎么办呢，脆啊把王德召回来得了，让吕祉跟郦琼来指挥这支军队，这事不就解决了吗？把王德召回来，于是这件事就开始作，吕祉就在哪儿劝郦琼，别生气了，王德上要被召回建康了，您忍一忍，忙活半天，结果吕祉文人低三下四，虽然是长官低三下四，这个郦琼是武将，骄横跋扈，吕祉很不兴，回到自己营帐当中，吕祉就琢磨这个问题，俩人这打的飞狗的，是好事啊，他俩一打对我有利，皇上怎么行此下策，给调走一个啊，你调走一个，就剩这郦琼了，他在淮西军中，他在刘家军中是老人，现在没有人限制他了，我一介书生，我一介文人，我牵制不住他啊，这事不好，皇上这一招失策。

这样一来张浚等于是把这事给拧了，你这么怪气一将，岳飞脾气耿直，我为了表示我的清白，你们不是怕我揽权吗？你们怕我的军队势力大，行，不了，我走了，这一走，得皇上着了急了，张浚你这叫办的什么差啊，你怎么又把岳飞给走了，所以皇帝就又下旨，赶把岳飞又给请回来，可是这笔账皇上可给你记着呢，你又来这一，只要朝廷一不满足你的要求，你就撂挑，你就弃官不，如此要挟朝廷，就是你算准了朝廷离不开你，以此要挟朝廷，所以皇帝气到了。

如此一来，宋宗更决不会把淮西军的兵权给岳飞了，而是派了一个后尚书吕祉来统领淮西军，怎料事情的结果却被岳飞一语中的，曾经在刘光世手下的两个将，王德，郦琼俩人果真打了起来。

郦琼拿了这封信遍示诸军，看看看，这就是朝廷对待咱们，咱们为朝廷生死这么多年，结果咱刘大帅的兵权说夺就夺了，好不容易我能够领着弟兄们一块儿，咱还一锅里吃饭，咱还一块儿，结果现在派来个文官不说，这个人还要建议皇帝把咱们调走，兄弟们你们说怎么办？你想这一帮士兵多年跟随刘大帅，追随郦琼这帮人，实际上已经形成了一私人之间的关系，不是说我是国家的军队，这觉了，所以这帮人立刻说那反了得了，把吕祉杀了，咱反了得了，哪儿不养活爷啊，咱脆投降得了，往北走，咱投降，反正咱老家都在北方，有的士兵可能家眷没有带来，也在北方，咱降了吧，好，郦琼一拍桌，这事得好，就这样领着将校来，就把这个吕祉给捆了，吕祉一个文人吗，他没有能力反抗，捆了之后这支军队就过江过河，浩浩往北开去，就准备投奔伪齐。

上庐山了。

于是吕祉赶给皇帝上疏，意思是说王德不能走，得把王德留下来，而且要把郦琼的兵权夺去，让他俩互相牵制，郦琼太跋扈了，刚才我劝半天他都不听我的，骄横难治。万万没想到的是，郦琼就防着吕祉这一招呢，吕祉边有一个书吏，有一个办事员，是郦琼安在这儿的间谍，于是这个人就把这个事儿报告给了郦琼，说尚书准备把你的兵权夺了把王德召回来，而且一般来讲像这官的上疏，他不是自己写，不是自己起草，主要由这些书吏，这些下吏来承办，因此这封信落到了郦琼的手里。