，袁世凯唆使内务总长赵秉钧和财政总长熊希龄等人进行公开抵制。赵、熊等在国务会议上竭力反对划清总统府与国务院地权限，主张事事奉令承教于大总统；反对国务院为有机政体，主张各国务员可“单独行动”不必固守国务院的成议。讨论各项政策，他们也决然与各同盟会阁员立于对立地位。到后来，赵秉钧索性经常不出席国务会议，有关内务部公事。直接向袁世凯报告，根本不把唐绍仪放在眼里。

但袁世凯的压迫并没有使唐绍仪完全屈服。例如，在政府用人问题上，他仍旧主张“贵新不贵旧”非万不得已“决不可以延用旧人”有时和袁世凯争得太厉害以至于使袁气急败坏地说出“我们没几天好做的，这个位置早晚要让给你们地。”将唐绍仪划入到同盟会一边，唐这才大吃一惊，知道袁世凯对自己起了猜疑。

插手众议院议长的任命，让袁世凯最终确定了唐绍仪跟自己非是一路人，尤其是看到他竟然联合同盟会众议院在参议院驳回了自己的任命。他任命的内阁次长张元奇的离职更是令他感觉到自己似乎被唐绍仪扇了一巴掌，让他感觉这个大总统的威严荡然无存。

袁、唐之间的冲突终于以借款问题为导火线而公开爆了。早在袁世凯就任大总统之前，他便通过朱尔典的关系联系上了四国银行团，商议借款的事情了。后来先后又有国家加入，因为他的地位不断的稳固，从洋人手中他先后的接到了数百万的借款，只不过大都用于编练他的北洋新军，只有极少数最后到了财政部，又从财政部中挤出来一部分给唐绍仪使用。而这些钱对于一个迫切想要有所作为的内阁总理来说实在是太少了！

于是唐绍仪最终绕开了袁世凯，自己亲自拜会了‘华比银行’北京分行，最后通过这家比利时银行借款100万英镑，年息5厘，以京张铁路余利作为担保，用于改善内阁财政，同时有所作为。

6月14日，借款敲定，消息这才产出之后引起轩然大波。

京张铁路乃是袁世凯跟列强银行团大借款的抵达之一，无论是袁世凯还是列强银行团在合约签订后都是大怒，一致向袁世凯抗议唐绍仪的借款所为，同时联手打压华比银行。同时各国公使联手往外交部递交抗议书，要求内阁取消比利时借款，更是无理要求凡大借款应与各国公使直接交涉；拖到6月27日，内阁终于抵挡不住压力正式复函列强各国，同意取消比利时借款，并答应今后不以从列强银行团借得之款偿付比利时之款。三天后，唐绍仪被逼得没有办法，不得不与四国银行团代表商谈，日、俄也有代表参加，唐绍仪鉴于财政困难，请银行团即日交付3500万两，以解燃眉之急，自本月起到12月止，每月交付1000万两。银行团先以唐曾向比利时华比银行借款，逼他“谢罪”后又声明，需中国。政府先将每期所交付借款之额数和用途指明，并担保以盐、茶税以及改良后收入增加地实数，详详细细编制一张预算表，交付银行团。

消息传出，全国舆论哗然。待正式照会到国务院后，唐绍仪大怒，说这是列强企图控制我国财政的条件，万万不能答应，断然拒绝了银行团的要求。这样一来，银行团大为不满。《泰晤士报》攻击唐绍仪“不愿借款告成”“以致中国各界各国政见，竟有排外举动”这个举动也使唐、袁之间矛盾计划激烈的冲突，袁世凯认为唐绍仪损害了他和帝国主义列强之间的关系，便改派财政总长熊希龄与银行团交涉。

至此，袁世凯跟唐绍仪之间的矛盾已经完全不可调和，于是开始准备更换自己的心腹代替其就任内阁总理。7月6日，陆军部、工商部、内务部等数个内阁部门总长联手向参议院递出弹劾，大有非推唐下台不可之势。而此时的参议院毕竟还是同盟会的席位占了多数，有唐绍仪在任内阁总理之时，袁世凯的权力多少受到限制，若是他不在了势必袁世凯将无所顾忌。于是孙中山携宋教仁亲赴北京说服各省同盟会籍议员，最后以微弱的差距导致第一次弹劾唐绍仪不成。