但此时杜充见金人势大，高宗天子一起南逃，宋军胆气尽失，一遇金军便望风而降，想来金国灭宋只在指日之间。因而便生贰心，现在听了向子忞的发起。杜充便推委道：“圣上南幸，然江南之地未失，某将冬眠于此，以待良机，复兴雄师御敌。”
兀术接降书后大喜，笑道：“金陵不烦进犯，大事成矣！”因而引军随陈邦光等人入建康城中。
杜充收到唐佐手札，又听兀术之承诺，便趁夜出城，往金军投降。
此计一出，满朝皆惊。
兀术许其以官，杨邦乂仍不肯降，并以头触阶欲求死，被世人救下，兀术无法，只得命人将其收押。
可当杜充带领亲卫来到建康城门处时，正遇城中百姓举家流亡，人群中有识得杜充之人，便高呼道：“相公欲往那边去？”
来到城中，李悦、陈邦光率官属迎拜，唯有通判建康军提领沿江措置使杨邦乂立而不跪，并咬指出血，在官袍衣裾上大书十字“宁作赵氏鬼，不为他邦臣。”
杜充面露难色，很久火线说道：“欲起兵至江南督军，快快让行！”
杨邦乂，字晞稷，庐陵郡吉州吉水县人氏。博通古今，以舍选登进士第，遭时多艰，每以节义自许。历婺源县尉、蕲庐建康三郡传授，改秩知溧阳县，又改建康通判。
但这只是杜充的缓兵之计，见明目张胆出城已是不能，便于半夜起三千亲卫，暗中来到城门处，夺门而出。次日凌晨，当众官自睡梦中醒来，前去杜充府上扣问对策时，这才发明府中早已是空无一人。
杜充一起逃到真州，入城以后，恐百姓知其行迹，便藏身于长芦寺中，蜗居不出。
高宗天子踌躇不定，但问吕颐浩道：“事迫矣，如何？”
又过一日，兀术再见杨邦乂，再次劝说，杨邦乂面含悲忿，遥指兀术骂道：“尔等女真图谋我中原之地，彼苍岂能长助尔等，必将尔等碟为万段，方解我心头之恨。巧舌利诱，安能污我？”
就在建康府沦亡之时，杜充藏身于真州，知州向子忞劝杜充道：“现在陛下南幸，相爷何不经通州、泰州去往越州以伴圣驾？”
兀术见杨邦乂不平，又再三对其劝说，杨邦乂慷慨陈词道：“世上岂有不畏死而能够利动者？”
此时高宗天子自越州返至钱清堰，见兀术雄师纵横江南，欲重效靖康故事，便问计于众臣。此中侍御史赵大力谏，觉得众寡不敌，不若为退避之计。
当马家渡败北的信息传至建康时，杜充终究不再龟缩，而是筹办弃城而逃，一如当年汴京故事。
而兀术既得建康，又闻杜充逃至真州，便起劝降之心。当时有杜充旧友，京畿提刑凌唐佐降于金军，兀术便命其写劝降手札于杜充。同时命使者对杜充说道：“若降，当封以中原，如张邦昌故事”。
直至绍兴年间，杜充之孙由广州逃至相州，被其部属胡景山所知，便趁机诬告其阴通宋朝。因而粘罕大怒，命人将杜充下至刑狱，并酷刑鞭挞。杜充只是不平，粘罕命人将其带到座前，问道：“汝欲复归南朝邪？”
御史中丞赵鼎、右谏议大夫富直柔同对，请先罢去杜充右相之职，待得其降金动静确切后再议别罪。数日以后，动静确切，高宗天子下制削去杜充爵位，徙其子嵩、岩、崐、婿韩汝惟于广州。
次日，兀术等与李悦、陈邦光大宴堂上，立杨邦乂于庭，杨邦乂指李悦、陈邦光骂道：“天子令尔等守城，敌至不能抵当，反与仇敌饮宴作乐，有何脸孔存于人间？”