此时高宗天子担忧金军渡江来袭，便命大将杨惟忠守金陵，刘光世守京口，王渊守姑苏，分受二大臣节度。而韩世忠在海道未还，范琼自寿春渡淮，引兵之淮西境上。是以杭州护驾者惟苗傅一军罢了。
此时金军东路完颜宗辅命其弟兀术持续南侵，兀术闻得高宗天子渡江流亡杭州，便命刘豫知东平府，充京东、西、淮南等路安抚使，节度大名、开德府、濮、滨、博、棣、德、沧等州，而以其子承务郎刘麟知济南府。自旧河以南，皆为刘豫所得。而本身则厉兵秣马，筹办直取杭州。
此时王渊一心敛财，不守平江，将所获民脂民膏装大船十数艘，自维扬来杭，杭州百姓看到，暗里说道：“船所载，皆渊平陈通时杀夺富民家财也。”
奏章来到高宗天子案前，细心旁观后回想当日在扬州时因黄、汪二人不察，乃至兵临城下方知，又兼遭到惊吓，使得面对后宫如花美眷，竟然有力处置，诸事各种，令高宗天子更加悔恨二人。
苗傅听到王渊的动静，忿忿不平对刘正彦说道：“吾家屡有军功，勤奋王室，止得一统制。王渊有何功劳，可专大权？只因其私结康履，使圣上信其媚言，骤迁显职，况其只顾搜刮，中饱私囊，对朝廷有何忠义之心？若不诛之，必成大患”
固然黄、汪二贼明为谪贬，但所去之处皆是江南富庶之地。江宁府为江南东路首府，洪州是江南西路首府，皆是外放官员求而不得之地。反观李纲，只因上疏直言，便被贬至鄂州，保卫长江。高宗天子对忠奸之别离，可见一斑。
二人在高宗天子面前痛哭流涕，数陈己罪，言词诚心，以求高宗免其相位，谪贬出城。高宗天子被二人所惑，又想到当日在扬州城中二人对本身的奉迎之情，便不再穷究二人之责。下诏谕罢二人摆布相为观文殿大学士，黄潜善知江宁府，汪伯彦知洪州。
高宗天子一起仓促逃到杭州，为安抚军民，无法之下师法其父下诏罪己，求直言。诏曰：“朕以菲躬，遭时多故，发难恰当，知人不明。昨以宰臣非才，任用既久，专执已见，梗阻下情，事出仓促，匹马南渡，沉思厥咎，在予一人。既已悔过责躬，洗心改事，放斥宫嫔，贬损服御，免除宰辅，收召俊良。尚虑多方未知朕志，自今政事阙遗、风俗利病，或有关于国体，或无益于边防，并许中外士民直言陈奏，朕当躬览，采择实施，旌擢其人，庸示劝奖。”
刘正彦此时也喝酒正酣，因王渊在本身征讨丁进一事上封赏不敷，并且征檄其兵马而早生凶悍，因而咬牙切齿道：“公所言甚是，当与公同去此辈。吾虽由王渊保举，却也对其所为不齿。现在圣上偏听偏信，又有康履等内侍跋扈，只怕难复当年盛景。若能借此良机，除奸党而后改立皇子，使隆祐太后临朝听政，到时移檄于天下，更使我等废立驰名，亦是为国尽忠也。”
此举一出，顿时令将士大为不满。而康履因与王渊结党，气势更甚，毫不把诸将放在眼中。高宗天子在扬州时，便喜康履，因此其妄作威福，诸将多对其厌之。一起南逃过程中，摆布宦者不但无涓滴紧急之心，反于江中以射鸭为乐。来到杭州安宁下来后，更是尽情妄为，江下观潮，中官供帐，鲜明遮道，世人皆恶其行。
高宗天子在杭州安宁下来以后，因贬了黄、汪二贼，便以朱胜非为尚书右仆射兼中书侍郎兼御营使，又因康履进言，非旦不以王渊渡江时的各种作为而惩罚，反将其升为同签枢密院事。