雖然攻克了遼東城，顯然遼東城沒有辦法作為下次進攻高句麗的前線基地。
而且探馬也帶來消息，撤退的高居麗軍隊，把沿線的道路和村莊通通摧毀，百姓通通帶離，顯然這樣堅壁清野表明，高句麗想要繼續打下去。
楊廣憤怒道：「大軍繼續前進，朕就不相信，高句麗人會把他們城池全部摧毀，也不和朕投降，朕倒是想看看他們有多少城池可以這樣燒！把高句麗的城池都燒光了，他們還肯不肯投降！」
虞世基馬上勸阻道：「陛下，還有兩個月時間，遼東大地就要進入冬季了，而遼東城後就是長白山脈，後面不但道路難行，而且城池，關隘險惡，急切之間難以攻破，不如大軍返回等來年再來教訓高句麗國。」
這個時代還沒有棉衣這樣的禦寒物資，高級軍官還可以靠皮衣禦寒，但普通士兵和民夫只能硬抗，但大隋其他地方還可以硬抗。
但在遼東，冬天零下幾十度野外根本不可能生存，這也是大隋軍隊為什麼一定要在冬天前一定要回去的原因，不然這百萬大軍十之八九都要凍死在這裏遼東大地上。要是加上回程的時間，他們根本沒有兩個月。這麼短的世界想擊敗高句麗根本不可能的事情。
所以虞世基說完其他將校也跟着請求楊廣退兵。
楊廣剛剛只是說氣話，這點軍事常識還是有的，加上方德就在附近他也有所顧忌，有虞世基這個台階下，他也只能宣佈征戰高句麗國的軍事行動到此為止了。
只是讓楊廣無奈的是他只得到了燒成白地的遼東城，這樣的戰果卻耗費了百萬大軍，大隋可以說是虧大了。
在遼東城外修整幾天，楊廣留下了5000人馬駐紮在這裏，還想修復遼東城，作為下場征戰遼東城的基地。
餘下的人馬則浩浩蕩蕩的跟着楊廣回去了。
