這邊宇文樂得了吳王賄賂，要為他轉達宇文素，又聽了東方文杰的話，所以每日和宇文素相見，便愁容滿面，一日宇文素奇怪的問他：「我弟因何如此？」宇文樂嘆道：「前日兄長出去狩獵，燕王府長史林錦暗聞燕王道：『當要殺此老賊！』便來報知與我，老賊不是兄是何人？」宇文素憤然道：「曲曲燕王，又能把老夫如何！」宇文樂又嘆道：「只恐怕燕王若將來登基，必成大患！」
宇文素恩了一聲道：「那你的意思，我是辭官避他，還是如今改心順他？」宇文樂便道：「無論如何，他也不能釋怨，只有使計廢其王位，使其永無繼位之可能，方能如願。」宇文素撫掌道：「沒想到你還有這心思，正和我意！」宇文樂低聲道：「這事不可遲疑，一旦燕王知道，必生大禍。」宇文素點頭道：「這事還須皇貴妃在內做主。」
兩人商議完了，宇文素便來見絳仙，絳仙知道他握有重兵，便托他贊成廢立，兩人一拍既合，於是絳仙不時在楊廣面前，搬弄是非，又加上大多數宦官官妾和朝中大臣都受了林南的好處，所以大夥冷一句，熱一句的，全在楊廣面前說燕王不好，正是積毀成山，大夥都說燕王不好，楊廣也就有些拿捏不定起來，但燕王畢竟沒有大罪，所以楊廣倒也沒有起廢起王位之心。
林南見楊廣遲遲不廢燕王，也有些不耐煩了，這時東方文杰又出一計，聽的林南連連點頭。
細究燕王的過失，其實也沒有什麼，只有一點，他生性奢華，又寵愛小妾雲昭訓，偏偏這些都是楊廣最忌諱的，這才埋下了禍根。
林南聽從了東方文杰的計策，故意向燕王示弱，並且花重金買下了一副金鏤甲贈給了燕王，燕王生性直率，而且這金鏤甲又正好投其所好，竟把對於林南的猜忌之心全忘在了腦後，和這個弟弟和好了起來。
這一切都在林南和東方文杰的意料之中，如此又過了幾個月，直到冬至，林南又履行了東方文杰設下的毒計，他讓燕王在自己壽辰之日，王府坐堂張樂接受百官的朝賀，燕王見林南如此順從自己，越發覺得自己眼看着就要承襲太子之位，立令至昏之下，竟然欣然接受。
燕王高坐府前，林南故意譴派己方的官員也都來朝拜，一時間來者數百人，幾乎就如同天子坐朝一般，這事自然有人早呈報了楊廣，楊廣開始不信，等到親自來到燕王府一看，頓時勃然大怒，抽出龍泉劍來喝道：「待我殺了這畜生！」燕王見楊廣提劍入殿，頓時傻了眼，這時林南忽然衝過來拉住楊廣道：「兄長不識忌諱，父皇且莫見怪啊！」楊廣自然不聽，怒氣更盛，揮劍指道：「畜生何足付大事，言罷憤然而去。」
「十六弟，父皇不會廢了我吧。」燕王驚出一身冷汗，也清醒了過來，林南假意安慰道：「兄長放心，弟這就進宮去為兄長周旋。」燕王萬分感激，雙手握住林南的手道：「弟之恩德，兄長必報！」「恐怕你沒機會了。」林南心下暗笑，別了燕王就進宮來。
林南剛到承慶門，就見到一隊御林軍從宮中出來，馬上為一將正是宇文素。「殿下。」宇文素見了林南忙下馬行禮，林南扶他起來問道：「素公何往？」宇文素便答：「皇上派臣召燕王入殿。」兩人心照不宣，宇文素帶兵而去，林南獨自進宮中來。
楊廣還在氣頭上，見林南進殿，忙招呼他道：「羽兒你過來。」林南答應着走過來，楊廣嘆了口氣道：「你兄失得，難得朕心，朕欲廢其王位，你意下如何？」林南假意跪倒道：「兄長尚無大罪，還請父皇收回成命。」楊廣聽他這麼說，點頭嘆道：「你且站在一邊。」
眾大臣全都進了宮肅立兩側，宇文素帶着燕王走入殿中。燕王已猜出結局，伏地拜道：「父皇。」楊廣也不說話，旁邊的內侍太監將聖旨一展，尖聲念道：「奉天承運，皇帝詔曰：燕王楊昭，私德不休，奢侈無度，多負朕望，着廢為庶人，解至西苑看管，欽此……」
「這……」林南假裝吃驚，其實心裏都樂開了花。燕王卻似知道這個結果似的，一句話也不說，只是全身都瑟瑟的發抖。
燕王既廢，其餘諸王人人自危。尤其是齊王楊寧、楚王楊佑、趙王楊凌三人，更是各回封地，再不回京。其餘諸王則全都屈服於林南之下，與其交好。
……
這日，林南正把畫眉纜在懷裏親熱，西苑的太
