且說裴潛在與劉璋議和之後，便轉而率大軍征討盤踞在交趾、九真兩郡的士燮和合浦的士壹。
士燮原本與自己互不侵犯，而且之間還建立了相對友善的關係，可是自從劉璋大軍進佔武陵之後，士燮絲毫不理會裴潛要其出兵協助的請求，雙方之間的關係便出現了一絲的裂痕，再到後來，裴潛被朝廷任命為交州刺史，裴潛命令各地郡守前來拜見，除了蒼梧、南海兩郡太守鄧芝和蔣琬之外，其他郡如交趾、合浦、九真、日南、鬱林五郡全都置之不理，絲毫沒把自己這個交州刺史放在眼中。
不僅如此，士燮還自命為交州刺史，率領五郡之軍進攻自己所在的武陵郡始安縣，雖然士燮也拼湊出來了一支上萬人的大軍，可是戰鬥力實在不強，再加上士燮只是一介文人，根本不擅統兵作戰，所以被裴潛連夜率軍摸進了士燮的營地，一個夜襲將那上萬軍隊迅速擊潰，士燮大驚之下只好率軍撤退。
之後裴潛便統帥一萬大軍，準備乘着士燮戰敗，一鼓作氣攻下交趾，可是沒想到雖然輕易攻下了鬱林郡，卻在馬不停蹄的進攻交趾的過程中遭遇了士燮的埋伏，大軍竟然敗回。
這倒不是裴潛不懂兵法或者沒有防備，主要是因為從鬱林到交趾之間全都是茂密的叢林，大軍無法集中在一起，只能四散開來，分頭前進，結果由於不熟悉地形，或者是迷了方向，或者是被隱藏在其中的敵軍給斬殺，眼見這一仗損失了兩三千人，裴潛無奈之下只好下令撤兵。
「怪不得士燮這老傢伙敢圖謀割據，原來交趾的環境竟然這樣惡劣，看起來以後只能派重兵把手鬱林了。」裴潛無奈的嘆了一口氣，自言自語的說道。
接下來的日子，裴潛只好派兵駐守臨塵、安廣、阿林等縣，防禦交趾的士燮和合浦的士壹率軍侵擾。
雖然士燮兄弟戰爭受挫，不敢北上，但是坐視四郡割據，不服調遣，他就感覺自己這個交州刺史實在做得有些窩囊，對不住主公劉琦對自己的信任。
這一日，裴潛正在書房苦思破敵之策，忽然聽聞麾下中軍校尉裴彥對自己稟報：「啟稟大人，主公派信使來見大人，說是有要事安排。」
「哦？主公這時候派人見我，到底有什麼大事？」裴潛雖然心中疑惑，但還是起身，命裴彥將信使請進來。
那名信使對裴潛施禮之後，就向他遞交了一個信封，然後說道：「大人，主公向您送來平交趾之策，還請大人親自覽閱。」
「什麼？主公竟然有妙策平定交趾？」裴潛聽信使說完之後，立刻激動地接過信封，抽出來一看，這才信服：「真沒想到竟然還有這些奇妙的裝備，哈哈，只要有這些裝備，我這一次必定能夠平定交趾。」
不過裴潛隨即皺了皺眉頭，對那信使問道：「不知道主公所說的指南針會在何時到來？」
只見那信使躬身說道：「主公要小的轉告大人，黃大人正在加緊趕製指南針，估計最多需要一個月，就能運到鬱林了。」
「呵呵，好，替我拜謝主公。」裴潛對信使行了一個禮之後，便命人將信使領下去，好好的招待招待，然後立刻命人傳沙摩柯來見自己。
如今的沙摩柯已經是裴潛帳下第一勇將，對裴潛忠心耿耿，聽聞裴潛找自己，連忙趕來，對裴潛說道：「不知大人找末將來，有何吩咐？」
「呵呵，主公知道你勞苦功高，又忠心耿耿，特加封你為護蠻中郎將，另外賞賜萬錢，這是主公的令符，你可接好了。至於賞錢，你可直接去府庫領受。」
「末將多謝主公。」雖然沒有見過劉琦，但是沙摩柯卻沒少從裴潛那裏聽說劉琦的英雄事跡，如今見主公竟然親自對自己這樣一個蠻夷小將進行封賞，心中早已感激涕零，死心塌地了，所以立刻恭敬的向襄陽方向搖拜。
待得沙摩柯拜完之後，裴潛微笑着點了點頭，然後說道：「沙將軍，這一次本官找你來，其實還有一件事情。」
沙摩柯想也不想的就說道：「請大人吩咐吧，只要末將能做到的，絕對不會有半分的推辭。」
「好，是這樣的，主公聽說你們族人善於染織，所以特意命你們染織出來一種與山中叢林顏色接近的布匹一千匹，如果你們能夠在十天內做到，本官便答應為你們那些耕種土地的族人免租一年，同時還想辦法幫你
