除了郭嵩燾以外，很識時務的李續賓兄弟也願意留在湖北，此外知道駱秉章絕造不出什麼好船的水師大將彭玉麟也表態想要留下，倒是楊岳斌考慮到自己已經是記名總兵，曾國華又已殘廢，回湖南後新建水師主將非己莫屬，表明態度想回湖南。
讓湘軍眾頭目頗為意外的是，曾家幾兄弟也出現了分裂，曾國潢和曾國葆想攜帶曾國華回家侍侯病重父親，曾國荃卻堅決表態留在湖北，還直接對曾國潢等親兄弟說道：「你們想回家自己去，我要留在湖北給兄長報仇，回湖南重新建軍從頭再來，想報仇不知要等到何年何月，留在湖北幫慰亭，親手報仇的希望還更大些。慰亭雖然是我晚輩，但我願意聽他號令！」
湘軍三大謀士之一的羅澤南此前已然傷重而亡，最後一個謀士劉蓉是古文名家，一向與胸無點墨的吳越沒有共同語言，也不想留下要回湖南。而眾人都紛紛表態之後，目前事實上統率湘軍餘部的胡林翼卻始終沒有言語，當人問起他的立場時，胡林翼沉默許久，給出的仍然是一個模稜兩可的答案，「再看看，等見了吳撫台再說。」
沒讓胡林翼和湘軍眾頭目等多久，在繁華已經不輸省城的漢口休息和參觀了一天後，吳越親自渡江來到了漢口，藉口親自引領湘軍眾頭目參觀軍事人才培養學校，在新建不到半年的湖北武備學堂中召見了湘軍眾人，然後就直接擺明了車馬，要求湘軍眾將拋棄駱秉章跟自己混，並承諾絕不會虧待了湖南幫。
願意留下和想回湖南都各自表了態，但即便願意留下，彭玉麟和曾國荃等人也明白告訴吳越，說自己無法保證留住所有士卒，只能是讓殘餘士卒自決去留。而吳越卻更加坦白告訴彭玉麟等人，微笑說道：「各位將軍，我希望你們留下，着重的是你們的戰場經驗和才幹能力，並不是你們的嫡系舊部，你們的部下就算全部回湖南也沒關係，兵我可以給你們再招再練，還包管在素質上比你們的舊部只強不弱。」
知道吳越練兵的本事，彭玉麟和曾國荃等人忙連聲道謝，吳越客套之後，又把目光轉向了唯一表態的胡林翼，微笑問道：「潤芝先生，怎麼一直不說話？難道說，你還要再考慮考慮？」
胡林翼確實需要考慮，沉吟了半晌過後，胡林翼突然反問道：「吳撫台，下官想向你請教一個問題，既然你能在大冶搞出洋人才有的大鐵廠和大槍炮局，那能不能在湖南也搞出類似於大冶的鐵廠和槍炮局？」
聽話聽音，胡林翼剛問出這個問題，吳越就馬上知道了他的真正態度還是想回湖南——但這也不奇怪，就胡林翼在湘軍中的威望地位，重建的湘軍主帥自然非他莫屬。暗暗失望之餘，吳越也只能是強打精神說道：「當然可以，湖南也有鐵礦和煤礦，煤炭的儲量和出產地還遠遠多於湖北，有鐵廠和槍炮局的根本基礎。但是沒辦法，我是湖北巡撫，不是湖南巡撫，所以鐵廠只能建在大冶。」
「那吳撫台，你為什麼就沒想過和駱撫台聯手在湖南也建一個？」胡林翼追問，神情還有一些激動，說道：「大冶槍炮局的產量不高，吳撫台你的大部分武器仍然還得向洋人購買，如果你在湖南也建起一個類似大冶的槍炮局，聯起手來共同生產武器，不就可以擺脫武器不足的制約，儘快的徹底平定長毛叛亂了？」
「這人註定不是我的，強拉過來也靠不住。」吳越在心裏嘀咕了一句，也徹底死了拉攏胡林翼的心——對滿清太忠心了。
嘀咕過後，吳越說道：「潤芝先生所言極是，我也不是沒有考慮過再建幾個槍炮局，但是沒辦法，實在找不到合適的人替我主持。」
「吳撫台，那我怎麼樣？」胡林翼迫不及待的問道：「如果吳撫台你信得過下官，讓下官幫你在湖南也建一個大鐵廠和大槍炮局如何？」
「關於這點，潤芝先生你應該去和駱撫台商量。」吳越隨口答道：「如果他能夠拿得出銀子錢糧，也能夠壓得住地方上的阻力，那同是為朝廷效力，同樣是為了儘快平定長毛肅清匪，我當然願意全力支持他在湖南也建起槍炮局和鐵廠。」
「那好，下官返回湖南之後，一定全力勸說駱撫台向你效仿，在湖南也創建鐵廠和槍炮局。」
胡林翼拍着胸口應諾，也巧妙表明他其實想回湖南的立場。早就猜到胡林翼心思的吳越笑笑，一口答應後也再沒提起要求胡林翼
