略者為鞏固其在民國東北南滿地區的殖民統治，在遼陽成立了關東都督府，由陸軍大將大島義昌任總督，都督府內設陸軍部。
1907年開始，日本在「關東州」駐紮有1個師團和6個鐵道守備大隊的兵力。
1919年4月12日，日本將關東都督府改為關東廳，以原陸軍部為基礎，另組成了關東軍司令部，實行軍政分治：關東廳為司法、行政最高機關；關東軍司令部則為最高軍事機關。
關東軍司令部先設瀋陽，後遷旅順，1931年9月前後遷瀋陽，1932年偽滿洲國成立前後遷長春，直到1945年8月投降前夕。曾一度向通化、臨江撤遷，企圖憑藉山區固守頑抗，最終以日本無條件投降而告終。
關東軍司令部設參謀部、副官部、兵器部、經理部、軍醫部、獸醫部、法官部等，指揮駐紮在中國東北的師團、獨立守備隊以及旅順炮兵大隊、關東憲兵。關東軍司令長官由日本內閣陸軍大臣和大本營參謀總長領導。
遠東國際軍事法庭判決書中對關東軍下的定義是：「所謂關東軍就是根據《樸茨茅夫條約》，為保護包含着南滿鐵路在內的日本利益而『駐滿』的日本部隊。」
眼看德國法西斯進攻蘇聯受挫，日本十分忌憚，不敢貿然進攻蘇聯。趁英法等國忙於歐洲和非洲戰事，無力東顧之機，日本人決定先發動太平洋戰爭。關東軍於是奉命南下。
1941年12月7日，日本偷襲珍珠港，挑起太平洋戰爭。次年6月，日軍在中途島海戰中遭到慘敗，被迫停止了戰略進攻，轉而採取守勢。關東軍也不再敢主動挑起事端。1942年下半年，日本《陸軍綜合作戰方案》專門指示關東軍，要「防止對蘇發生戰爭，維持北方靜謐狀態」，但仍在繼續擴充關東軍力量。
從1943年下半年起，為挽回太平洋戰場的頹勢，日本大本營開始陸續從關東軍抽調兵力增援太平洋戰場，指望這支「精銳之師」能夠挽救自己失敗的命運。1945年1月，大本營又從關東軍抽調13個師團和一支特設的具有高度機械化的常備兵團赴太平洋戰場。可是，關東軍不但沒能扭轉太平洋戰爭的敗局，反而白白充當了對美作戰的炮灰。4月初，美軍攻佔沖繩島，並對日本本土開始空襲，日本不得不集中兵力進行本土決戰的準備，為此又從關東軍抽走7個師團，並將關東軍儲備的近1/3的戰略物資以及大批人員調回國內。
1945年5月8日，德國法西斯無條件投降後，蘇聯的視線逐漸轉向遠東地區。共產黨領導下的東北各抗日武裝也不斷打擊和消滅日軍力量。關東軍只好重新擴充力量，進行備戰。為此，關東軍將在東北的25萬退伍的日本軍人重新徵集，並編成8個師團、7個混成旅團、1個坦克兵團和5個炮兵聯隊，作為臨時部署兵力的補充。經過迅速補充，關東軍兵力一舉達到24個師團，約70萬人。關東軍兵力的增加只是一種表面的膨脹，武器裝備和戰鬥素養僅僅相當於以前的8個半師團。特別是由於日本在各個戰場連遭慘敗，士氣低落，關東軍往日的威風已經不復存在。
歐洲戰事結束後，蘇軍開始騰出手來對付關東軍。1945年8月8日蘇聯向日本宣戰。此刻，蘇軍元帥華西列夫斯基指揮的150萬重兵已經利用夜幕掩護在中蘇邊境展開。9日凌晨，蘇軍突然從三個方向同時向日軍發起了強大的突擊行動。拂曉，蘇軍幾乎在所有方向上跨過了國界，強渡了額爾古納河、黑龍江和烏蘇里江，分別從後貝加爾、黑龍江沿岸和濱海地區進入了中國東北境內，在5000公里的正面戰場上展開了強有力的攻擊。9日，毛澤東主席也發表了《對日寇的最後一戰》的聲明，配合蘇軍的進攻行動。
儘管關東軍早有對蘇作戰的準備，甚至一度還拉出與蘇軍決戰的架勢，但是，由於關東軍設想決戰的時刻是1946年，不僅未能偵察到蘇軍的實力，甚至連蘇聯正式對日宣戰的消息，他們也沒能提前得到。在蘇軍的強大攻勢下，關東軍精心佈設的陣線很快就土崩瓦解，總司令部慌忙決定放棄「新京」（長春），固守通化，並指令偽滿洲國皇帝溥儀隨總司令部遷往通化，企圖在通化一帶與蘇軍決戰。此時的關東軍官兵已經完全沒有了鬥志，紛紛逃命。原來設想的大決戰竟然化為一場拼命的追逃遊戲。蘇軍各個方面軍的作戰行動
