2月19日，新32師對臨河發動攻擊。在新32師發起攻擊不到10分鐘，守城的日偽軍撤出臨河。駐陝壩的偽軍隨後也撤回了五原。日軍為了避免被個個擊破，便將偽軍各部集中於五原。

2月19日上午8時，綏遠遊擊軍按計劃行事，日軍步炮混成聯隊以500餘人分乘汽車40餘輛出動，向綏遠遊擊軍發起反擊。日軍在前進至五臨公路南側時即已發現了埋伏於此地的中國軍隊新編第31師第93團，雙方立即發生了激烈的戰鬥。

新31師第93團為日軍先頭部隊發現後，該團團長安春山上校立即命令所部發動進攻，與日軍發生了正面交鋒，戰鬥自早上10點開始至晚上6點，第93團損失慘重。而第91團和第92團則因遭到偽蒙軍3個師的策應攻擊，而未能及時配合第93團進行作戰。其中新91團團長劉景新上校擅自脫離部隊，以致新91團出現指揮混亂，事後劉景新被傅作義撤職查辦。

而在第101師方面的作戰也很不順利。該師剛進人陣地，即與日軍突然遭遇，被迫改為防禦戰。日軍在兩個地方紛紛與中國軍隊發生激戰後，明白了中國軍隊的伏擊企圖，於是立即收縮部隊，隨後撤回了五原。而負責奪取五原的中國軍隊綏遠遊擊軍見友軍作戰紛紛失利，遂放棄了進攻五原，撤回原防。

首次收復五原的計劃失敗後，傅作義上將深感自己部隊作戰不利的缺點，他緊急命令在後方休整的新編第5、第6旅、新編騎兵第3師等部趕赴前線，對五原、安北地區開展游擊，吸引日軍注意，命令第35軍、綏遠遊擊軍、五臨警備旅等部乘此間隙集結於豐濟渠以西地區，進行整訓，重整旗鼓，準備再次發動對五原的攻勢。

1940年2月25日，傅作義上將在亞麻賴接到了軍事委員會委員長蔣中正的電報，任命傅作義為第8戰區代理司令官，要傅作義即刻前往蘭州就任，部隊在石嘴山收容。對此傅上將在亞麻賴召開第二次軍事會議，商討去留問題。會議起初分為兩種意見。一種是「我軍久戰疲憊，損失過大，應該休整一下，恢復戰力再打，』;第二種是「利用黃河解凍時期，敵人重武器無法使用，我軍進攻五原，收復失地」。而以新93團團長安春山上校、副長官部參謀靳書科中校、新31師參謀主任宋海潮上校等人則主戰甚力，他們一致認為應「把握時機，立即開打，收復五原」。這一意見得到了大部分軍官的支持，於是傅作義上將最終謝辭了蔣中正的任命，留在綏遠堅持戰鬥。

隨後，傅作義上將召集了參謀長魯英麐、總參議張濯清、參謀處長張副元以及新93團團長安春山和作戰參謀數人商討反攻五原的作戰計劃，最終決定於3月20日夜12時發起進攻，以新31師第93團安春山上校率領的部隊為突擊部隊，直攻五原城內日軍指揮部;新31師師長孫蘭峰少將為五原新城攻城指揮官，指揮新91、92兩個團和五臨警備旅第1團由城西進攻；新犯師師長袁慶榮少將為五原舊城攻城指揮官，指揮所屬部隊由城西北進攻，並負責肅清廣盛西的偽蒙軍；第101師師長董其武少將率領所屬部隊為預備隊。

另以騎7師副師長朱矩林少將的騎7師一個團攻擊五原外圍新公中的偽蒙第8師、李作棟少將指揮的綏遠遊擊軍攻擊蠻可素、郝鏡橋的王英偽軍、安華亭少將指揮的新5旅和王子修少將指揮的新6旅分別攻擊烏拉壕、萬和長、扒子補隆、西山咀等處偽蒙軍、石玉山少將指揮的新騎4師攻擊南牛犢的偽蒙軍，在攻克該處後轉為追擊敵軍的作戰。在正規軍作戰的同時，還應發動地方群眾放水澆地，遲滯敵軍的步兵行動。作戰會議結束時，傅作義上將又將在綏西戰役中作戰不利的綏遠遊擊軍馬秉仁中將、新31師第91團團長劉景新上校以撤職處分，給第101師師長董其武少將以撤職留任的處分。

反攻五原的作戰決策確定後，傅作義上將即令各部隊加緊訓練，並親自帶著參謀人員到各個部隊進行指導。最後傅上將又從其它部隊中調了一些有戰鬥經驗、作戰勇敢的幹部和士兵參加新93團，組成了一支突擊隊。

駐五原的日偽軍在第一次擊退中國軍隊的進攻後也重新調整了部署，以桑原荒一郎中佐指揮的特務機關和偽蒙警備隊1000餘人駐守五原新城，由烏古廷少將指揮的偽蒙軍第4、第5、第8師駐守五原舊城和新城中，由王英中將指揮的「綏西自治聯軍」駐防在五原外圍的郝鏡橋、南牛耕、蠻可素、同義隆和扒子補隆一線。初次擊退中國軍隊攻勢的桑原中佐錯誤的認為不依靠援軍仍舊能夠守住五原，他甚至誇下海口說傅作義再也回不了五原。

3月15日，中國軍隊參戰各部開始行動，並於19日抵達各自指定位置。由新31師第93團團長安春山上校為突擊隊司令、曹子謙上校為副司令的突擊隊經過晝伏夜行亦進至五原新城外壕。3月20日深夜，突擊隊在成功繞過偽蒙警備隊並俘獲偽軍士兵取得通行口令後成功抵達五原城門口，隨後以精壯之士將城門日軍警衛刺殺，俘獲4名偽蒙軍士兵，占領城門。此時，突擊隊分為8個小隊迅速突入城內，攻擊即定目標，以手榴彈投擲日軍營房。戰鬥發生到特務機關部時，日軍特務機關長桑原中佐狼狽的率領部下30餘人逃出了五原，這使得日偽軍的指揮陷入混亂。突擊隊經過5個小時的激戰，先後占領實驗小學、糧食倉庫、合作社、彈藥庫、皮毛店等日軍據點，僅剩屯墾辦事處與平市官錢局兩處據點因日軍工事堅固而未能奪下。為了迅速攻占這兩個據點，突擊隊在21日一天由相繼發起了五六次衝鋒，但仍然沒能取得進展，部隊改由突擊隊副指揮官曹子謙上校指揮繼續攻擊，此後突擊隊在新31師主力和炮25團第3營的增援下，才於22日下午將這兩個據點的日軍全部殲滅。

突擊隊成功突入城內後，由孫蘭峰少將、徐子珍少將指揮的新31師主力和五臨警備旅第1團、炮25團第1營等部由五原新城西面進攻駐紮在西關的日軍，日軍憑藉堅固的工事和障礙物進行抵抗。2小時後，新31師攻克西關，全殲關內守軍，並進而攻占義和渠以西的全部日軍據點。至此五原新城已經全部收復。

3月15日，新32師與配屬之炮25團第2營在師長袁慶榮少將的指揮下開始對五原舊城、前後補紅和廣盛西的日偽軍發動了攻擊。五原舊城與前後補紅地區駐有偽蒙軍第5師，這個師利用院落以及堅固的防禦工事，且均配備有輕機槍等武器。中方軍隊在進攻時傷亡較重。新95團第3營營長趙壽江少校率部經1小時激烈戰鬥將前後補紅據點攻克，但在進攻結束後全營僅剩官兵7人。新94團第2營乘勝攻擊舊城，但被偽蒙第5師擊退。總部作戰參謀靳書科中校向傅作義上將匯報相關戰況，傅作義回電立即將第2營營長苗逢安少校就地正法，經第101師師長董其武少將和新32師師長袁慶榮少將的聯名保證，允許苗少校帶罪立功，繼續攻城，但是仍舊被偽蒙第8師壓制。而奉命同時攻擊廣盛西的新95團兩個營也無較大進展。

第35軍主力對五原發動進攻時，奉命在外線作戰的騎7師、新騎4師、綏遠遊擊軍等部對外圍各偽軍據點發動進攻。騎7師在代師長朱矩林少將的指揮下於3月20日夜由乃馬召向新公中的偽蒙第8師進攻，但是遭到偽蒙8師的反擊，戰事膠著。21日夜，朱矩林代師長以1個連在原地佯攻，命令主力由團長胡逢泰上校率領秘密轉移到新公中東面，突然發起側面猛攻，使偽蒙8師遭受重大損失。當偽蒙8師在遭到騎7師的兩面夾擊後，師長寶音格勒德爾已無心戀戰，於是向五原新城內的特務機關部請示下一步行動方案。此時的日軍特務機關部已被中國軍隊占領，中方假冒特務機關的名義叫偽蒙8師「自由行動」，寶音格勒德爾在得到這個回復後立即命令部隊放棄陣地，向東撤退。該師在撤退途中又遭到新編騎兵第4師的伏擊，僅500餘人逃出五原。

綏遠遊擊軍在代理司令李作棟少將的指揮下亦於3月20日夜對郝鏡橋、蠻可素的「綏西自治聯軍」發起進攻。由王英率領的「綏西自治聯軍」在聽說五原城內日軍各據點相繼失守之後，隨即向南潰敗。李作棟少將在得知當面情況後，果斷下令追擊，將「綏西自治聯軍」殲滅大部，僅王英等率領殘部數百人逃脫追擊，其參謀長楊守程被擊斃，顧問淺沼慶太郎與高參李根車被俘虜。王英隨後被安華亭放走，但隨即這一行為就被告發，安華亭被撤職查辦。

在五原舊城內外各據點發生激戰時，作為預備隊的第101師除以303團支援友軍作戰外，還以所屬第302團攻擊烏加河地區的橋樑守敵，阻擊日軍的增援部隊。第302團團長郭景雲上校奉命後於20日夜抵達攻擊位置，他將主力部署在橋南，另以一部分兵力潛渡河烏加河北，以突然進攻的方式兩面夾擊守橋偽軍，經1小時戰鬥即順利攻占橋樑，並俘虜偽軍官兵50餘人，隨後郭團長將橋樑破壞，並在烏加河南構築防禦工事以阻擊援敵。同時，新5旅與新6旅也按照既定計劃將各自負責的攻擊目標處的偽軍守備隊殲滅，並破壞了橋樑。當五原舊城為新32師收復後，傅作義上將命令該師改為預備隊，命令第101師師長董其武少將率領所屬第301團、第303團推進至二財主絕旦地區搶修工事，以阻擊由此增援五原的日軍。

3月22日下午3時，增援的日軍趕到了五原外圍，並突破了新6旅的防線，架設浮橋，搶修烏加河上被破壞的橋樑。郭景雲上校率領第302團予以阻擊，日軍渡河受挫。隨後日軍數次組織強攻，曾一度攻上河堤，郭景雲立即組織精壯之士與日軍展開肉搏，最終將日軍趕回了烏加河北。隨後，董其武師長命令第303團接替第302團防務，繼續阻擊日軍。

第101師第303團團長宋海潮中校在接替陣地後，立即組織輕重機關槍手數人構築火網封鎖日軍架橋處。日軍增援部隊接連反撲全部失敗。不久五原全城被收復，日軍援軍開始撤退，第101師勝利地完成了阻擊任務。

日軍在失守五原後，於3月22日發布第425號作戰命令。駐蒙軍司令官岡部中將於3月24日以小島中將的騎兵集團為主力，配屬第26師團的兩個大隊集結於烏加河畔，並以猛烈的炮兵轟擊中國軍隊第101師第301團和第303團的防禦陣地。第301團在團長王建業上校的指揮下奮勇阻擊，營長馮增波少校、連長郝寶瑞上尉相繼陣亡，王團長亦臂部負傷，陣地逐被日軍突破。隨後日軍從側翼包抄第303團防禦陣地，並奪占橋樑，使第303團遭受慘重損失，團長宋海潮上校受重傷，第303團被迫放棄陣地向後撤退。傅作義見狀，被迫下令再次放棄五原。

日軍在突破烏加河第101師防線後兵分兩路，一路追擊撤退的中國軍隊，但卻沒能捕捉到任何蹤跡。另一路日軍直接向五原前進，並於3月26日中午時分重占五原。但是日軍這次占領五原後，沒能找到漢奸，缺乏糧食補給，四周都是激戰過後的殘垣斷壁。中國軍隊的游擊部隊又在五原外圍不時地騷擾日軍，破壞糧食補給線，使得占領五原的小島吉藏中將屢次致電駐蒙軍司令部，請求放棄五原。

3月27日，中國軍隊第35軍扒開烏加河南堤，引水淹沒了烏加河至五原公路的土地。這一舉動終於使駐蒙軍司令官岡部中將決定放棄五原，將部隊撤回包頭。小島吉藏中將匆忙指揮部隊將屍體搜集火化，在飛機的指引下，撤出了五原。28日，中國軍隊再次收復五原。

歷史影響：

本次戰役共日軍中將水川伊夫等大佐、中佐、少佐、尉官等軍官300餘名，士兵1100餘名，斃傷偽蒙軍3000餘名。生俘日軍指揮官觀行寬夫等50餘名，俘虜偽蒙軍1800餘名，獲火炮30餘門、汽車50餘輛、輕重機槍50餘支。

五原戰役後，綏西作戰正式宣告結束。此後傅作義率部與日軍在綏遠省中部相持，雙方時有摩擦，但並未爆發類似於綏西作戰的大規模戰鬥。日軍此後也幾乎沒有派遣偽軍進行大規模戰鬥。

在日軍方面，駐蒙軍司令官岡部直三郎中將對於五原作戰一直因責任問題而苦惱萬分，直到5月3日才對其參謀長田中新一少將「加以譴責和明確責任」。此外，岡部中將對於擔任偽蒙古政府顧問以及偽蒙軍事顧問而在五原戰死的34名日本人作為駐蒙軍司令部編制人員上報，由日本陸軍部按1939年11月的新規定加以追悼和撫恤。1940年9月，岡部中將因為在綏西作戰不利等原因奉召回國，歷任參謀本部部附、陸軍大學校長、第3方面軍司令官、第6方面軍司令官，官階陸軍大將。