第二階段:1954年至1958年底,人民解放軍按照全國軍事系統黨的高級干部會議確定的精簡整編規劃和貫徹黨的第八次全國代表大會精神,又進行了第三、四兩次大的精簡整編。其中,第三次精簡整編工作從1954年2月全面開始至1955年底結束,是落實1953年12月7日—1954年1月26日軍事系統黨的高級干部會議精神對人民解放軍現代化建設總方針總任務的回應。全軍總兵力共精簡了21.2%,總員額減到350萬人。其中陸軍部隊裁減比例最大,特種兵得到加強,極大地推進了人民解放軍合成化建設。軍費開支由1953年占國家財政總支出的34.2%下降到24.1%。通過整編,全軍基本上做到了人員統一編制、武器統一定型,人民解放軍基本上實現了單一兵種向諸軍兵種合成化的轉變。
第四次精簡整編是對國家大規模經濟建設的回應。整編工作從1956年11月開始,中央軍委擴大會議于1957年1月通過了《關于裁減軍隊數量加強質量的決定》,確定全軍總人數再裁減1/3,要求3年裁減130萬人,壓縮至250萬人左右。到1958年底結束,全軍成建制地集體轉業或移交地方1個軍部、46個師、30余所醫院和30余所院校。全軍總員額降至240萬,是新中國成立后人民解放軍人數最少的時期。其中陸軍裁員最多,陸軍編制人數僅相當于新中國成立時的1/3,約占全軍總員額的54.6%。在減少陸軍的同時,加強了海、空軍和各技術兵種的建設。到1958年,調整后的海軍、空軍和陸軍各技術兵種的人數已占全軍總人數的32%。軍費開支占國家總財政支出比例下降到12.2%。這次精簡整編主要裁減了陸軍、公安軍和各級機關黨校及其附屬單位和勤務分隊,人民解放軍合成化程度顯著提高,編制體制實現了一次根本性調整。精簡整編緊緊圍繞著軍隊建設和國家經濟建設關系這一主題展開,是對黨探索進行大規模經濟建設主題的回應。
20世紀50年代經過四次精簡整編,人民解放軍總員額得到有效控制,軍費開支大幅下降,有力地支援了國家經濟建設。更具意義的是,通過四次精簡整編加強了海、空軍和陸軍各技術兵種的建設,創建了海軍、空軍、公安軍、防空軍及炮兵、裝甲兵、工程兵、通信兵、防化兵,形成了五大軍種和七大兵種,從根本上改變了人民解放軍以陸軍為主的單一軍種局面,調整后的