張治公出身綠林，家族亦有多人曾參與其中，與王天縱等人在豫西山區一帶出沒。辛亥革命期間，張治公等人隨王天縱響應革命，投入張鈁的秦隴復漢軍，在河南、陝西邊界作戰。民國成立後，張治公部被編入鎮嵩軍，任第二路標統；後隨劉鎮華進入陝西，又升任旅長、陝軍（實為鎮嵩軍）第二師師長等。1922年，張治公部被吳佩孚調回河南，授為介威將軍並參加第二次直奉戰爭。1925年，胡景翼率國民二軍攻入河南，張治公本欲坐壁上觀，但仍遭國民軍擊敗，後又轉而依附吳佩孚，被任命為潼關護軍使，並趁亂重奪洛陽。
1927年，張治公加入靳雲鶚的河南保衛軍，試圖抵擋來自國民軍與奉軍的壓力，失敗後遂改投奉軍，任第二十一軍軍長，但隨即被國民軍擊潰，張治公避居天津。北伐結束後，張治公又曾加入唐生智、馮玉祥及蔣中正麾下，但皆未久留，後返鄉居住。中共建政後，張治公因曾鎮壓河南農民暴動而於鎮反運動中被捕，1951年3月在河南偃師被處決。