張克瑤少時習舊學，後投筆從戎，入開平武備學堂、北洋將弁學堂就讀，畢業後被編入山東新軍，後升為管帶、標統。辛亥革命期間，張克瑤在山東起兵響應，民國成立後被編入第五師第十旅擔任團長；後又改編為魯軍第一混成旅（旅長施從濱）第二團團長、第一混成旅旅長等。不久，張克瑤因與吳佩孚不和而離職，居留上海；1924年後復職，回到山東整編舊部，1926年時就任第七十六師師長。
張作霖安國軍政府成立後，張克瑤部被編入直魯聯軍，兼任聯軍第一路副指揮，授克威將軍。1927年北伐軍進入山東，張克瑤率部倒戈，所部被編為國民革命軍第三十三軍第二師，駐防安徽合肥，翌年升任該軍軍長兼第七十師師長。北伐結束後，張克瑤轉任新編第一師副師長，後逐漸淡出軍界，轉任安徽省政府委員、軍事參議院參議等，1936年時晉升中將。抗戰期間，張克瑤回到安徽組織民兵，並將其編入國軍。1938年1月25日，張克瑤在香港病逝。