王公遐於1924年進入黃埔軍校第二期步兵科學習，在校期間曾隨軍參加第一次東征，並留駐潮州受訓。王公遐畢業後分發至軍校入伍生團，繼續參加二次東征、北伐、中原大戰等戰役，戰後升任憲兵教導團團附、憲兵第七團團長等，1936年時又升任警備旅旅長。抗戰期間，王公遐曾任第九十三師副師長、軍政部第十五補訓處副處長；該補訓處於1943年整編為暫編第二師，王公遐升任師長，後再調第二十補訓處處長。
戰後，王公遐出任聯勤總部第二補給區副司令，1948年底去職，晚年寓居蘇州。中共建政後，王公遐曾擔任蘇州市政協委員，但在反右、文革期間迭遭迫害，於1968年2月逝世。