王應榆早年進入廣東陸軍小學堂、南京陸軍中學堂，在辛亥革命期間曾赴武昌參加學生軍。民國成立後，王應榆繼入保定軍校砲兵科學習，畢業後前往西北考察，又進入中亞、西伯利亞等地，返國後力主開發西北，但未獲青睞。1917年，王應榆赴雲南講武堂任教，1922年時回鄉，旋應廣西省長馬君武之邀，出任廣西賀縣縣長，後隨桂軍沈鴻英部響應孫中山對抗陳炯明。1924年，王應榆回到廣西協助訓練民團，此後接近新桂系；並於北伐期間擔任梧州警備司令、國民革命軍第七軍參謀長等。
王應榆在北伐末期被派回西南各省聯繫，後出任廣東北區善後委員，但隨即又捲入李濟深與陳濟棠的衝突而去職，移居澳門休養。1932年，王應榆重獲啟用，負責黃河水利之考察，後就任黃河水利委員會副委員長；不久改任甘肅省民政廳長、陝西省保安處長、廣東省民政廳長等。抗戰期間，王應榆回到廣西，後仍在西南、西北各地考察地理、水文等，直到戰後返回廣州居住。王應榆在1949年後留在中國，晚年曾獲選為廣東省政協常委，後於1982年2月28日在佛山病逝。著有《新疆調查錄》、《陝甘從政日記》、《黃河視察日記》、《水利論稿》、《治河方略》等。