曾山出身塾師家庭，少時在家讀書，後於贛州當學徒為生。曾山於1925年起開始參加農民運動，與兄長曾延生一同加入中共，曾參加南昌暴動、廣州暴動等，1928年時被任命為中共吉水縣委書記，後升任贛西特委組織部長、贛西南蘇維埃政府主席、江西蘇維埃副主席等；1934年時出任中華蘇維埃共和國內務部長。中共本部展開長征後，曾山留在贛南繼續游擊戰，直到1935年失敗後逃離，經上海前往蘇聯，入莫斯科國際列寧學院（International Lenin School）學習。
抗戰開始後，曾山返國加入新四軍，任南昌辦事處主任、中共中央東南局副書記、華中局組織部長等，負責組織華中地區的游擊隊；1945年時獲選為中共中央委員。戰後，曾山仍任華中局組織部長兼財經辦事處主任，主持華東共軍的後勤事務，國共內戰後期曾擔任華東軍政委員會副主席兼上海市副市長。中共建政後，曾山歷任財經委員會副主任、紡織工業部長、商業部長、內務部長等。文革期間，曾山一度被下放至湖南，不久重回北京，於1972年4月16日逝世。其子曾慶紅亦為中國當代政要，曾任中華人民共和國副主席。