林玉山出身裱畫師家庭，少時即開始學畫，1922年起師從日本畫家伊坂旭江學習水墨畫，後又在臺灣畫家陳澄波門下修習水彩。1926年，林玉山赴日本深造，入東京川端畫學校，並參加次年的第一屆臺灣美術展覽會（臺展），與陳進、郭雪湖並稱為「臺展三少年」；後又於1930、1933年兩度奪下特優，又在臺日兩地舉辦個人展。林玉山於1935年再度前往日本，於京都堂本畫塾學習；返臺後於1940年加入臺陽美術協會，繼續在臺灣美術界中提拔後進。
戰後，林玉山轉入教育界，曾於嘉義中學、靜修女中、臺灣師範大學等校講學，直到1992年退休。2004年8月20日，林玉山病逝於臺北。留有作品《蓮池》、《夕照》、《微雨初晴》、《大南門》等。