何作霖於1918年考入天津北洋大學，後轉至北京大學地質系學習，期間曾因病休學兩年，1926年畢業後於河北大學任教。1928年，何作霖進入中研院地質研究所擔任研究員，並在北京大學授課。1938年，何作霖赴奧地利茵斯布魯克大學（Universität Innsbruck）深造，獲博士學位後轉至萊比錫大學（Universität Leipzig）繼續其研究。何作霖於1940年返國，先後在北京大學、北京師範大學任教，戰後轉至山東大學。中共建政後，何作霖仍留在中國，並出任山東大學教育長，後加入中國民主同盟；1955年時又獲選為中國科學院學部委員，在學術研究之餘仍協助中國各地礦產的探勘。1967年11月7日，何作霖病逝於北京。著有《光性礦物學》、《結晶體構造學》等。