劉粹剛在高等小學畢業後考入遼寧省立第一工學校，1931年畢業後隨即因九一八事變而離鄉，流亡北平，後考入陸軍軍官學校第九期步兵科，不久轉至中央航空學校第二期。劉粹剛於1934年以優秀成績畢業，編入空軍第五大隊第二十四中隊任分隊長，1936年時升任中隊長。
抗戰開始後，劉粹剛率隊移防揚州，負責攻擊長江沿岸的日軍軍艦；不久移防南京，期間共計擊落11架日軍戰機（官方正式承認為7架），包括日軍最新的九六式艦載戰鬥機，與高志航、樂以琴、李桂丹並稱「空軍四大天王」。同年12月26日，劉粹剛駕機前往山西助戰，但因天候不佳，其座機於山西高平失事墜毀，國民政府後追贈為空軍少校。