劉雲樵出身書香世家，父劉之沂、叔父劉之潔皆為北洋軍將領。劉雲樵幼時即學習迷蹤拳以強身，後因八極拳名師李書文入劉之沂部擔任教習，劉雲樵即成為其關門弟子。1931年，劉雲樵隨李書文赴山東，協助其師兄張驤伍清剿地方土匪，並在其門下學習太極拳及劍術，自此逐漸嶄露頭角；期間也向宮寶田、丁子成等武術家學習八卦掌、螳螂拳等。
劉雲樵作風狂傲，以屢敗國內外各派武師而獲得「小霸王」稱號，並獲得國民黨中統局之賞識，意圖將其吸收為情報人員。抗戰爆發後，劉雲樵進入中央軍校第七分校（西安）第十五期就讀，畢業後因在打獵時誤傷長官而被捕，後由胡宗南保釋，派往山西前線作戰。劉雲樵於1940年曾遭俘虜，脫逃成功後繼續前往敵後進行諜報活動，據聞「天字第一號」之原型即為劉雲樵。
劉雲樵於1949年後隨政府遷往臺灣，晚年於國防部、聯勤總司令部供職，不久退役閒居臺北。1967年，劉雲樵在同窗孔令晟邀請下進入總統府侍衛處擔任顧問、教官，後亦參與蔣經國七海寓所警衛的編成與訓練，擔任聯合警衛安全指揮部總教練。1992年1月24日，劉雲樵病逝於臺北。留有《八極拳》、《昆吾劍譜》等著作。