呂伯雄出生於日治時期臺北縣（今新北市雙溪區）的基督教望族家庭，少時即熟讀經史文學；由於鄉人多曾參與1895年乙未割臺之役，呂伯雄自幼即對日本統治有所芥蒂。1925年，呂伯雄赴中國，入上海法政學院就讀，並開始與國民黨接觸。1935年，呂伯雄與張邦傑、卓碩生等人籌組「臺灣革命黨」，在中國宣傳抗日。抗戰爆發後，國民政府將由臺籍人士組成的抗日團體重組，成立臺灣革命同盟會，以呂伯雄任南方執行部組織處長，於漳州一帶活動。
戰後，呂伯雄返臺，組織「臺灣民眾協會」，試圖作為官民溝通的官道，但反遭行政長官公署打壓，在二二八事件期間一度遭到通緝，隱居鄉間避禍，此後對絕意政治，投入教會、藝文活動，並創辦古亭長老教會。1988年3月3日，呂伯雄於臺北病逝。著有《竹筠軒吟草》。