繆荃孫出生官宦家庭，早歲入私塾讀書，1860年成為生員；後因太平天國而移居江蘇淮安，轉入麗正書院就讀。1865年，繆荃孫舉家遷居成都，兩年後中舉人，期間鑽研目錄學、金石學。1874年，繆荃孫獲四川學政張之洞聘為幕僚，1876年時中進士，授翰林院編修，後歷任國史館協修，但與翰林院掌院徐桐不和而辭職返鄉。
其後，繆荃孫先後出掌南菁書院、上海濼源書院等，後再為張之洞聘用，負責編纂《湖北通志》並主持南京鍾山書院、常州龍城書院等，並出任江楚編譯局總纂、江南高等學堂（由鍾山書院改制）監督，又負責籌建三江師範學堂，後仿日本東京大學設置兩江師範學堂。1909年，繆荃孫前往北京主持京師圖書館的設置。辛亥革命爆發後，繆荃孫移居上海，後受趙爾巽之邀出任清史館總纂。1919年12月22日，繆荃孫逝世於上海。著有《藝風堂讀書記》、《藝風堂藏書記》、《藝風堂詩存》、《藝風堂文集》等