關於圖書館一詞的由來，前人提出許多不同的看法，廣為流傳的一種說法是：源自中國古代的河圖洛書，《周易・繫辭上》說：「河出圖，洛出書，聖人則之。」圖是繪畫，書是文字記載，圖書就是古今圖籍的總稱。
最早於文獻中出現「圖書館」一詞，當推1894年《教育世界》第六二期所刊出的一篇《擬設簡便圖書館說》，之後於1896年8月21日刊登在《時務報》第16期的一篇名為「古巴島述略」的譯文裡又出現「圖書館」這詞。
真正為圖書館設立起推波助瀾之功者，為清光緒31年（西元1905年）湖南巡撫龐鴻書上奏朝廷，奏請設立「圖書館」，奏文內容為：「查東西各國都會，莫不設有圖書館，所以庋藏群籍，輸進文明，于勤學育才，大有裨益。」
湖南長沙為中國最早設立公共圖書館的地方，這都歸功於龐鴻書的奏摺。
值得一提的是河圖與洛書之說，傳說是中國流傳下來的二幅神秘圖案，被譽為「宇宙魔方」。相傳上古伏羲氏時，洛陽東北孟津縣境內的黃河中浮出龍馬，背負”河圖”，獻給伏羲，伏羲依此而演成八卦，後為周易來源；又相傳大禹時期，洛陽西洛寧縣，洛河中浮出神龜，背䭾”洛書”，獻給大禹，大禹依此治水成功，遂劃天下為九州，又依此定九章大法，治理社會，流傳下來收入《尚書》之中，名《洪範》。
河圖洛書是中華文化、陰陽五行術數之源，太極、八卦、周易、六甲、九墨、風水等，皆可追溯於此。
西漢初，蕭何在宮中建造「石渠閣」、「天祿閣」、「麒麟閣」，從此有了專用的皇室藏書樓；此後，東漢禁中有蘭台、石室、鴻都、東觀；隋唐宮苑有觀文殿、嘉則殿、集賢院、鴻文館；宋代內府有太清樓、龍圖閣、玉殿、翰林御書院；明清紫禁城內有皇史、文淵閣、昭仁殿、武英殿等。
明清二代，民間私人藏書風氣，遠較唐、宋時代更盛行普遍，即使像甘肅、雲南、海南這樣的邊陲遠地，也不乏熱衷藏書之人。據文獻統計，明代有姓名而行跡可考的藏書家已達400多位，清代更是興盛之極，僅知名度較高的藏書樓就有500多處。
較著名者如：明朝范欽的天一閣、明祈承的澹生堂、清陸心源的皕宋樓、清錢大昕的十駕齋等。
