“图书馆”这个词最早出现在14世纪末，源自盎格鲁-法语的 librarie，以及古法语的 librairie 和 librarie，意指“书籍的集合”或“书店”。它的词源可以追溯到拉丁语的 librarium，意思是“书柜”或“书箱”，以及 libraria，意为“书店”。在中世纪拉丁语中，这个词还专指“图书馆”。这些名词形式分别源自拉丁语的中性和阴性名词 librarius，意为“与书籍相关的”，而 librarium 则直接来自 liber（属格 libri），意指“书籍、纸张或羊皮纸”。
拉丁语的 liber（源自原始意大利语 *lufro-）最初的意思是“树木的内皮”。它可能源自原始印欧语的 *lubh-ro-，意为“叶子、树皮”，而这个词又来自原始印欧语词根 *leub(h)-，意为“剥离、剥皮”（参见 leaf (n.)）。通过对比阿尔巴尼亚语的 labë（“树皮、软木”）、立陶宛语的 luobas（“树皮”）、拉脱维亚语的 luobas（“剥皮”）和俄语的 lub（“树皮”），语言学家 de Vaan 曾写道：“如果没有更好的解释，我们可以推测 liber 可能与 *lubh- 同源，源自一个原始印欧语或欧洲词汇，意为‘叶子、树皮’。”
在大多数罗曼语族语言中，这个词的现代形式仅保留了“书店”的意思（法语 libraire，意大利语 libraria）。古英语中有 bochord，字面意思是“书籍的储藏”。作为形容词，Blount（1656年）使用了 librarious。
"I no sooner come into the library, but I bolt the door to me, ... and in the very lap of eternity, amongst so many divine souls, I take my seat, with so lofty a spirit and sweet content, that I pity all our great ones, and rich men that know not this happiness." [Burton, "Anatomy of Melancholy," paraphrasing "Heinsius, the keeper of the library at Leyden in Holland"]
“我一走进图书馆，就把门锁上……在这无尽的宁静中， surrounded by so many divine souls，我坐下来，心灵高远，心中充满甜美的满足，甚至对那些不知道这种幸福的伟人和富人感到怜悯。” [Burton, “忧郁的解剖”，改写自“海因修斯，荷兰莱顿大学的图书馆管理员”]
