大约公元1300年，olyfaunt这个词出现，源自古法语的olifant（12世纪，现代法语为éléphant），再往上追溯则是拉丁语的elephantus，而其根源则是希腊语的elephas（属格为elephantos），意为“大象”或“象牙”。这个词可能起源于某种非印欧语系的语言，可能是通过腓尼基语传入的（可以与哈米特语的elu“大象”对比，这也是许多闪米特语中“大象”一词的来源），或者直接来自梵语的ibhah“大象”。
1550年后，这个词在拼写上受拉丁语影响进行了调整。它与罗曼语族和日耳曼语族中对“大象”的常用称呼相似；而斯拉夫语中的对应词（例如波兰语的slon'，俄语的slonu）则来源于另一种词汇。在古英语中，这个词是elpend，可以与elpendban、elpentoð（意为“象牙”）进行比较，但由于对异域动物的混淆，这个词有时也被用来指代“骆驼”，变成了olfend。
希罗多德提到过（非洲）大象，古代时期直到公元7世纪，这种动物在撒哈拉以北地区也能找到。弗雷泽在他对保萨尼亚斯《希腊志》的注释中（1898年）写道：“埃及国王托勒密·菲拉德尔夫斯（公元前283-247年）是第一个驯化非洲大象并将其用于战争的人；他的象群来自努比亚。”而迦太基人很可能是从他那里借鉴了这个想法；“因为在公元前255年击败雷古卢斯的迦太基军队中，大约有100头大象……迦太基人很容易就能获得大象，因为在古代，这种动物在如今的的黎波里和摩洛哥等北非地区是本土动物（普林尼，《自然史》第八卷第32章）。”
在美国政治中，大象作为共和党的象征始于1860年。see the elephant（意为“了解生活，通过经验获得知识”）是一个源于1835年的美式英语口语表达。elephant joke（大象笑话）在1960年代至1970年代非常流行。
