这种高大的树木原产于西亚西部、南欧和美国东部，也指它所产的大“坚果”。这个词最早出现在1560年代，来源于chesten nut（1510年代），其中多余的nut（坚果）是个附加成分，chasteine来自中英语，源自12世纪的古法语chastain（现代法语为châtaigne），而古法语又源于拉丁语castanea，意为“栗子、栗树”，最终追溯到希腊语kastaneia。
希腊人解释这个词时，认为它要么是“来自Castanea的坚果”，出产于庞特斯，要么是“来自Castana的坚果”，产于塞萨利。但很可能这两个地方都是因树木而得名，而不是反过来。此外，这个词可能是借用自小亚细亚某种语言（可以与亚美尼亚语的kask“栗子”和kaskeni“栗树”对比）。1650年代，这个词还用来形容深红棕色。1832年起，这个词也被用来指马栗树。
在俚语中，“老掉牙的笑话或故事”这个意思出现在1885年。美国演员约瑟夫·杰斐逊在1888年1月的《利平考特月刊》上解释说，这个用法可能源自威廉·迪蒙德于1816年创作的音乐剧《断剑》，剧中有一个反复出现的故事，涉及一棵栗树，角色“扎维尔船长”和“巴勃罗”之间的对话：
Zav. Let me see—aye! it is exactly six years since, that peace being restored to Spain, and my ship paid off, my kind brother offer'd me a snug hammock in the dwelling of my forefathers;—I mounted a mule at Barcelona, and trotted away for my native mountains. At the dawn of the fourth day's journey, I entered the wood of Collares, when, suddenly from the thick boughs of a cork-tree—
Pab. [Jumping up.] A chesnut, Captain, a chesnut!
Zav. Bah! you booby, I say, a cork.
Pab. And I swear, a chesnut—Captain! this is the twenty-seventh time I have heard you relate this story, and you invariably said, a chesnut, till now.
Zav. Did I? Well, a chesnut be it then. But, take your seat again.
扎. 让我想想——对！正好六年前，西班牙恢复和平，我的船也解散了，我那亲爱的兄弟邀请我回到祖先的家园，住在他那舒适的吊床里；——我在巴塞罗那骑上了一头骡子，向我的故乡山脉出发。在第四天清晨，我进入了科拉雷斯的树林，突然从一棵橡树的浓密枝叶中——
巴. [跳起来。] 是栗子，船长，是栗子！
扎. 哼！你这个傻瓜，我说的是橡树。
巴. 我发誓是栗子——船长！这是我听你讲这个故事的第二十七次，你一直说的是栗子，直到现在。
扎. 是吗？那就说是栗子吧。不过，还是请你坐下。
杰斐逊追溯这个用法，发现是通过威廉·沃伦（1812-1888）传播开的。他是波士顿的“资深喜剧演员”，也是杰斐逊的表亲，常常在音乐剧中饰演巴勃罗。
