在13世纪初，“肤色，面色”这个意思来自盎格鲁-法语的 culur, coulour，以及古法语的 color（意为“颜色，肤色，外观”，现代法语为 couleur）。它源自拉丁语 color，意指“肤色；一般颜色，色调；外观”。这个词的古拉丁形式是 colos，最初的意思是“覆盖物”（与 celare，意为“隐藏，掩盖”相关），而它的原始印欧词根 *kel- (1) 则有“覆盖，隐藏，保护”的意思。在古英语中，“颜色”的表达有 hiw（意为“色调”）和 bleo。为了理解这个词义的发展，可以对比梵语中的 varnah（意为“覆盖物，颜色”），它与 vrnoti（意为“覆盖”）相关。此外，还可以参考 chroma。
从14世纪起，Colour 是英语中常用的拼写，源自盎格鲁-法语。到了15世纪，经过规范化，color 成为另一种拼写方式，并在美国逐渐普及（参见 -or）。
大约在1300年，“色调或色彩，某物的可见颜色”这一意思开始出现。到了14世纪晚期，它被用来指“物质固有的颜色，即仅通过视觉感知的某物的特性或外观”。在14世纪初，它还被用来表示“着色物质，颜料，染料”。从14世纪中期起，又引申为“种类，品种，描述”。到了14世纪晚期，这个词还被用作比喻，指“修辞手法，装饰”。大约在1300年，它又被用来表示“为辩解、解释或辩护某一行为而提出的理由或论据”，因此后来引申为“华丽的借口或论证，即掩盖某物真实特征的表面理由”（这一用法出现在14世纪晚期）。
大约在1300年，这个词又被用来表示“识别的特征标志”（如徽章、标志或制服，后来也指拳击手、骑马者等的特征），最初是指纹章。因此，它在比喻中也出现在 show one's (true) colors（意为“揭示某人的观点或意图”）中；可以与 colors 进行比较。
关于“人类较深色（与‘白色’人种相对）肤色”的用法，最早见于1792年，出现在 people of colour 中。这一表达源自法语翻译，最初指的是法国殖民地圣多明各（今海地）的人群，特指“混血儿”。
关于音乐音调的用法始于1590年代。Color-scheme（色彩方案）一词出现于1860年。Color-coded（色彩编码）则出现在1943年，最初用于描述无线电和军用飞机中的电线标识。Color-line（种族隔离线）指的是美国社会和法律上基于种族的歧视，最早出现于1875年。这个词最初指的是南方白人在重建时期团结投票，重新控制州政府的现象（大约在一年前，这一现象被称为 white line，这一说法更为准确）。
