文本编码详解：UTF-8、ASCII、Unicode 与字符集

2026年3月31日 · 12分钟阅读

每次你输入消息、保存文档或浏览网站时，字符编码都在幕后工作，将人类可读的文本转换为计算机能理解的二进制数据。尽管编码是所有数字通信的基础，但它仍然是计算机领域最容易被误解的方面之一。

本综合指南解释了关于文本编码你需要知道的一切，从 ASCII 的基础知识到 Unicode 和 UTF-8 的复杂性。无论你是正在调试编码问题的开发者，还是只是对计算机如何处理文本感到好奇，你都能在这里找到实用的见解和解决方案。

什么是字符编码？

字符编码是将字符——字母、数字、符号和特殊字符——映射到计算机可以存储和处理的数值的系统。当你在键盘上输入字母"A"时，你的计算机并不存储字母本身。相反，它存储一个数字（在 ASCII 中是 65），并使用编码方案在显示时将该数字转换回"A"。

可以把字符编码想象成人类语言和计算机语言之间的翻译词典。没有这本词典，文本将是无意义的字节序列，无法正确解释。

编码过程在两个方向上工作：

• 编码：将字符转换为字节（保存文件时发生的事情）
• 解码：将字节转换回字符（打开文件时发生的事情）

当编码和解码使用不同的方案时就会出现问题。想象一下，如果你用一种密码加密消息，然后试图用另一种密码解密——你会得到乱码。文本编码不匹配时也会发生同样的事情，导致字符损坏或臭名昭著的"乱码"（稍后详述）。

ASCII：文本编码的基础

ASCII（美国信息交换标准代码）开发于 1963 年，成为现代文本编码的基础。它使用 7 位来表示 128 个字符，这对于当时的英文文本和基本计算需求来说已经足够。

ASCII 字符集分为几个范围，每个范围都有特定的用途：

ASCII 的局限性

ASCII 对英文文本来说非常完美，但对于国际通信有严重的局限性：

• 没有重音字符（é、ñ、ü、ø）
• 没有非拉丁文字的字符（中文、阿拉伯文、希伯来文、西里尔文）
• 除美元符号外没有其他货币符号
• 没有表情符号或现代符号
• 除基本运算符外没有数学或科学记号

这些局限性导致了"扩展 ASCII"变体的创建，如 ISO-8859-1（Latin-1），它使用第 8 位来添加 128 个字符。然而，不同地区创建了不兼容的扩展，导致相同的字节值根据使用的代码页表示不同的字符。

ASCII 的持久影响

尽管有局限性，ASCII 在今天仍然相关。UTF-8（主流的现代编码）的前 128 个字符与 ASCII 完全相同，确保了向后兼容性。这意味着任何有效的 ASCII 文本也是有效的 UTF-8，使迁移无缝进行。

ASCII 的简单性也使其成为只需要基本英文文本的协议、文件格式和系统的理想选择。编程语言、命令行界面和网络协议仍然严重依赖 ASCII 字符。

Unicode：通用字符集

Unicode 创建于 1991 年，旨在解决 ASCII 及其扩展无法解决的根本问题：在单一统一标准中表示世界上所有的书写系统。Unicode 不是有几十种不兼容的编码方案，而是提供了一个适用于所有人的系统。

Unicode 本身不是一种编码——它是一个字符集，为每个字符分配一个称为码位的唯一数字。截至 Unicode 15.1（2023 年发布），该标准包含超过 149,000 个字符，涵盖 161 种文字和符号集。

理解码位

码位以 U+XXXX 格式书写，其中 XXXX 是十六进制数字。以下是一些示例：

• U+0041 = A（拉丁大写字母 A）
• U+00E9 = é（带尖音符的拉丁小写字母 e）
• U+4E2D = 中（中文字符"中"）
• U+0628 = ب（阿拉伯字母 beh）
• U+1F600 = 😀（咧嘴笑脸表情符号）
• U+03B1 = α（希腊小写字母 alpha）

Unicode 代码空间范围从 U+0000 到 U+10FFFF，提供了 1,114,112 个可能的码位空间。这些被组织成 17 个平面，每个平面有 65,536 个码位。

Unicode 平面

最重要的平面包括：

• 平面 0（BMP - 基本多文种平面）：U+0000 到 U+FFFF。包含所有现代文字中最常用的字符，包括拉丁文、中文、阿拉伯文、希伯来文、西里尔文等。此平面中约有 55,000 个码位被分配。
• 平面 1（SMP - 补充多文种平面）：U+10000 到 U+1FFFF。包含历史文字、音乐记谱法、数学符号和表情符号。大多数表情符号都在这里。
• 平面 2（SIP - 补充表意文字平面）：U+20000 到 U+2FFFF。包含 BMP 中无法容纳的额外中日韩（CJK）表意文字。
• 平面 3-13：目前未分配，保留供未来扩展。
• 平面 14（SSP - 补充专用平面）：包含特殊用途字符，如变体选择器和标签。
• 平面 15-16：自定义字符的私用区域。

Unicode 规范化

Unicode 的一个复杂之处在于某些字符可以用多种方式表示。例如，字符"é"可以编码为：

• 单个码位：U+00E9（预组合形式）
• 两个码位：U+0065（e）+ U+0301（组合尖音符）

两种表示看起来相同，但具有不同的字节序列。Unicode 规范化形式（NFD、NFC、NFKD、NFKC）提供了在这些表示之间转换的标准方法，确保一致的比较和搜索。

UTF-8：互联网的标准编码

UTF-8（Unicode 转换格式 - 8 位）是互联网上使用最广泛的字符编码，占所有网页的 98% 以上。它由 Ken Thompson 和 Rob Pike 于 1992 年设计，已成为文本编码的事实标准。

UTF-8 是一种可变长度编码，每个字符使用 1 到 4 个字节。这种巧妙的设计提供了几个优势：

UTF-8 的工作原理

UTF-8 使用以下方案编码字符：

字节模式中的"x"位置保存实际的字符数据。前导位指示字符使用多少字节，允许解码器即使从中间开始读取也能正确同步。

UTF-8 的优势

UTF-8 的主导地位来自几个关键优势：

• 向后兼容性：ASCII 文本无需任何转换即为有效的 UTF-8。前 128 个字符使用相同的字节值。
• 空间效率：英文和代码每个字符只使用 1 个字节，同时仍支持所有 Unicode 字符。
• 自同步：你可以通过查看字节模式找到字符边界，使错误恢复更容易。
• 无字节序问题：与 UTF-16 和 UTF-32 不同，UTF-8 不需要字节顺序标记（BOM）来指示字节序。
• 空字节安全：空字节（0x00）仅作为 NULL 字符出现，不作为多字节序列的一部分，使其与 C 风格字符串兼容。

UTF-8 实践

让我们看看 UTF-8 如何编码不同的字符：

• "A"（U+0041）：1 字节 → 0x41
• "é"（U+00E9）：2 字节 → 0xC3 0xA9
• "中"（U+4E2D）：3 字节 → 0xE4 0xB8 0xAD
• "😀"（U+1F600）：4 字节 → 0xF0 0x9F 0x98 0x80

这种可变长度方法意味着主要包含英文文本的文档使用的空间远少于 UTF-16 或 UTF-32，同时在需要时仍支持完整的 Unicode 范围。

UTF-8 vs UTF-16 vs UTF-32：选择正确的编码

虽然 UTF-8 主导 Web 内容，但 UTF-16 和 UTF-32 有其自己的用例。了解差异有助于你为特定需求选择正确的编码。

UTF-16：中间地带

UTF-16 每个字符使用 2 或 4 个字节。BMP 中的字符（U+0000 到 U+FFFF）使用 2 个字节，而 BMP 之外的字符通过称为代理对的机制使用 4 个字节。

优势：

• 对于亚洲语言（中文、日文、韩文）比 UTF-8 更节省空间
• 被 Windows、Java、JavaScript 和 .NET 内部使用
• 对于最常见的字符，恒定的 2 字节宽度简化了某些字符串操作

劣势：

• 不向后兼容 ASCII
• 需要字节顺序标记（BOM）或显式字节序规范
• 对于英文和代码不太节省空间
• 可变长度编码（由于代理对）使字符串索引复杂化
• 在正常文本中包含空字节，破坏 C 风格字符串函数

UTF-32：固定宽度的简单性

UTF-32 对每个字符使用恰好 4 个字节，使其成为固定宽度编码。每个码位直接映射到 32 位整数。

优势：

• 恒定宽度简化了字符串索引和长度计算
• 码位和编码值之间的直接映射
• 不需要复杂的解码逻辑

劣势：

• 极其浪费空间（每个字符 4 字节，即使是 ASCII）
• 很少用于存储或传输
• 不向后兼容 ASCII
• 需要字节序规范

比较表