万字长文讲解编码知识，看这文就够了！| 原力计划( 三 ) _编码

如果说“各个国家都在为自己文字独立编码”是百家争鸣，那么“建立世界统一的字符编码”则是一统江湖，谁都想来做这个武林盟主。早前就有两个机构做了这个事：

国际标准化组织（ISO），他们于1984年创建ISO/IEC JTC1/SC2/WG2工作组，试图制定一份“通用字符集”（Universal Character Set，简称UCS），并最终制定了ISO 10646标准。（简单来说ISO 10646标准就是UCS）
统一码联盟，他们由Xerox、Apple等软件制造商于1988年组成，并且开发了Unicode标准（The Unicode Standard，这个前缀Uni很牛逼哦—Unique, Universal, and Uniform）。

Unicode与ISO 10646标准的风风雨雨：
在1984年，喜欢以繁多的编号糊弄群众的国际标准化组织ISO也开始着手制定解决不同语言字符数量太大问题的解决方案，这一方案被称为Universal Character Set（UCS），正式的编号是ISO-10646（记得么，ASCII是ISO-646，不知这种安排是否是故意的）。
还是ISO高瞻远瞩，一开始就确定了UCS是一个31位的编码字符集（即用一个大小不超过2的31次方的整数数字为每个字符编号），这回真的足以容纳古往今来所有国家，所有语言所包含的字符了（是的，任何国家，任何小语种都包括）。虽然后来他们意识到，2的31次方个码位又实在太多了……
天下大势，分久必合。无论Unicode还是UCS，最初的目的都是杜绝各种各样名目繁多形式各异互不兼容老死不相往来的私用扩展编码（好啰嗦的一句话），结果两方确立标准的同时（最初时这两个标准是不兼容的），因为都是个干个的，肯定不可能一模一样，出现标准不同。
1991年，Unicode联盟与ISO的工作组终于开始讨论Unicode与UCS的合并问题，虽然其后的合并进行了很多年，Unicode初版规范中的很多编码都需要被改写，UCS也需要对码空间的使用进行必要限制，但成果是喜人的。
最终，两者统一了抽象字符集（即任何一个在Unicode中存在的字符，在UCS中也存在），且最靠前的65535个字符也统一了字符的编码。对于码空间，两者同意以一百一十万为限（即两者都认为虽然65536不够，但2的31次方又太大，一百一十万是个双方都可接受的码空间大小，也够用，当然，这里说的一百一十万只是个约数），Unicode将码空间扩展到了一百一十万，而UCS将永久性的不使用一百一十万以后的码位。
也就是说，现在再讲Unicode只包含65536个字符是不对的（虽然大家现在都知道Unicode至少都可以囊括几亿个字符）。除了对已经定义的字符进行统一外，Unicode联盟与ISO工作组也同意今后任何的扩展工作两者均保持同步，因此虽然从历史的意义上讲Unicode与UCS不是一回事（甚至细节上说也不是一回事），但现在提起Unicode，指代两者均无不妥，毕竟因为已经统一了。
（现在网上基本上把Unicode字符集叫做UCS，Unicoide的全称是 Universal Multiple-Octet Coded Character Set简写也是UCS，一看也对上了，害，只能说天注定）。
现在Unicode编码点分为17个平面（plane），每个平面包含216（即65536）个码位（codepoint）。17个平面的码位可表示为从U+xx0000到U+xxFFFF，其中xx表示十六进制值从0016到1016，共计17个平面。
这第一个位置(当xx是00的时候)被称为BMP(基本多文种平面,BasicMultilingualPlane) 。它包含了最常用的码位从U+0000到U+FFFF（常见的65536个字符）。
其余16个平面（从下面的1号平面到16号平面），你可以叫做非BMP，由此这样分的话里面的字符就有两个概念：BMP字符和非BMP字符，后者也被称为补充字符。（偷偷告诉你们，大家喜闻乐见的Emoji表情都是在1号平面，范围是U+1F600-U+1F64F）

文章插图
（2）UCS-2和UCS-4
ISO10646标准为“通用字符集”（UCS）定义了一种16位的编码形式（即UCS-2），UCS-2全称Universal Character Set coded in 2octets，从英文上就可以看出含义，以2字节编码的通用字符集编码，固定占用2个字节，它包含65536个编码空间（可以为全世界最常用的63K字符编码，为了兼容Unicode，0xD800-0xDFFF之间的码位未使用）。
例：“汉”的UCS-2编码为6C49 。除此之外ISO10646标准为“通用字符集”（UCS）还定义了一种31位的编码形式（即UCS-4），UCS-4全称UniversalCharacter Set coded in 4 octets，其编码固定占用4个字节，编码空间为0x00000000 ~0x7FFFFFFF（可以编码20多亿个字符）。
随着Unicode与ISO 10646合并统一，Unicode就用UCS通用字符集标准，早期的 Unicode 编码实现也就采用了UCS-2和UCS-4 。（准确来说是UCS-2，UCS-4基本上是理论，没付诸实际，毕竟早期65536个字符已经够用了，我两个字节编码能实现的事，脑子笨的人才会用四个字节实现，你以为存储和带宽有多的）。