unicode编码在Android中的应用

一.unicode编码

Unicode(统一码、万国码、单一码)是计算机科学领域里的一项业界标准,包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发,1994年正式公布。

编码范围:0x0000-0x10FFFF。

此范围被分成了17个平面,其中,平面0(0x0000-0xffff)是基本多文种平面,包含了英文字母,阿拉伯数字,以及时间常用的各国语言。平面1(0x10000-0x1ffff)是多文种补充平面,包含了各国语言的补充以及emoji等。平面2(0x20000-0x2ffff)表意文字补充平面,此整个平面专为CJK即中日韩汉字编码设计。平面14(0xe0000-0xeffff)特别用途补充平面,此平面目前编码很少。平面15和平面16(0xf0000-10ffff)私人使用区,即自定义编码平面。其它平面基本上未编码。这个平面划分在维基百科上一目了然,下面附有链接地址。

平面0的专用区和代理区是未编码的具体如下:

专用区:0xE000-0xF8FF,6400个码位

专用区是留给自定义编码用的。

代理区:0xD800-0xDFFF,2048个码位

代理区是为utf-16编码方案用的,下面会具体讲到。

emoji:1F600-1F64F,2600-26FF,...

汉字:4e00-9FFF,扩展区A:3400-4DBF,扩展区B-F:20000-2EBEF

例如:汉字‘润'-0x6da6,emoji‘’-0x1f606

二.unicode编码实现

UTF:Unicode Transformation Format,即Unicode字符集转换格式。Unicode有3种实现方式即:utf-8、
utf-16、utf-32

1、utf-8:

以8比特位为一个单位,一个字符的表示最少一个单位即一个字节,最大4个单位即4个字节。具体用几个单位需要看字符在unicode字符集里的码位,具体参考下表。

Unicode编码(十六进制)UTF-8 字节流(二进制)
000000-00007F0xxxxxxx
000080-0007FF110xxxxx 10xxxxxx
000800-00FFFF1110xxxx 10xxxxxx 10xxxxxx
010000-10FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

2、utf-16:

以16比特位为一个单位,一个字符的表示要么用一个单位即2个字节,要么用2个单位即4个字节。Unicode编码小于0x10000就用一个单位表示,0x10000-0x10ffff就用2个单位表示。

a.U<0x10000,utf-16就对应编码本身的无符号整数

b. U>=0x10000,

7字口诀就是:一减,二转,三模板。

1).减:U'=U-0x10000

例:0x1f606-0x1000

2).转:把U'转换为20位二进制,yyyy yyyy yyxx xxxx xxxx

3).模板:1101 10yy yyyy yyyy 1101 11xx xxxx xxxx

可以算一下,1101 10yy yyyy yyyy的取值范围1101 1000  0000 0000 - 1101 1011 1111 1111即D800-DBFF, 1101 11xx xxxx xxxx的取值范围1101 1100 0000 0000 - 1101 1111 1111 1111

即DC00-DFFF。所以,D800-DFFF即是unicode专为utf-16设计的代理区,其中,D800-DBFF是高代理区,DC00-DFFF是低代理区。代理区共2048个码位,unicode设计为保留区,没有具体编码,只为代理用。

我们在上面了解到平面15和平面16(0xf0000-0x10ffff)是私人使用区,我们把这个区间的编码使用上面公式可以算出,0xf0000-0x10000=e0000即11100000000000000000‬,放入模板,1101 1011 1000 0000(DB80) 1101 1100 0000 0000(DC00),0x10ffff-0x10000=0xfffff,即11111111111111111111‬,放入模板,1101 1011 1111 1111(DBFF) 1101 1111 1111 1111(DFFF)。因为平面15和16专用区utf-16的高位代理实现范围是:DB80-DBFF,所以DB80-DBFF(D800-DBFF高位代理区的子区间)又称为高位专用代理区。

相反,utf-16编码求unicode

a.判断:非代理区,此字符对应U<0x10000

b.代理区

1).模板:1101 10yy yyyy yy yy 1101 11xx xxxx xxxx

2).转:把yyyy yyyy yyxx xxxx xxxx转换为十六进制U'

3).加:U=U'+0x10000

3、utf-32
以32个比特位为一个单位,即4个字节。所有的unicode编码都可以直接表示了,而且码位远远用不完。实现很简单,但是由于大部分字符用两个字节足够,4个字节太浪费空间了,所以很少用。
4、utf-8和utf-16方案对比
1000汉字,1000英文对比

新建一个文本文件,随便输入1000个常见(4e00-9FFF)汉字,发现有3KB的大小。因为windows记事本默认用utf-8编码,而一个汉字用utf-8表示需要用3个字节,所以1000字就大约是3KB。我们文本另存为utf-16格式,发现大小变为了2KB。这因为utf-16表示汉字只需要2个字节,1000个汉字大约2KB。如果把1000汉字换成1000个英文字母或阿拉伯数字,结果你会发现,用utf-8格式只有1KB,而utf-16仍然是2KB。这是因为,对于1个英文字母或1个阿拉伯数字utf-8用一个单位即1个字节就可以表示了,而utf-16也至少要用一个单位就是2个字节。这个对比可以帮助我们直观的理解记忆utf-8和utf-16的区别。

也正因为全世界大部分常用字符码位还是在0x100-0xffff这个范围,所以最佳方案还是utf-16。Java char的设计就是一个很好的说明。java char 2个字节,默认编码方式utf-16。当然如果是纯英文和阿拉伯数字的程序选用utf-8编码也是可以理解的。

5、字节序
把文本文档另存为utf-16时发现,确切的格式是UTF-16LE或者UTF-16BE。

BE(Big Endian)大字节字节序、LE(Little Endian)小字节字节序

注意:字节的顺序,非比特位的顺序;单位内字节顺序,非全部字节顺序。仔细观察对比0x6da6和0x1f606这两个字符的utf-16和utf-32实现,下表例子,你会明白这句话意思。

Unicode编码UTF-16LEUTF-16BEUTF32-LEUTF32-BE
0x6da6a6 6d6d a6a6 6d 00 0000 00 6d a6
0x1f6063D D8 06 DED8 3D DE 0606 f6 01 0000 01 f6 06

utf-8一个单位一个字节,所以没有大小字节序的区分。

UTF编码Byte Order Mark (BOM)
UTF-8 without BOM
UTF-8 with BOMEF BB BF
UTF-16LEFF FE
UTF-16BEFE FF
UTF-32LEFF FE 00 00
UTF-32BE00 00 FE FF

注:FEFF-ZWNBSP:Zero-Width No-Break Space零宽不断行空白

微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节,

windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的,

然而这个只是微软暗自作的标记, 其它平台上不一定会对UTF-8文本文件做这样的标记。

微软的一些软件会做这种检测,但有些软件不做这种检测, 而把它当作正常字符处理。(传说中的乱码问题)

三.实战,判断字符串里是否包含emoji

1、需求

只要输入的内容包含空格、花椒表情、emoji表情或超过10个字符就不关联,否则字符个数变动就关联。

需求分解:输入的内容是否包含emoji

2、实现

public static boolean containsEmoji(String str) {

    int len = str.length();

    for (int i = 0; i < len; i++) {

        int codePoint = Character.codePointAt(str, i);

        if (isEmojiCharacterByWiki(codePoint)) {

            return true;

        }

    }

    return false;

}

/**

 * 是否是emoji编码

 * //Superscripts and Subscripts( 2070 - 209F )上标及下标

 * //Currency Symbols( 20A0 - 20CF )外汇符号

 * //Combining Diacritical Marks for Symbols( 20D0 - 20FF )

 * //Letterlike Symbols( 2100 - 214F )字母式符号 ℃ 、™

 * //Number Forms( 2150 - 218F )数字形式   ⅓ Ⅷ

 * //Arrows( 2190 - 21FF )箭头   →

 * //Mathematical Operators( 2200 - 22FF )数学操作符

 * //Miscellaneous Technical( 2300 - 23FF )零杂技术用符号

 * //Control Pictures( 2400 - 243F )控制图片

 * //Optical Character Recognition( 2440 - 245F )光学字符辨识

 * //Enclosed Alphanumerics( 2460 - 24FF )封闭式字母数字

 * //Box Drawing( 2500 - 257F )

 * //Box Elements( 2580 - 259F )

 * //Geometric Shapes( 21A0 - 21FF )几何图形

 * //Miscellaneous Symbols( 2600 - 26FF )杂项符号

 * //Dingbats ( 2700 - 27BF )装饰标志

 * //Miscellaneous Mathematical Symbols-A ( 27C0 - 27EF )杂项数学符号

 * //Supplemental Arrows-A ( 27F0 - 27FF )追加箭头

 * //Braille Patterns ( 2800 - 28FF )盲文点字模型

 * //Supplemental Arrows-B ( 2900 - 297F )追加箭头

 * //Miscellaneous Mathematical Symbols-B( 2980 - 29FF )杂项数学符号

 * //Supplemental Mathematical Operators( 2A00 - 2AFF )追加数学操作符

 * //Miscellaneous Symbols and Arrows( 2B00 - 2BFF )杂项符号和箭头

 * 


 * //CJK Symbols and Punctuation( 3000 - 30FF )CJK符号和标点

 * 


 * //Enclosed CJK Letters and Months( 3000 - 30FF )CJK封闭式字符和月份

 * 


 * // Mahjong Tiles( 1F000 - 1F02F )麻将牌

 * // Domino Tiles( 1F030 - 1F09F )多米诺骨牌

 * // Playing Cards( 1F0A0 - 1F0FF )扑克牌

 * //Enclosed Alphanumeric Supplement( 1F100 - 1F1FF )封闭式字母数字补充

 * //Enclosed Ideographic Supplement ( 1F200 - 1F2FF )封闭式表意文字补充

 * //Miscellaneous Symbols and Pictographs ( 1F300 - 1F5FF )其他符号和象形文字

 * //Emoticons ( 1F600 - 1F64F )

 * //Ornamental Dingbats ( 1F650 - 1F67F )

 * //Transport and map symbols ( 1F680 - 1F6FF )

 * //Alchemical Symbols ( 1F700 - 1F77F )炼金术的符号

 * //Geometric Shapes Extended ( 1F780 - 1F7FF )几何图形扩展

 * //Supplemental Arrows-C ( 1F800 - 1F8FF )追加箭头-C

 * //Supplemental Symbols and Pictographs ( 1F900 - 1F9FF )补充符号和象形文字

 * //Chess Symbols ( 1FA00 - 1FA6F )国际象棋的符号

 * https://en.wikibooks.org/wiki/Unicode/Character_reference

 *

 * @param codePoint

 * @return

 */

private static boolean isEmojiCharacterByWiki(int codePoint) {

    return ((codePoint >= 0X2070) && (codePoint <= 0X2BFF)) ||

            ((codePoint >= 0X3000) && (codePoint <= 0X30FF)) ||

            ((codePoint >= 0X3200) && (codePoint <= 0X32FF)) ||

            ((codePoint >= 0x1F000) && (codePoint <= 0x1FA6F));

}

参考:

1.When the specification for the Java language was created, the Unicode standard was accepted and the char primitive was defined as a 16-bit data type, with characters in the hexadecimal range from 0x0000 to 0xFFFF.

Java语言标准创建的时候,就采纳了Unicode标准,char原始类型被定义为16-bit数据类型,能存储的字符范围用16进制表示是从0x0000到0xffff。

https://docs.oracle.com/javase/tutorial/i18n/text/unicode.html

2.The native character encoding of the Java programming language is UTF-16.

https://docs.oracle.com/javase/8/docs/api/java/nio/charset/Charset.html

3.维基百科对unicode编码的编排

https://zh.wikibooks.org/wiki/Unicode/%E5%AD%97%E7%AC%A6%E5%8F%82%E8%80%83/1F000-1FFFF

4.emoji编码分类

https://apps.timwhitlock.info/emoji/tables/unicode

谷歌确认将推出新功能 对标苹果AirDrop

北京时间7月1日早间消息,据外媒报道,此前几个月中一直有传言称谷歌将为Android手机添加一个类似苹果AirDrop的新功能。如今,谷歌终于证实,他们的确将推出这个功能,其正式名称为“Nearby Share”。一些Android手机用户已经测试了该功能的beta版本。

发布于:22小时以前  |  17次阅读  |  详细内容 »

老干妈回应:腾讯公司被骗了 并没有与腾讯有任何的合作

6月30日,中国裁判文书网显示,广东省深圳市南山区人民法院发布一则民事裁定书,同意原告腾讯请求查封、冻结被告老干妈公司公司名下价值人民币16240600元的财产。但6月30日下午,老干妈声明称,经核实,公司从未与腾讯或授权他人与腾讯就“老干妈”品牌签署《联合市场推广合作协议》,且从未与腾讯进行过任何商业合作。

发布于:22小时以前  |  18次阅读  |  详细内容 »

移动端常见崩溃指标

崩溃分析,是将 Android 和 iOS 平台常见的 APP 崩溃问题进行归类分析,帮助企业根据崩溃指标快速发现、定位问题。

发布于:1天以前  |  39次阅读  |  详细内容 »

58同城一季度净利润16.386亿元,同比增134.7%

6月26日讯,生活服务平台58同城(NYSE:WUBA)公布了截至2020年3月31日第一季度未经审计的财务报告。财报显示,58同城第一季度实现营收25.603亿元,同比下滑15.5%;净利润16.386亿元,同比增134.7%。

发布于:4天以前  |  28次阅读  |  详细内容 »

马斯克豪宅以2900万美元出手,买家为网易CEO丁磊

6月20日早间消息,据《华尔街日报》周五援引公开记录报道,特斯拉首席执行官埃隆·马斯克(Elon Musk)以2900万美元的价格出售了他在洛杉矶Bel-Air地区的一处房屋。报道称,买家是与中国亿万富翁丁磊有联系的公司。

发布于:10天以前  |  64次阅读  |  详细内容 »

甲骨文公司泄露数十亿条网络数据记录

据外媒报道,科技巨头「甲骨文」的数据管理平台BlueKai因为在服务器上不加密码从而泄露了全球数十亿条数据记录。甲骨文发言人黛博拉·海林格(Deborah Hellinger)对媒体表示,该消息属实。

发布于:10天以前  |  53次阅读  |  详细内容 »

罗永浩:筹备脱口秀节目,正在组建团队

6月21日晚间消息,极客公园与哔哩哔哩联合举办的Rebuild2020科技全明星峰会上,罗永浩在对话中透露,自己准备在一个比较大的平台上做一档综艺节目,是一档脱口秀节目,当下正在组建团队。“做这一档节目不是为了赚钱。”罗永浩说。

发布于:10天以前  |  40次阅读  |  详细内容 »

最多阅读

简化Android的UI开发 7月以前  |  192131次阅读
Google Enjarify:可代替dex2jar的dex反编译 1年以前  |  2288次阅读
Android设计与开发工作流 7月以前  |  2284次阅读
Android多渠道打包工具:apptools 1年以前  |  1922次阅读
Android权限 - 第一篇 1年以前  |  1893次阅读
Google Java编程风格规范(中文版) 1年以前  |  1869次阅读
Stetho 1年以前  |  1807次阅读
Android UI基本技术点 1年以前  |  1802次阅读
30分钟搭建一个android的私有Maven仓库 1年以前  |  1764次阅读
2015 Google IO带来的新 Android 开发工具 1年以前  |  1702次阅读
你应该知道的布局和属性 1年以前  |  1651次阅读
听FackBook工程师讲*Custom ViewGroups* 1年以前  |  1649次阅读
MVP在Android平台上的应用 1年以前  |  1631次阅读
Gradle小知识#3:任务的顺序 1年以前  |  1629次阅读