Java中文字符处理的四大迷题

文章由LinuxBoy分享于2019-04-01 11:04:57热评（260）

Java中文字符处理的四大迷题

虽然计算机对英文字符的支持非常不错，我们也恨不得写的程序只会处理英文的数据，但是昨为中国人，无可避免地要处理一些中文字符。当很简单的一件事情，遇到了中文，一切就不同了！本文就会讲述实际生产环境中遇到的四个中文迷题，欢迎大家参与补充！

1、“我”讲的其它机器听不懂？

当把一串中文字符，通过HTTP、TCP方式传递到另外一个系统时，会经常惊奇地发现，在发送前还是好好的，但是收到后却全坏了！怎么办？下面提供几种情况，对症下药：

（1）发送时使用的GET请求

要特别注意传递参数时，不要直接使用中文（如?key=热情），这基本就宣告了这个代码在某个浏览器、某个机器上，对方收到的东西就是乱码了。必须要对传递的参数进行Url Encode，接受方再进行Url Decode，取出来的数据基本就是OK的了。注：某些Java框架（如Spring）的RestTemplate会自动对GET方式的调用参与进行Encode、Decode，你就可以不用再人工去做了。

（2）使用了byte传递数据

在使用MQ、原生Socket等场景下，有时要用byte传递数据。这时一定要对String的getBytes方法传递编码参数，一般用"UTF-8"，且接收方则用new String(bytes, "UTF-8")来构造字符串，不然也有乱码风险！建议对需要用byte传递数据的场景，尽量转为Base64编码的方式进行传递，更方便去调试程序。

（3）设置运行环境编码

如果你的系统默认编码未设置对，那么默认的Java代码运行环境也不对，所以一要在程序运行时对Java代码运行环境进行设置。以Linux Shell为例，在启动应用的shell里，增加

export LANG=en_US.UTF-8

这可以保证应用在调用系统命令行时，运行环境是以UTF-8编码的。另外如果是Tomcat，那么的脚本处也加上参数项：

-Dsun.jnu.encoding=UTF-8 -Dfile.encoding=UTF-8 -Duser.language=en -Duser.country=US

这可以保证应用的Java代码的默认运行是在UTF-8编码基础上的，如果需要通信的系统全设置为UTF-8，可以避免诸多编码转换！

2、浏览器不认识“我”？

一般来说，浏览与应用的交互就是GET、POST请求了，当然还有PUT、DELETE请求，不过触类旁通，不需要讲太多。

POST请求的中文数据，经常是可以正常在前后台传递的，但是GET请求就没那么幸运了，一定要记得进行URL Encode与Decode，养成好的编码习惯，减少后续调试代码的难度与时间。

3、猜一猜“我”说的是什么？

在读写含中文文本的文件时，有时候也会读出乱码来，原因是因为程序的运行编码永远只有默认的一种的，那么如果不带编码参数地去读取文件，由于文件编码可能与程序编码不同，最后读出来的就是乱码了。这个时候，就需要写程序去“猜”文件的编码了。

现在有许多开源的识别编码的类库可以直接使用，但是也并不全是ok的，常见的编码能识别就好，像这些：UTF-8、GB2312、GBK、GB18030、UTF-16、US-ASCII、Big5、ISO-8859-1，遇到的概率非常大。我这里推荐几个：EncodingDetecotr、jChardet。

在读取到byte后，通过编码识别再存为相应的String，就可以得到正常的中文了。

4、听说UTF-8还有BOM？

BOM，在UCS编码中有一个叫做"ZERO WIDTH NO-BREAK SPACE"的字符，它的编码是FEFF，这就是所谓的BOM头了，它的UTF-8编码是EF BB BF。在Windows系统上，默认用记事本存储为UTF-8格式，是有BOM的，但是Linux下却是默认无BOM的。缺了BOM的文件，经常在Windows下就识别出现错位、乱码等问题。解决之道就是在读取文件、byte的前几个字节，如果无BOM就给它加上BOM。

 1     /**
 2      * 判断文件是否有BOM
 3      * 
 4      * @return
 5      */
 6     public static boolean hasBom(File file) {
 7         FileInputStream input = null;
 8         try {
 9             input = new FileInputStream(file);
10             byte[] buf = new byte[1024];
11             if ((input.read(buf, 0, 1024)) != -1) {
12                 if (buf[0] == (byte) 0xEF && buf[1] == (byte) 0xBB && buf[2] == (byte) 0xBF) {
13                     return true;
14                 }
15             }
16             return false;
17         } catch (IOException e) {
18             _logger.error(e);
19             return true;
20         } finally {
21             if (input != null) {
22                 try {
23                     input.close();
24                 } catch (IOException e) {
25                     _logger.error("资源释放失败！", e);
26                 }
27             }
28         }
29     }

如果无BOM，则在传给Windows的地方或需要导出的地方这前先加上：new byte[] {(byte) 0xEF, (byte) 0xBB, (byte) 0xBF} 这些字节。

以上这些点如果注意了，常见的中文编码问题就解决了。

本文永久更新链接地址：

推荐文章：

Java中文字符处理的四大迷题