添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议 》和 《 阿里云开发者社区知识产权保护指引 》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单 进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
  注意iso-8859-1是JAVA网络传输使用的标准字符集,而gb2312是  
  标准中文字符集,当你作出提交表单等需要网络传输的操作的时候,  
  就需要把 iso-8859-1转换为gb2312字符集显示,否则如果  
  按浏览器的gb2312格式来解释iso-8859-1字符集的话,  
  由于2者不兼容, 所以会 是乱码.
UTF-8三个字节代表一个char
iso-8859-1一个字节代表一个char
GBK两个字节代表一个char

一直以为java中任意unicode字符串可以使用任意字符集转为byte[]再转回来只要不抛出异常就不会丢失数据事实证明这是错的。

经过这个实例也明白了为什么 getBytes()需要捕获异常虽然有时候它也没有捕获到异常。

言归正传先看一个实例。

用ISO-8859-1中转UTF-8数据

设想一个场景

用户A有一个UTF-8编码的字节流通过一个接口传递给用户B

用户B并不知道是什么字符集他用ISO-8859-1来接收保存

在一定的处理流程处理后把这个字节流交给用户C或者交还给用户A他们都知道这是UTF-8他们解码得到的数据不会丢失。

下面代码验证

public static void main(String[] args) throws Exception {
//这是一个unicode字符串与字符集无关
String str1 = "用户";

System.out.println("unicode字符串"+str1);

//将str转为UTF-8字节流
byte[] byteArray1=str1.getBytes("UTF-8");//这个很安全UTF-8不会造成数据丢失

System.out.println(byteArray1.length);//打印6没毛病

//下面交给另外一个人他不知道这是UTF-8字节流因此他当做ISO-8859-1处理

//将byteArray1当做一个普通的字节流按照ISO-8859-1解码为一个unicode字符串
String str2=new String(byteArray1,"ISO-8859-1");

System.out.println("转成ISO-8859-1会乱码"+str2);

//将ISO-8859-1编码的unicode字符串转回为byte[]
byte[] byteArray2=str2.getBytes("ISO-8859-1");//不会丢失数据

//将字节流重新交回给用户A

//重新用UTF-8解码
String str3=new String(byteArray2,"UTF-8");

System.out.println("数据没有丢失"+str3);
}

unicode字符串用户
6
转成ISO-8859-1会乱码用户
数据没有丢失用户

用GBK中转UTF-8数据

重复前面的流程将ISO-8859-1 用GBK替换。

只把中间一段改掉

    //将byteArray1当做一个普通的字节流按照GBK解码为一个unicode字符串
    String str2=<span class="hljs-keyword">new</span> String(byteArray1,<span class="hljs-string">"GBK"</span>);
    System.out.println(<span class="hljs-string">"转成GBK会乱码"</span>+str2);
    <span class="hljs-comment">//将GBK编码的unicode字符串转回为byte[]</span>
    <span class="hljs-keyword">byte</span>[] byteArray2=str2.getBytes(<span class="hljs-string">"GBK"</span>);<span class="hljs-comment">//数据会不会丢失呢</span></code></pre>
public static void demo(String str) throws Exception {
System.out.println("原文" + str);

byte[] utfByte = str.getBytes("UTF-8");
System.out.print("utf Byte");
printHex(utfByte);
String gbk = new String(utfByte, "GBK");//这里实际上把数据破坏了
System.out.println("to GBK" + gbk);

byte[] gbkByte=gbk.getBytes("GBK");
String utf = new String(gbkByte, "UTF-8");
System.out.print("gbk Byte");
printHex(gbkByte);
System.out.println("revert UTF8" + utf);
System.out.println("===");
// 如果gbk变成iso-8859-1就没问题
}

public static void printHex(byte[] byteArray) {
StringBuffer sb = new StringBuffer();
for (byte b : byteArray) {

sb.append(Integer.toHexString((b &gt;&gt; <span class="hljs-number">4</span>) &amp; <span class="hljs-number">0xF</span>));
sb.append(Integer.toHexString(b &amp; <span class="hljs-number">0xF</span>));
sb.append(<span class="hljs-string">" "</span>);

}
System.out.println(sb.toString());
};

public static void main(String[] args) throws Exception {
String str1 = "姓名";
String str2 = "用户名";
demo(str1,"UTF-8","ISO-8859-1");
demo(str2,"UTF-8","ISO-8859-1");

demo(str1,"UTF-8","GBK");
demo(str2,"UTF-8","GBK");
}

原文姓名
UTF-8 Bytee5 a7 93 e5 90 8d
to ISO-8859-1:姓å
ISO-8859-1 Bytee5 a7 93 e5 90 8d
revert UTF-8姓名
===

原文用户名
UTF-8 Bytee7 94 a8 e6 88 b7 e5 90 8d
to ISO-8859-1:用户å
ISO-8859-1 Bytee7 94 a8 e6 88 b7 e5 90 8d
revert UTF-8用户名
===

原文姓名
UTF-8 Bytee5 a7 93 e5 90 8d
to GBK:濮撳悕
GBK Bytee5 a7 93 e5 90 8d
revert UTF-8姓名
===

原文用户名
UTF-8 Bytee7 94 a8 e6 88 b7 e5 90 8d
to GBK:鐢ㄦ埛鍚
GBK Bytee7 94 a8 e6 88 b7 e5 90 3f
revert UTF-8用户?
===

为什么GBK会出错

前三段都没问题最后一段奇数个汉字的utf-8字节流转成GBK字符串再转回来前面一切正常最后一个字节变成了 “0x3f”即”?”

我们使用”用户名” 三个字来分析它的UTF-8 的字节流为

[e7 94 a8] [e6 88 b7] [e5 90 8d]

我们按照三个字节一组分组他被用户A当做一个整体交给用户B。

用户B由于不知道是什么字符集他当做GBK处理因为GBK是双字节编码如下按照两两一组进行分组

[e7 94] [a8 e6] [88 b7] [e5 90] [8d ]

不够了怎么办它把 0x8d当做一个未知字符用一个半角Ascii字符的 “” 代替变成了

[e7 94] [a8 e6] [88 b7] [e5 90] 3f

数据被破坏了。

为什么 ISO-8859-1 没问题

因为 ISO-8859-1 是单字节编码因此它的分组方案是

[e7] [94] [a8] [e6] [88] [b7] [e5] [90] [8d]

因此中间不做任何操作交回个用户A的时候数据没有变化。

关于Unicode编码

因为UTF-16 区分大小端严格讲unicode==UTF16BE。

public static void main(String[] args) throws Exception {
String str="测试";
printHex(str.getBytes("UNICODE"));
printHex(str.getBytes("UTF-16LE"));
printHex(str.getBytes("UTF-16BE"));
}
fe ff 6d 4b 8b d5
4b 6d d5 8b
6d 4b 8b d5

其中 “fe ff” 为大端消息头同理小端消息头为 “ff fe”。

作为中间转存方案ISO-8859-1 是安全的。

UTF-8 字节流用GBK字符集中转是不安全的反过来也是同样的道理。

byte[] utfByte = str.getBytes("UTF-8");
String gbk = new String(utfByte, "GBK");
这是错误的用法虽然在ISO-8859-1时并没报错。

首先byte[] utfByte = str.getBytes("UTF-8");
执行完成之后utfByte 已经很明确这是utf-8格式的字节流

然后gbk = new String(utfByte, "GBK")
对utf-8的字节流使用gbk解码这是不合规矩的。

就好比一个美国人说一段英语让一个不懂英文又不会学舌的日本人听然后传递消息给另一个美国人。

为什么ISO-8859-1 没问题呢

因为它只认识一个一个的字节就相当于是一个录音机。我管你说的什么鬼话连篇过去直接播放就可以了。

getBytes() 是会丢失数据的操作而且不一定会抛异常。

unicode是安全的因为他是java使用的标准类型跨平台无差异。