快捷導(dǎo)航

老生常談?dòng)?jì)算機(jī)中的編碼問(wèn)題(必看篇)

更新時(shí)間：2017年07月21日 08:48:52 投稿：jingxian

下面小編就為大家?guī)?lái)一篇老生常談?dòng)?jì)算機(jī)中的編碼問(wèn)題(必看篇)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

計(jì)算機(jī)中的編碼問(wèn)題

因?yàn)橛?jì)算機(jī)只能處理數(shù)字，如果要處理文本，就必須先把文本轉(zhuǎn)換為數(shù)字才能處理。最早的計(jì)算機(jī)在設(shè)計(jì)時(shí)采用8個(gè)比特（bit）作為一個(gè)字節(jié)（byte），所以，一個(gè)字節(jié)能表示的最大的整數(shù)就是255（二進(jìn)制11111111=十進(jìn)制255），如果要表示更大的整數(shù)，就必須用更多的字節(jié)。比如兩個(gè)字節(jié)可以表示的最大整數(shù)是65535，4個(gè)字節(jié)可以表示的最大整數(shù)是4294967295。

一、目前常用的編碼

ASCII編碼：由于計(jì)算機(jī)是美國(guó)人發(fā)明的，因此，最早只有127個(gè)字母被編碼到計(jì)算機(jī)里，也就是大小寫英文字母、數(shù)字和一些符號(hào)，這個(gè)編碼表被稱為ASCII編碼，比如大寫字母A的編碼是65，小寫字母z的編碼是122。

GB系列編碼：但是要處理中文顯然一個(gè)字節(jié)是不夠的，至少需要兩個(gè)字節(jié)，而且還不能和ASCII編碼沖突，所以，中國(guó)制定了GB2312編碼，用來(lái)把中文編進(jìn)去。進(jìn)而全世界有上百種語(yǔ)言，日本把日文編到Shift_JIS里，韓國(guó)把韓文編到Euc-kr里，各國(guó)有各國(guó)的標(biāo)準(zhǔn)，就會(huì)不可避免地出現(xiàn)沖突，結(jié)果就是，在多語(yǔ)言混合的文本中，顯示出來(lái)會(huì)有亂碼。GB系列編碼是我國(guó)的國(guó)標(biāo)編碼，用來(lái)存儲(chǔ)漢字，分為GB2312，GBK，GB18030，基本都能向前兼容，其中GBK是目前最通用的。

Unicode編碼：Unicode把所有語(yǔ)言都統(tǒng)一到一套編碼里，這樣就不會(huì)再有亂碼問(wèn)題了。Unicode標(biāo)準(zhǔn)也在不斷發(fā)展，但最常用的是用兩個(gè)字節(jié)表示一個(gè)字符（如果要用到非常偏僻的字符，就需要4個(gè)字節(jié)）?，F(xiàn)代操作系統(tǒng)和大多數(shù)編程語(yǔ)言都直接支持Unicode。不過(guò)他只規(guī)定了字符的編碼，卻沒有規(guī)定字符以何種方式存儲(chǔ)或者傳輸。所以UTF系列編碼規(guī)定了Unicode編碼的存儲(chǔ)和傳輸方式。

UTF編碼系列：目前最常用的UTF編碼分為3種，UTF-8，UTF-16和UTF-32，我們知道計(jì)算機(jī)是以8位為一個(gè)字節(jié)來(lái)存儲(chǔ)數(shù)據(jù)的，而UTF-16，UTF-32分別用2字節(jié)和4字節(jié)來(lái)表示一個(gè)字符，所以這里就涉及到字節(jié)的存儲(chǔ)順序，是低位在前還是高位在前，這樣，BOM就產(chǎn)生了。

BOM是文本文件開頭的一個(gè)特殊標(biāo)記，用一組特殊數(shù)字來(lái)標(biāo)記文本文件的字節(jié)序。雖然UTF-8字節(jié)順序是固定的，但為了兼容UTF-16和UTF-32也規(guī)定了UTF-8的BOM，用于標(biāo)記UTF-8編碼。不過(guò)UTF-8的BOM在不同平臺(tái)的規(guī)定不同，要小心使用。

BOM規(guī)定如下：

UTF-8 EF BB BF

UTF-16(LE) FF FE

UTF-16(BE) FE FF

UTF-32(LE) FF FE 00 00

UTF-32(BE) 00 00 FE FF

UTF-8編碼：如果統(tǒng)一成Unicode編碼，亂碼問(wèn)題從此消失了。但是，如果你寫的文本基本上全部是英文的話，用Unicode編碼比ASCII編碼需要多一倍的存儲(chǔ)空間，在存儲(chǔ)和傳輸上就十分不劃算。所以，本著節(jié)約的精神，又出現(xiàn)了把Unicode編碼轉(zhuǎn)化為“可變長(zhǎng)編碼”的UTF-8編碼。UTF-8編碼把一個(gè)Unicode字符根據(jù)不同的數(shù)字大小編碼成1-6個(gè)字節(jié)，常用的英文字母被編碼成1個(gè)字節(jié)，漢字通常是3個(gè)字節(jié)，只有很生僻的字符才會(huì)被編碼成4-6個(gè)字節(jié)。如果你要傳輸?shù)奈谋景罅坑⑽淖址?，用UTF-8編碼就能節(jié)省空間：

字符	ASCII	Unicode	UTF-8
A	01000001	00000000 01000001	01000001
中	X	01001110 00101101	11100100 10111000 10101101

二、計(jì)算機(jī)系統(tǒng)中的編碼應(yīng)用

在計(jì)算機(jī)內(nèi)存中，統(tǒng)一使用Unicode編碼，當(dāng)需要保存到硬盤或者需要傳輸?shù)臅r(shí)候，就轉(zhuǎn)換為UTF-8編碼；用記事本編輯的時(shí)候，從文件讀取的UTF-8字符被轉(zhuǎn)換為Unicode字符到內(nèi)存里，編輯完成后，保存的時(shí)候再把Unicode轉(zhuǎn)換為UTF-8保存到文件：

瀏覽網(wǎng)頁(yè)的時(shí)候，服務(wù)器會(huì)把動(dòng)態(tài)生成的Unicode內(nèi)容轉(zhuǎn)換為UTF-8再傳輸?shù)綖g覽器：

所以你看到很多網(wǎng)頁(yè)的源碼上會(huì)有類似<meta charset="UTF-8" />的信息，表示該網(wǎng)頁(yè)正是用的UTF-8編碼。

三、Java中的編碼問(wèn)題

直接寫一個(gè)demo來(lái)看看eclipse中java項(xiàng)目的編碼是怎么樣的吧。

1、字符串轉(zhuǎn)為字節(jié)序列

public class EncodeDemo {

 public static void main(String[] args) {
  // TODO Auto-generated method stub
  String s="云開de立夏";
  byte[] bytes1=s.getBytes();//這是把字符串轉(zhuǎn)換成字符數(shù)組，轉(zhuǎn)換成的字節(jié)序列用的是項(xiàng)目默認(rèn)的編碼
  for(byte b: bytes1)
  //toHexString這個(gè)函數(shù)是把字節(jié)（轉(zhuǎn)換成了Int）以16進(jìn)制的方式顯示
  System.out.print(Integer.toHexString(b & 0xff)+" ");// & 0xff是為了把前面的24個(gè)0去掉只留下后八位
 }

}

運(yùn)行結(jié)果：

分析：可以看到這個(gè)java項(xiàng)目的默認(rèn)編碼中，漢字用2個(gè)字節(jié)表示，英文用一個(gè)字節(jié)表示。

通過(guò)查看項(xiàng)目的默認(rèn)編碼為GBK。

如果不想用項(xiàng)目默認(rèn)的編碼格式，可以用下面這種方法指定字符串轉(zhuǎn)化為想要的編碼格式：

byte[] bytes2=s.getBytes("utf-8");//轉(zhuǎn)換成utf-8編碼
  for(byte b: bytes2)
   //toHexString這個(gè)函數(shù)是把字節(jié)（轉(zhuǎn)換成了Int）以16進(jìn)制的方式顯示
   System.out.print(Integer.toHexString(b & 0xff)+" ");// & 0xff是為了把前面的24個(gè)0去掉只留下后八位
  System.out.println();
  byte[] bytes3=s.getBytes("utf-16be");//轉(zhuǎn)換成java雙字節(jié)編碼，utf-16be編碼
  for(byte b: bytes3)
   //toHexString這個(gè)函數(shù)是把字節(jié)（轉(zhuǎn)換成了Int）以16進(jìn)制的方式顯示
   System.out.print(Integer.toHexString(b & 0xff)+" ");// & 0xff是為了把前面的24個(gè)0去掉只留下后八位

運(yùn)行結(jié)果：

分析：兩個(gè)結(jié)果對(duì)比可以得出，

gbk編碼： 中文占用兩個(gè)字節(jié)，英文占用一個(gè)字節(jié)。

utf-8編碼：中文占用三個(gè)字節(jié)，英文占用一個(gè)字節(jié)。

utf-16be編碼：中文占用兩個(gè)字節(jié)，英文占用兩個(gè)字節(jié)。

注意：java是雙字節(jié)編碼，是utf-16be編碼。即java中的一個(gè)字符（char）占用兩個(gè)字節(jié)！

2、字節(jié)序列轉(zhuǎn)為字符串

當(dāng)你的字節(jié)序列是某種編碼時(shí)，這個(gè)時(shí)候想把字節(jié)序列變成字符串，也需要用這種編碼方式，否則會(huì)出現(xiàn)亂碼。

String str1=new String(bytes1);//這時(shí)會(huì)使用項(xiàng)目默認(rèn)的編碼來(lái)轉(zhuǎn)換，可能出現(xiàn)亂碼
  System.out.println(str1);
  String str2=new String(bytes2);
  System.out.println(str2);
  String str3=new String(bytes2,"utf-8");
  System.out.println(str3);

運(yùn)行結(jié)果：

四、文本文件（txt）的編碼問(wèn)題

文本文件就是字節(jié)序列，可以是任意編碼的字節(jié)序列。

如果我們?cè)谥形臋C(jī)器上直接創(chuàng)建文本文件，那么該文件只認(rèn)識(shí)ANSI編碼（例如直接在電腦中右鍵創(chuàng)建文本文件）。

這里要注意：只有直接創(chuàng)建文本文件時(shí)，該文件的編碼只認(rèn)識(shí)ANSI，但是文本文件本身是可以放任意編碼的字節(jié)序列。

注意：中文系統(tǒng)下，ANSI編碼即是GBK編碼。

這里舉個(gè)例子：

我們?cè)趀clipse新建一個(gè)項(xiàng)目，把它的默認(rèn)編碼改為utf-8

那么對(duì)于這個(gè)項(xiàng)目而言，它只認(rèn)識(shí)utf-8的編碼文件。

接下來(lái)，我們?cè)谶@個(gè)項(xiàng)目中新建一個(gè)文本文件utf-8.txt,并在里面輸入內(nèi)容如下：

如果直接把這個(gè)文本文件拷貝到其他項(xiàng)目中（默認(rèn)為GBK編碼），里面的內(nèi)容將會(huì)變成亂碼！因?yàn)榫幋a不一樣！

但是如果是將里面的內(nèi)容復(fù)制粘貼過(guò)去，系統(tǒng)會(huì)自動(dòng)轉(zhuǎn)化為相應(yīng)的編碼，是不會(huì)出現(xiàn)亂碼的。

注意：如果把這個(gè)文本文件拷貝到其他地方（比如系統(tǒng)的桌面）上，它不會(huì)出現(xiàn)亂碼??！因?yàn)槲谋疚募梢允侨我獾木幋a序列，系統(tǒng)在讀取文本文件時(shí)會(huì)自動(dòng)轉(zhuǎn)化為相應(yīng)的編碼格式。

了解文件的編碼有什么用呢？？在Java的IO流中，我們需要對(duì)文件進(jìn)行讀寫，使用字節(jié)流進(jìn)行讀寫的時(shí)候，就必須根據(jù)不同的編碼方式進(jìn)行讀寫。因?yàn)椴煌幋a方式的各個(gè)字符所占用的字節(jié)數(shù)不同，我們要按照實(shí)際情況進(jìn)行操作。

以上這篇老生常談?dòng)?jì)算機(jī)中的編碼問(wèn)題(必看篇)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: