0x00 字符的編碼

計(jì)算機(jī)畢竟是西方國(guó)家的發(fā)明，最開始并沒有想到會(huì)普及到全世界，只用一個(gè)字節(jié)中的7位（ASCII）來表示字符對(duì)于現(xiàn)在龐大的文字?jǐn)?shù)量來說顯然不夠，所以先后經(jīng)歷了好幾套編碼方案，不同國(guó)家和地區(qū)又有自己的方案，造成了現(xiàn)在諸多的歷史遺留問題。

0x01 Python中的字符串

Python有兩種不同的字符串，一種存儲(chǔ)文本，一種存儲(chǔ)字節(jié)。對(duì)于文本，Python內(nèi)部采用Unicode存儲(chǔ)，而字節(jié)字符串顯示原始字節(jié)序列或者ASCII。

什么叫編碼（encode）？

按照字面意思和以往經(jīng)驗(yàn)，我要把這個(gè)文本或字符串用“UTF-8”編碼，感覺上應(yīng)該是對(duì)字節(jié)數(shù)據(jù)進(jìn)行編碼然后顯示正確的文字。大多數(shù)人都是這么想的，可事實(shí)呢？

編碼的意思是將Unicode字符按照編碼規(guī)則（如UTF-8）編成字節(jié)序列：

有人此時(shí)會(huì)問，我用 print 語句打印出來怎么是亂碼或者是中文，并不是字節(jié)序列。這是因?yàn)槟阏{(diào)用 print 語句的時(shí)候，默認(rèn)進(jìn)行了隱式解碼，為的是讓人類看見友好的字符數(shù)據(jù) ，也就是默認(rèn)的進(jìn)行了str()包裝，想看見背后真正的十六進(jìn)制數(shù)，你需要調(diào)用魔術(shù)方法 _repr_() 。

什么叫解碼（decode）?

對(duì)應(yīng)的，解碼就是將字節(jié)序列按照編碼規(guī)則（如UTF-8）解釋成unicode形式。

這里或許又會(huì)有疑問，編碼解碼都是十六進(jìn)制，那中文字符咋顯示的？
這又要結(jié)合你的環(huán)境了?？赐晡疑厦嫱扑]的文章，你就會(huì)明白，Unicode只是一種標(biāo)準(zhǔn)，而具體的編碼才是實(shí)現(xiàn)方式。有了正確的Unicode編碼，僅僅代表你有了正確的英文文獻(xiàn)，想翻譯成中文，還得再轉(zhuǎn)換一次。而這一次轉(zhuǎn)換，是你的環(huán)境幫你完成。舉個(gè)例子，你打開一個(gè)文檔，發(fā)現(xiàn)是亂碼，多半是文本編輯器的解碼方式有問題，換個(gè)解碼規(guī)則就好了。

0x02 Python2 和 Python3 之間的區(qū)別

Python3 一切都很美好

在Python3當(dāng)中，文本字符串類型（使用Unicode數(shù)據(jù)存儲(chǔ)）被命名為 str , 字節(jié)字符串類型被命名為 bytes 。一般情況下，實(shí)例化一個(gè)字符串會(huì)得到一個(gè) str 對(duì)象 ：

所以現(xiàn)在很多人都說，Python3默認(rèn)是Unicode，也就是這個(gè)意思。

如果你想得到bytes，那就在文本之前加上前綴 b , 或者 encode 一下。

所以，很顯然，str 對(duì)象有一個(gè)encode方法，bytes 對(duì)象有一個(gè)decode方法。

Python2 相當(dāng)?shù)牟俚?，甚至?xí)`導(dǎo)你

在Python3中的 str 對(duì)象在Python2中叫做 unicode ，感覺很通俗對(duì)吧？但 bytes 對(duì)象在Python2中叫做 str ，對(duì)。。就是你平時(shí)用的 str ， 默認(rèn)的那個(gè)。。。

如果你想得到一個(gè)文本字符串，你需要在字符串之前加上前綴 u 或者 decode 一下。

搞笑的還不止這么點(diǎn)，Python2中的 str （字節(jié)） 對(duì)象，竟然有一個(gè) encode 方法！?。《夷銊e指望它有什么特殊用處，它就是用來報(bào)錯(cuò)的，永遠(yuǎn)都別使用它?。。?/strong>

b.encode('ascii').decode('GBK')