python 中文字符串的處理實現(xiàn)代碼
更新時間：2009年10月25日 18:00:09 作者：
python中直接將一個中文字符串賦值給一個變量使用的是utf-8格式的編碼,以下為證.
>>> teststr = '我的eclipse不能正確的解碼gbk碼！'
>>> teststr
'\xe6\x88\x91\xe7\x9a\x84eclipse\xe4\xb8\x8d\xe8\x83\xbd\xe6\xad\xa3\xe7\xa1\xae\xe7\x9a\x84\xe8\xa7\xa3\xe7\xa0\x81gbk\xe7\xa0\x81\xef\xbc\x81'
>>> tests2 = u'我的eclipse不能正確的解碼gbk碼！'
>>> test3 = tests2.encode('gb2312')
>>> test3
'\xce\xd2\xb5\xc4eclipse\xb2\xbb\xc4\xdc\xd5\xfd\xc8\xb7\xb5\xc4\xbd\xe2\xc2\xebgbk\xc2\xeb\xa3\xa1'
>>> test3
'\xce\xd2\xb5\xc4eclipse\xb2\xbb\xc4\xdc\xd5\xfd\xc8\xb7\xb5\xc4\xbd\xe2\xc2\xebgbk\xc2\xeb\xa3\xa1'
>>> teststr
'\xe6\x88\x91\xe7\x9a\x84eclipse\xe4\xb8\x8d\xe8\x83\xbd\xe6\xad\xa3\xe7\xa1\xae\xe7\x9a\x84\xe8\xa7\xa3\xe7\xa0\x81gbk\xe7\xa0\x81\xef\xbc\x81'
>>> test3.decode('gb2312').encode('utf-8')
'\xe6\x88\x91\xe7\x9a\x84eclipse\xe4\xb8\x8d\xe8\x83\xbd\xe6\xad\xa3\xe7\xa1\xae\xe7\x9a\x84\xe8\xa7\xa3\xe7\xa0\x81gbk\xe7\xa0\x81\xef\xbc\x81'
>>> test3.decode('gb2312').encode('utf-8') == teststr
True
如上所見,test3變量(gb2312編碼)經(jīng)過解碼(變成unicode字符串)后再使用utf-8編碼,就成了與teststr值相同的串了.
通過上面的例子我們也發(fā)現(xiàn),unicode字符串是gb2312字符串(windows就使用這種格式)與utf-8字符串(python本身使用)之間的一座橋梁.
>>> teststr
'\xe6\x88\x91\xe7\x9a\x84eclipse\xe4\xb8\x8d\xe8\x83\xbd\xe6\xad\xa3\xe7\xa1\xae\xe7\x9a\x84\xe8\xa7\xa3\xe7\xa0\x81gbk\xe7\xa0\x81\xef\xbc\x81'
>>> tests2 = u'我的eclipse不能正確的解碼gbk碼！'
>>> test3 = tests2.encode('gb2312')
>>> test3
'\xce\xd2\xb5\xc4eclipse\xb2\xbb\xc4\xdc\xd5\xfd\xc8\xb7\xb5\xc4\xbd\xe2\xc2\xebgbk\xc2\xeb\xa3\xa1'
>>> test3
'\xce\xd2\xb5\xc4eclipse\xb2\xbb\xc4\xdc\xd5\xfd\xc8\xb7\xb5\xc4\xbd\xe2\xc2\xebgbk\xc2\xeb\xa3\xa1'
>>> teststr
'\xe6\x88\x91\xe7\x9a\x84eclipse\xe4\xb8\x8d\xe8\x83\xbd\xe6\xad\xa3\xe7\xa1\xae\xe7\x9a\x84\xe8\xa7\xa3\xe7\xa0\x81gbk\xe7\xa0\x81\xef\xbc\x81'
>>> test3.decode('gb2312').encode('utf-8')
'\xe6\x88\x91\xe7\x9a\x84eclipse\xe4\xb8\x8d\xe8\x83\xbd\xe6\xad\xa3\xe7\xa1\xae\xe7\x9a\x84\xe8\xa7\xa3\xe7\xa0\x81gbk\xe7\xa0\x81\xef\xbc\x81'
>>> test3.decode('gb2312').encode('utf-8') == teststr
True
如上所見,test3變量(gb2312編碼)經(jīng)過解碼(變成unicode字符串)后再使用utf-8編碼,就成了與teststr值相同的串了.
通過上面的例子我們也發(fā)現(xiàn),unicode字符串是gb2312字符串(windows就使用這種格式)與utf-8字符串(python本身使用)之間的一座橋梁.
相關文章
Python數(shù)據(jù)預處理之數(shù)據(jù)規(guī)范化（歸一化）示例
這篇文章主要介紹了Python數(shù)據(jù)預處理之數(shù)據(jù)規(guī)范化,簡單描述了數(shù)據(jù)規(guī)范化的原理、用法及相關操作技巧,需要的朋友可以參考下2019-01-01
python使用tesseract實現(xiàn)字符識別功能
Tesseract 是一個開源的光學字符識別（OCR）引擎,它能夠識別多種語言的文本,可將掃描文檔、圖像中的文字提取并轉(zhuǎn)換為計算機可編輯的文本格式,本文給大家介紹了python使用tesseract實現(xiàn)字符識別功能,需要的朋友可以參考下2024-10-10
從Python的源碼來解析Python下的freeblock
這篇文章主要介紹了從Python的源碼來解析Python下的freeblock,包括內(nèi)存空間分配等知識,需要的朋友可以參考下2015-05-05
Python調(diào)用Elasticsearch更新數(shù)據(jù)庫的操作方法
Elasticsearch是一個分布式、多租戶的全文搜索引擎,支持HTTP Web接口和無模式的JSON文檔,本文介紹Python調(diào)用Elasticsearch更新數(shù)據(jù)庫的相關操作,感興趣的朋友一起看看吧2024-12-12
這篇文章主要介紹了可以將多個視頻拼接為一個視頻的Python工具代碼，文中的代碼講解詳細，對我們學習Python有一定的幫助，快來跟隨小編一起學習一下吧2021-12-12
Python實現(xiàn)讀取mat、tif和hdr格式數(shù)據(jù)
遙感影像數(shù)據(jù)大多以tif格式或者以hdr格式進行存儲,如果以mat格式進行存儲,不會保留坐標信息,本文將詳細介紹如何使用python來讀取這三種格式的數(shù)據(jù),需要的可以參考下2023-12-12
這篇文章主要介紹了提升python處理速度原理及方法實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12
python中random.randint和random.randrange的區(qū)別詳解
這篇文章主要介紹了python中random.randint和random.randrange的區(qū)別詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
今天小編就為大家分享一篇對python sklearn one-hot編碼詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
這篇文章主要介紹了Python 讀取用戶指令和格式化打印實現(xiàn)解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09