python 采集中文亂碼問題的完美解決方法
更新時(shí)間：2016年09月27日 17:50:05 投稿：jingxian
下面小編就為大家?guī)硪黄猵ython 采集中文亂碼問題的完美解決方法。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
近幾日遇到采集某網(wǎng)頁的時(shí)候大部分網(wǎng)頁OK,少部分網(wǎng)頁出現(xiàn)亂碼的問題,調(diào)試了幾日,終于發(fā)現(xiàn)了是含有一些非法字符造成的..特此記錄
1. 在正常情況下..可以用
import chardet thischarset = chardet.detect(strs)["encoding"]
來獲取該文件或頁面的編碼方式
或直接抓取頁面的charset = xxxx 來獲取
2. 遇到內(nèi)容中有特殊字符時(shí)指定的編碼一樣會(huì)造成亂碼..即內(nèi)容中非法字符造成的,可以采用編碼忽略非法字符的方式來處理.
strs = strs.decode("UTF-8","ignore").encode("UTF-8")
decode的第二個(gè)參數(shù)表示遇到非法字符時(shí)所采取的方式
該參數(shù)默認(rèn)為拋出異常.
以上就是小編為大家?guī)淼膒ython 采集中文亂碼問題的完美解決方法的全部?jī)?nèi)容了，希望對(duì)大家有所幫助，多多支持腳本之家~
相關(guān)文章
從0編寫區(qū)塊鏈之用python解釋區(qū)塊鏈最基本原理
人工智能和區(qū)塊鏈誕生至今已經(jīng)有了十幾年，當(dāng)這些技術(shù)出現(xiàn)時(shí)，人們都說他們會(huì)改變世界，但至今為止，這兩項(xiàng)技術(shù)對(duì)現(xiàn)實(shí)的影響依然有限，接下來通過本文介紹下從0編寫區(qū)塊鏈之用python解釋區(qū)塊鏈最基本原理,需要的朋友可以參考下2022-02-02
這篇文章主要為大家詳細(xì)介紹了python中的getter與setter，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03
程序從程序入口進(jìn)入,到程序執(zhí)行結(jié)束,大體是按照順序結(jié)構(gòu)執(zhí)行語句、函數(shù)或代碼塊,掌握程序的結(jié)構(gòu),有利于把握程序的主體框架,下面這篇文章主要給大家介紹了關(guān)于Python編程之順序執(zhí)行與程序的主入口的相關(guān)資料,需要的朋友可以參考下2022-12-12
python+mediapipe+opencv實(shí)現(xiàn)手部關(guān)鍵點(diǎn)檢測(cè)功能(手勢(shì)識(shí)別)
這篇文章主要介紹了python+mediapipe+opencv實(shí)現(xiàn)手部關(guān)鍵點(diǎn)檢測(cè)功能(手勢(shì)識(shí)別),本文僅僅簡(jiǎn)單介紹了mediapipe的使用，而mediapipe提供了大量關(guān)于圖像識(shí)別等的方法，需要的朋友可以參考下2022-01-01
使用Python創(chuàng)建LNK文件選擇器并導(dǎo)出配置文件
在這篇博客中,我將介紹如何使用Python的wxPython庫開發(fā)一個(gè)GUI應(yīng)用程序,該應(yīng)用程序可以選擇文件夾中的.lnk（快捷方式）文件,并將選中的文件導(dǎo)出為特定格式的buttons.ini配置文件,需要的朋友可以參考下2025-01-01
今天小編就為大家分享一篇Pytorch之view及view_as使用詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Python容器使用的5個(gè)技巧和2個(gè)誤區(qū)總結(jié)
在本篇文章里小編給大家整理的是關(guān)于Python容器使用的5個(gè)技巧和2個(gè)誤區(qū)的相關(guān)知識(shí)點(diǎn)內(nèi)容，需要的朋友們學(xué)習(xí)下。2019-09-09
Django與數(shù)據(jù)庫交互的實(shí)現(xiàn)
最近在學(xué)習(xí)Django，本文主要介紹了Django與數(shù)據(jù)庫交互的實(shí)現(xiàn)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-06-06
Python生成器定義與簡(jiǎn)單用法實(shí)例分析
這篇文章主要介紹了Python生成器定義與簡(jiǎn)單用法,結(jié)合實(shí)例形式較為詳細(xì)的分析了Python生成器的概念、原理、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2018-04-04
python目標(biāo)檢測(cè)非極大抑制NMS與Soft-NMS
這篇文章主要weidajia?介紹了python目標(biāo)檢測(cè)非極大抑制NMS與Soft-NMS實(shí)現(xiàn)過程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05