python如何爬取網(wǎng)頁中的文字
用Python進行爬取網(wǎng)頁文字的代碼：
#!/usr/bin/python # -*- coding: UTF-8 -*- import requests import re # 下載一個網(wǎng)頁 url = 'https://www.biquge.tw/75_75273/3900155.html' # 模擬瀏覽器發(fā)送http請求 response = requests.get(url) # 編碼方式 response.encoding='utf-8' # 目標小說主頁的網(wǎng)頁源碼 html = response.text print(html)
1、編寫爬蟲思路：
確定下載目標，找到網(wǎng)頁，找到網(wǎng)頁中需要的內(nèi)容。對數(shù)據(jù)進行處理。保存數(shù)據(jù)。
2、知識點說明：
1）確定網(wǎng)絡中需要的信息，打開網(wǎng)頁后使用F12打開開發(fā)者模式。
在Network中可以看到很多信息，我們在頁面上看到的文字信息都保存在一個html文件中。點擊文件后可以看到response，文字信息都包含在response中。
對于需要輸入的信息，可以使用ctrl+f，進行搜索。查看信息前后包含哪些特定字段。
對于超鏈接的提取，可以使用最左邊的箭頭點擊超鏈接，這時Elements會打開有該條超鏈接的信息，從中判斷需要提取的信息。從下載小說來看，在目錄頁提取出小說的鏈接和章節(jié)名。
2）注意編碼格式
輸入字符集一定要設置成utf-8。頁面大多為GBK字符集。不設置會亂碼。
內(nèi)容擴展：
接下來我們了解一下爬取網(wǎng)頁信息的步驟。
想要獲得我們所需的數(shù)據(jù)分三步
第一步：使用BeautifulSoup解析網(wǎng)頁
Soup = BeautifulSoup(html,'lxml')
第二步：描述想要爬去信息的東西在哪里。
信息 = Soup.select('???')
要知道它叫什么名字，如何去定位。
第三步：從標簽中獲得你想要的信息
<p>Something</p>
從標簽中獲取我們需要的信息，去掉一些沒有用的結構，并且把我們獲取的信息按照一定格式裝在數(shù)據(jù)容器中，方便我們?nèi)ゲ樵儭?/p>
以上就是python如何爬取網(wǎng)頁中的文字的詳細內(nèi)容，更多關于python爬取網(wǎng)頁文字的資料請關注腳本之家其它相關文章！
相關文章
python題解LeetCode303區(qū)域和檢索示例詳解
這篇文章主要為大家介紹了python題解LeetCode303區(qū)域和檢索示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-12-12
python爬蟲控制aiohttp并發(fā)數(shù)量方式
這篇文章主要介紹了python爬蟲控制aiohttp并發(fā)數(shù)量方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
Win7下Python與Tensorflow-CPU版開發(fā)環(huán)境的安裝與配置過程
這篇文章主要介紹了Win7下Python與Tensorflow-CPU版安裝與配置心得,需要的朋友可以參考下2018-01-01
Python漏洞驗證程序Poc利用入門到實戰(zhàn)編寫
這篇文章主要為大家介紹了Python?Poc利用入門到實戰(zhàn)編寫實現(xiàn)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2022-02-02
這篇文章主要介紹了pytorch版本PSEnet訓練并部署方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-05-05
今天小編就為大家分享一篇使用python進行拆分大文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
今天小編就為大家分享一篇Python 利用pydub庫操作音頻文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
這篇文章主要介紹了python3中使用__slots__限定實例屬性操作,結合實例形式分析了Python3定義類實例綁定屬性,以及使用__slots__限定實例屬性的相關操作技巧,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python腳本傳參數(shù)argparse模塊的使用，文章圍繞argparse模塊的相關資料展開具體的使用方法，具有一的參考價值，需要的小伙伴可以參考一下2022-03-03
在本篇文章里小編給大家整理的是關于python分數(shù)怎么表示的相關知識點內(nèi)容，有需要的朋友們學習下吧。2019-06-06