快捷導(dǎo)航

python爬蟲獲取百度首頁內(nèi)容教學(xué)

更新時間：2018年12月23日 09:19:37 作者：1002002100a

在本篇內(nèi)容里小編給大家分享了關(guān)于python爬蟲獲取百度首頁內(nèi)容教學(xué)，需要的朋友們可以跟著學(xué)習(xí)下。

由傳智播客教程整理，我們這里使用的是python2.7.x版本，就是2.7之后的版本，因?yàn)閜ython3的改動略大，我們這里不用它。現(xiàn)在我們嘗試一下url和網(wǎng)絡(luò)爬蟲配合的關(guān)系，爬瀏覽器首頁信息。

1、首先我們創(chuàng)建一個urllib2_test01.py，然后輸入以下代碼：

2、最簡單的獲取一個url的信息代碼居然只需要4行，執(zhí)行寫的python代碼：

3、之后我們會看到一下的結(jié)果

4、

實(shí)際上，如果我們在瀏覽器上打開網(wǎng)頁主頁的話，右鍵選擇“查看源代碼”，你會發(fā)現(xiàn)，跟我們剛打印出來的是一模一樣的。也就是說，上面的4行代碼就已經(jīng)幫我們把百度的首頁和全部代碼爬了下來了。

5、下面我們介紹一下這四行代碼，第一行如下圖，這個就是將urllib2組件進(jìn)入進(jìn)來，供給我們使用。

6、圖片下面這步驟是調(diào)用urllib2庫中的urlopen方法，該方法接受一個url地址，然后將請求后的得到的回應(yīng)封裝到一個叫respones對象當(dāng)中。

7、最后這里，是調(diào)用response對象的read（）方法，將請求的回應(yīng)內(nèi)容以字符串的形式給html變量。最后的print html就是將字符串打出來，所以說一個基本的url請求是對應(yīng)的python代碼是很簡單的。

總結(jié)：以上就是關(guān)于利用python爬蟲獲取百度信息的步驟內(nèi)容，感謝大家的學(xué)習(xí)和對腳本之家的支持。

您可能感興趣的文章:

相關(guān)文章

Python學(xué)習(xí)筆記基本數(shù)據(jù)結(jié)構(gòu)之序列類型list tuple range用法分析
這篇文章主要介紹了Python學(xué)習(xí)筆記基本數(shù)據(jù)結(jié)構(gòu)之序列類型list tuple range用法,結(jié)合具體實(shí)例形式分析了Python序列類型list tuple range基本概念、定義與使用技巧,需要的朋友可以參考下
2019-06-06
用TensorFlow實(shí)現(xiàn)lasso回歸和嶺回歸算法的示例
本篇文章主要介紹了用TensorFlow實(shí)現(xiàn)lasso回歸和嶺回歸算法的示例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-05-05
解決安裝tensorflow遇到無法卸載numpy 1.8.0rc1的問題
今天小編就為大家分享一篇解決安裝tensorflow遇到無法卸載numpy 1.8.0rc1的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
python 數(shù)據(jù)類型強(qiáng)制轉(zhuǎn)換的總結(jié)
這篇文章主要介紹了python 數(shù)據(jù)類型強(qiáng)制轉(zhuǎn)換的使用總結(jié)，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2021-01-01
Python學(xué)習(xí)筆記嵌套循環(huán)詳解
這篇文章主要介紹了Python學(xué)習(xí)筆記嵌套循環(huán)詳解，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價值，需要的小伙伴可以參考一下
2022-07-07
Django框架HttpRequest對象用法實(shí)例分析
這篇文章主要介紹了Django框架HttpRequest對象用法,結(jié)合實(shí)例形式分析了Django框架HttpRequest對象發(fā)送請求數(shù)據(jù)的相關(guān)使用技巧,需要的朋友可以參考下
2019-11-11
Python中內(nèi)置的日志模塊logging用法詳解
Python的logging模塊提供了記錄程序運(yùn)行情況的日志功能,類似于Apache的log4j,很好很強(qiáng)大,這里我們就來看一下Python中內(nèi)置的日志模塊logging用法詳解
2016-07-07
Python數(shù)據(jù)分析之?Matplotlib?折線圖繪制
這篇文章主要介紹了Python數(shù)據(jù)分析之?Matplotlib?折線圖繪制，在數(shù)據(jù)分析中，數(shù)據(jù)可視化也非常重要，下文通過數(shù)據(jù)分析展開對折線圖的繪制，需要的小伙伴可以參考一下
2022-05-05
詳解Pandas中stack()和unstack()的使用技巧
當(dāng)你在處理包含某種序列（例如時間序列數(shù)據(jù)）的變量的數(shù)據(jù)集時，數(shù)據(jù)通常需要進(jìn)行重塑。Pandas?提供了各種用于重塑?DataFrame?的內(nèi)置方法。其中，stack()?和?unstack()?是最流行的，本文總結(jié)了這兩個方法的7種使用技巧，需要的可以參考一下
2022-03-03
Python下載手機(jī)小視頻的操作方法
這篇文章主要介紹了Python 下載手機(jī)小視頻,主要為大家介紹使用 mitmproxy 這個抓包工具如何監(jiān)控手機(jī)上網(wǎng)，并且通過抓包，把我們想要的數(shù)據(jù)下載下來，需要的朋友可以參考下
2022-04-04