世界上80%的爬蟲是基于Python開發(fā)的，學好爬蟲技能，可為后續(xù)的大數(shù)據(jù)分析、挖掘、機器學習等提供重要的數(shù)據(jù)源。

什么是爬蟲？

網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

其實通俗的講就是通過程序去獲取web頁面上自己想要的數(shù)據(jù)，也就是自動抓取數(shù)據(jù)

爬蟲可以做什么？

你可以用爬蟲爬圖片，爬取視頻等等你想要爬取的數(shù)據(jù)，只要你能通過瀏覽器訪問的數(shù)據(jù)都可以通過爬蟲獲取。

爬蟲的本質(zhì)是什么？

模擬瀏覽器打開網(wǎng)頁，獲取網(wǎng)頁中我們想要的那部分數(shù)據(jù)

瀏覽器打開網(wǎng)頁的過程：

當你在瀏覽器中輸入地址后，經(jīng)過DNS服務(wù)器找到服務(wù)器主機，向服務(wù)器發(fā)送一個請求，服務(wù)器經(jīng)過解析后發(fā)送給用戶瀏覽器結(jié)果，包括html,js,css等文件內(nèi)容，瀏覽器解析出來最后呈現(xiàn)給用戶在瀏覽器上看到的結(jié)果

所以用戶看到的瀏覽器的結(jié)果就是由HTML代碼構(gòu)成的，我們爬蟲就是為了獲取這些內(nèi)容，通過分析和過濾html代碼，從中獲取我們想要資源。

知識點擴展：

Python具有強大而豐富的類庫，也經(jīng)常被別人說是膠水語言，可以跟其它語言寫的模塊結(jié)合在一起。

優(yōu)點

1.簡單：Python是一種代表簡單主義思想的語言。

2.易用：Python簡單容易上手，因為有簡單容易看懂的文檔。

3.速度快：運行速度快，因為Python中的標準庫和第三方庫都是C語言編寫的，所以很快。

4.免費、開源：Python是一款FLOSS(自由/源代碼軟件)之一，使用者可以自由地發(fā)布這個軟件的拷貝、閱讀它的源代碼、對它做改動、把它的一部分用于新的自由軟件中。

5.高層語言：用Python語言編寫程序的時候無需考慮諸如如何管理你的程序使用的內(nèi)存一類的底層細節(jié)。

6.可移植性：由于它的開源本質(zhì)，Python已經(jīng)被移植在許多平臺上(經(jīng)過改動使它能夠工作在不同平臺上)。

7.解釋性：Python語言寫的程序不需要編譯成二進制代碼。你可以直接從源代碼運行 程序。在計算機內(nèi)部，Python解釋器把源代碼轉(zhuǎn)換成稱為字節(jié)碼的中間形式，然后再把它翻譯成計算機使用的機器語言并運行。這使得使用Python更加簡單。也使得Python程序更加易于移植。

8.面向?qū)ο螅篜ython既支持面向過程的編程也支持面向?qū)ο蟮木幊獭Ｔ凇懊嫦蜻^程”的語言中，程序是由過程或僅僅是可重用代碼的函數(shù)構(gòu)建起來的。在“面向?qū)ο蟆钡恼Z言中，程序是由數(shù)據(jù)和功能組合而成的對象構(gòu)建起來的。

9.可擴展性：如果需要一段關(guān)鍵代碼運行得更快或者希望某些算法不公開，可以部分程序用C或C++編寫，然后在Python程序中使用它們。

10.可嵌入性：可以把Python嵌入C/C++程序，從而向程序用戶提供腳本功能。

11.豐富的庫：Python標準庫確實很龐大。它可以幫助處理各種工作，包括正則表達式、文檔生成、單元測試、線程、數(shù)據(jù)庫、網(wǎng)頁瀏覽器、CGI、FTP、電子郵件、XML、XML-RPC、HTML、WAV文件、密碼系統(tǒng)、GUI(圖形用戶界面)、Tk和其他與系統(tǒng)有關(guān)的操作。

12.規(guī)范的代碼：Python采用強制縮進的方式使得代碼具有較好可讀性。而Python語言寫的程序不需要編譯成二進制代碼。

以上就是學python爬蟲能做什么的詳細內(nèi)容，更多關(guān)于python爬蟲可以做什么的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論