Python3爬蟲中pyspider的安裝步驟
pyspider是國人binux編寫的強大的網(wǎng)絡爬蟲框架，它帶有強大的WebUI、腳本編輯器、任務監(jiān)控器、項目管理器以及結果處理器，同時支持多種數(shù)據(jù)庫后端、多種消息隊列，另外還支持JavaScript渲染頁面的爬取，使用起來非常方便，本節(jié)介紹一下它的安裝過程。
1. 相關鏈接
官方文檔：http://docs.pyspider.org/
PyPI：https://pypi.python.org/pypi/pyspider
GitHub：https://github.com/binux/pyspider
官方教程：http://docs.pyspider.org/en/latest/tutorial
2. 準備工作
pyspider是支持JavaScript渲染的，而這個過程是依賴于PhantomJS的，所以還需要安裝PhantomJS（具體的安裝過程詳見1.2.5節(jié)）。
3. pip安裝
這里推薦使用pip安裝，命令如下：
pip3 install pyspider
命令執(zhí)行完畢即可完成安裝。
4. 常見錯誤
Windows下可能會出現(xiàn)這樣的錯誤提示：
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl
這是PyCurl安裝錯誤，此時需要安裝PyCurl庫。從http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到對應的Python版本，然后下載相應的wheel文件即可。比如Windows 64位、Python 3.6，則需要下載pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl，隨后用pip安裝即可，命令如下：
pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl
如果在Linux下遇到PyCurl的錯誤，可以參考本文：http://www.fzitv.net/article/192094.htm。
5. 驗證安裝
安裝完成之后，可以直接在命令行下啟動pyspider：
pyspider all
此時控制臺會有類似如圖1-74所示的輸出。
這時pyspider的Web服務就會在本地5000端口運行。直接在瀏覽器中打開http://localhost:5000/，即可進入pyspider的WebUI管理頁面，如圖1-75所示，這證明pyspider已經(jīng)安裝成功了。
后面，我們會詳細介紹pyspider的用法。
到此這篇關于Python3爬蟲中pyspider的安裝步驟的文章就介紹到這了,更多相關Python3爬蟲pyspider的安裝內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Python如何進行時間處理，文中講解非常細致，代碼幫助大家更好的理解和學習，感興趣的朋友可以了解下2020-08-08
Python腳本開發(fā)中的命令行參數(shù)及傳參示例詳解
這篇文章主要為大家介紹了Python腳本開發(fā)中的命令行參數(shù)及傳參示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-07-07
Python編程利用科赫曲線實現(xiàn)三維飄雪效果示例過程
這篇文章主要介紹了Python編程實現(xiàn)三維飄雪效果示例過程，通過本示例你可以自己做出一個浪漫的雪花飄落效果，有需要的朋友可以借鑒參考下2021-10-10
python中redis查看剩余過期時間及用正則通配符批量刪除key的方法
這篇文章主要介紹了python中redis查看剩余過期時間及用正則通配符批量刪除key的方法,需要的朋友可以參考下2018-07-07
這篇文章主要介紹了Python中類的mro與繼承關系詳解，上一篇我們已經(jīng)通過mro相關資料介紹了mro繼承關系的基礎內容，這片緊接著上一篇文章展開詳細內容，需要的朋友可以參考一下2022-07-07
Python打包工具PyInstaller的安裝與pycharm配置支持PyInstaller詳細方法
這篇文章主要介紹了Python打包工具PyInstaller的安裝與pycharm配置支持PyInstaller詳細方法,需要的朋友可以參考下2020-02-02
Tensorflow安裝問題: Could not find a version that satisfies the
這篇文章主要介紹了Tensorflow安裝問題: Could not find a version that satisfies the requirement tensorflow，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-04-04
這篇文章主要介紹了python如何通過跳板機連接MySQL問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
基于OpenCV python3實現(xiàn)證件照換背景的方法
這篇文章主要介紹了基于OpenCV python3實現(xiàn)證件照換背景的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-03-03
Python實現(xiàn)Kerberos用戶的增刪改查操作
這篇文章主要介紹了Python實現(xiàn)Kerberos用戶的增刪改查操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12