python中安裝Scrapy模塊依賴包匯總
更新時(shí)間：2017年07月02日 10:20:25 作者：lon.y@qq.com
Scrapy的安裝有一些依賴包,沒(méi)有這些包是會(huì)安裝失敗的，下面我們就來(lái)詳細(xì)探討下
本地虛擬環(huán)境開(kāi)發(fā)完成之后，上線過(guò)程中需要一一安裝依賴包，做個(gè)記錄如下：
CentOS 安裝python3.5.3
wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz tar -xf Python-3.5.3.tgz cd Python-3.5.3 ./configure --prefix=/usr/local/python353 make & make install
完成安裝python3.5.3，在不刪除系統(tǒng)自帶的python2.x情況下，做幾個(gè)軟鏈：
#做python3軟鏈 ln -s /usr/local/python353/bin/python3 /usr/local/bin/ #pip3軟鏈 ln -s /usr/local/python353/bin/pip3 /usr/local/bin/
上傳程序，安裝scrapy及其依賴包：
#user agent包 pip3 install fake-useragent -i https://pypi.douban.com/simple/ #pymysql包 pip3 install pymysql -i https://pypi.douban.com/simple/ #PooledDB依賴包 pip3 install DBUtils -i https://pypi.douban.com/simple/ #PIL模塊依賴包 pip3 install Image -i https://pypi.douban.com/simple/
在Centos系統(tǒng)中安裝過(guò)程中，出現(xiàn)一個(gè)較為淡疼的問(wèn)題：系統(tǒng)沒(méi)有安裝sqlite3，故此一直提示：
解決上面問(wèn)題，下載sqlite3
sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz
編譯安裝：
tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300 ./configure --prefix=/usr/local/sqlite3 make && make install
重新編譯Python，找到Python3.5.3的安裝文件路徑，編輯setup.py腳本，找到 “sqlite3”
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', ]
在最后一行加入sqlite3編譯安裝路徑，如下：
sqlite_inc_paths = [ '/usr/include', '/usr/include/sqlite', '/usr/include/sqlite3', '/usr/local/include', '/usr/local/include/sqlite', '/usr/local/include/sqlite3', '/usr/local/sqlite3', ]
重新編譯Python3.5.3:
./configure --prefix=/usr/local/python353 make && make install
您可能感興趣的文章:
- 在python3.9下如何安裝scrapy的方法
- Python3環(huán)境安裝Scrapy爬蟲(chóng)框架過(guò)程及常見(jiàn)錯(cuò)誤
- 圖文詳解python安裝Scrapy框架步驟
- 詳解Python網(wǎng)絡(luò)框架Django和Scrapy安裝指南
- 詳解Python安裝scrapy的正確姿勢(shì)
- mac下給python3安裝requests庫(kù)和scrapy庫(kù)的實(shí)例
- Python之Scrapy爬蟲(chóng)框架安裝及簡(jiǎn)單使用詳解
- Python2.7下安裝Scrapy框架步驟教程
- Python3安裝Scrapy的方法步驟
- python安裝Scrapy圖文教程
- windows10系統(tǒng)中安裝python3.x+scrapy教程
- 在Linux系統(tǒng)上安裝Python的Scrapy框架的教程
- Python安裝Scrapy庫(kù)的常見(jiàn)報(bào)錯(cuò)解決
相關(guān)文章
圖文詳解在Anaconda安裝Pytorch的詳細(xì)步驟
Anaconda指的是一個(gè)開(kāi)源的Python發(fā)行版本,其包含了conda、Python等180多個(gè)科學(xué)包及其依賴項(xiàng),下面這篇文章主要給大家介紹了關(guān)于在Anaconda安裝Pytorch的詳細(xì)步驟,需要的朋友可以參考下2022-07-07
Python 多進(jìn)程原理及實(shí)現(xiàn)
這篇文章主要介紹了Python 多進(jìn)程原理及實(shí)現(xiàn)，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-12-12
這篇文章主要為大家詳細(xì)介紹了python程序封裝為win32服務(wù)的方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-11-11
使用Python和NLTK進(jìn)行文本預(yù)處理示例詳解
文將介紹如何使用Python編程語(yǔ)言和NLTK（Natural Language Toolkit）庫(kù)進(jìn)行文本預(yù)處理,為后續(xù)的文本分析和機(jī)器學(xué)習(xí)任務(wù)做準(zhǔn)備,文中有詳細(xì)的代碼示例供大家參考,需要的朋友可以參考下2024-03-03
pandas 按日期范圍篩選數(shù)據(jù)的實(shí)現(xiàn)
這篇文章主要介紹了pandas 按日期范圍篩選數(shù)據(jù)的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
下面小編就為大家分享一篇Python 在字符串中加入變量的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
Python自動(dòng)化構(gòu)建工具scons使用入門(mén)筆記
這篇文章主要介紹了Python自動(dòng)化構(gòu)建工具scons使用入門(mén)筆記,本文講解了安裝scons、scons常用命令、scons使用示例等內(nèi)容,需要的朋友可以參考下2015-03-03
python實(shí)現(xiàn)在控制臺(tái)輸入密碼不顯示的方法
這篇文章主要介紹了python實(shí)現(xiàn)在控制臺(tái)輸入密碼不顯示的方法,實(shí)例分析了Python基于console模塊實(shí)現(xiàn)密碼顯示星號(hào)輸入的技巧,需要的朋友可以參考下2015-07-07
Python 讀取用戶指令和格式化打印實(shí)現(xiàn)解析
這篇文章主要介紹了Python 讀取用戶指令和格式化打印實(shí)現(xiàn)解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
Python辦公自動(dòng)化之文件的比較合并與xml操作
這篇文章主要為大家詳細(xì)介紹了Python辦公自動(dòng)化之文件的比較合并與xml文件操作的相關(guān)知識(shí),文中的示例代碼講解詳細(xì),需要的可以參考一下2023-12-12