Python錯(cuò)誤提示：[Errno 24] Too many open files的分析與解決
背景
最近在工作中發(fā)現(xiàn)了一個(gè)錯(cuò)誤，在執(zhí)行多線程掃描腳本的時(shí)候頻繁出現(xiàn)下面這個(gè)錯(cuò)誤
HTTPConnectionPool(host=‘t.tips', port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f29d4081150>: Failed to establish a new connection: [Errno 24] Too many open files',))
比較詭異...
分析
博主自己手上的一些小項(xiàng)目經(jīng)常需要進(jìn)行多線程的批量掃描來采集數(shù)據(jù)，像采集數(shù)據(jù)這種功能當(dāng)然是線程越多越好了，所以通常情況下我都是使用 3000 個(gè)線程進(jìn)行掃描，在確定帶寬充足，系統(tǒng)硬件配置夠高的情況下依然會(huì)出現(xiàn)上述問題，這就讓我想到是不是因?yàn)橄到y(tǒng)的限制問題。
通過搜索引擎我找到了關(guān)于系統(tǒng)限制的介紹，執(zhí)行
$ ulimit -n 1024
得到的結(jié)果是1024，系統(tǒng)限制為同時(shí)打開1024個(gè)文件，這顯然是太少了。
解決
這個(gè)問題的解決方法很簡(jiǎn)單，直接修改下面的文件
sudo vim /etc/security/limits.conf
最這個(gè)文件的最后添加兩行代碼
* soft nofile 10240 * hard nofile 10240
當(dāng)然這個(gè)數(shù)字根據(jù)自己的需要進(jìn)行修改即可，保存后注銷重新登錄就好了。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。
相關(guān)文章
keras:model.compile損失函數(shù)的用法
這篇文章主要介紹了keras:model.compile損失函數(shù)的用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-07-07
Windows自動(dòng)執(zhí)行python腳本操作步驟
我們想在Windows中運(yùn)行一個(gè)Python腳本，我們可以通過CMD，首先進(jìn)入python文件所在的目錄，之后運(yùn)行。但是這樣很麻煩，跟著本文操作就可以解決啦2021-09-09
python 實(shí)現(xiàn)返回一個(gè)列表中出現(xiàn)次數(shù)最多的元素方法
今天小編就為大家分享一篇python 實(shí)現(xiàn)返回一個(gè)列表中出現(xiàn)次數(shù)最多的元素方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-06-06
這篇文章主要介紹了Python二元算術(shù)運(yùn)算常用方法解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09
在Python中，如何獲取"?3年前的今天"的datetime對(duì)象，本文通過實(shí)例代碼給大家詳細(xì)講解，代碼簡(jiǎn)單易懂對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2023-01-01
Python3 多線程(連接池)操作MySQL插入數(shù)據(jù)
本文將結(jié)合實(shí)例代碼，介紹Python3 多線程(連接池)操作MySQL插入數(shù)據(jù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-06-06
迭代器工具在產(chǎn)生數(shù)據(jù)的時(shí)候?qū)?huì)顯得非常便捷、高效，掌握了這些基本的方法之后，通過簡(jiǎn)單的組合就可以獲得更多迭代器工具。2016-05-05
Python+OpenCV圖像處理——實(shí)現(xiàn)直線檢測(cè)
這篇文章主要介紹了Python+OpenCV如何實(shí)現(xiàn)直線檢測(cè)，幫助大家更好的利用python處理圖片，感興趣的朋友可以了解下2020-10-10
python shell根據(jù)ip獲取主機(jī)名代碼示例
這篇文章主要介紹了python shell根據(jù)ip獲取主機(jī)名代碼示例，涉及用socket模塊和shell中hostname命令獲取等相關(guān)內(nèi)容，具有一定參考價(jià)值，需要的朋友可以了解下。2017-11-11
這篇文章主要介紹了Python之reload流程實(shí)例代碼解析，分享了相關(guān)代碼示例，小編覺得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-01-01