python aiohttp創(chuàng)建很多線程的問題及解決
python aiohttp創(chuàng)建很多線程
最近使用 python aiohttp 進(jìn)行異步的發(fā)送請(qǐng)求，在命令行中 用py-spy 來監(jiān)控了一下 發(fā)現(xiàn) 運(yùn)行python程序 創(chuàng)建了 125 線程，嚇了我一跳。
解決
Google了很久 找到解決方法了。
原因
每次發(fā)送請(qǐng)求時(shí) aiohttp.ClientSession 查詢dns 。這個(gè)查詢dns是阻塞的，所以它每次查詢dns時(shí)開啟一個(gè)線程的。
所以我在代碼里 給它指定了 dns查詢對(duì)象 起作用了。
from aiohttp.resolver import AsyncResolver resolver = AsyncResolver() tcp_conn = aiohttp.TCPConnector(resolver=resolver) async with aiohttp.ClientSession(connector=tcp_conn) as session: await process_spider(spider, session)
運(yùn)行程序時(shí) 有可能提示 需要aiodns. 安裝即可: pip install aiodns .
python aiohttp模塊使用
asyncio可以實(shí)現(xiàn)單線程并發(fā)IO操作。如果僅用在客戶端，發(fā)揮的威力不大。
如果把asyncio用在服務(wù)器端，例如Web服務(wù)器，由于HTTP連接就是IO操作，因此可以用單線程+coroutine實(shí)現(xiàn)多用戶的高并發(fā)支持。
asyncio實(shí)現(xiàn)了TCP、UDP、SSL等協(xié)議，aiohttp則是基于asyncio實(shí)現(xiàn)的HTTP框架。
我們先安裝aiohttp：
pip install aiohttp
然后編寫一個(gè)HTTP服務(wù)器，分別處理以下URL：
/- 首頁返回b'<h1>Index</h1>'；/hello/{name}- 根據(jù)URL參數(shù)返回文本hello, %s!。
代碼如下：
import asyncio
from aiohttp import web
async def index(request):
await asyncio.sleep(0.5)
return web.Response(body=b'<h1>Index</h1>')
async def hello(request):
await asyncio.sleep(0.5)
text = '<h1>hello, %s!</h1>' % request.match_info['name']
return web.Response(body=text.encode('utf-8'))
async def init(loop):
app = web.Application(loop=loop)
app.router.add_route('GET', '/', index)
app.router.add_route('GET', '/hello/{name}', hello)
srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
print('Server started at http://127.0.0.1:8000...')
return srv
loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()注意aiohttp的初始化函數(shù)init()也是一個(gè)coroutine，loop.create_server()則利用asyncio創(chuàng)建TCP服務(wù)。
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)隨機(jī)生成有效手機(jī)號(hào)碼及身份證功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)隨機(jī)生成有效手機(jī)號(hào)碼及身份證功能,結(jié)合完整實(shí)例形式分析了Python基于手機(jī)號(hào)與身份證算法實(shí)現(xiàn)隨機(jī)手機(jī)號(hào)及身份證的生成功能,涉及Python日期、隨機(jī)數(shù)、文件讀取等相關(guān)操作技巧,需要的朋友可以參考下2017-06-06
Python pickle模塊進(jìn)行序列化的實(shí)現(xiàn)示例
pickle模塊是一個(gè)用于實(shí)現(xiàn)數(shù)據(jù)序列化與反序列化的強(qiáng)大工具,本文就來介紹一下Python pickle模塊進(jìn)行序列化的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2025-01-01
這篇文章主要介紹了基于Python獲取照片的GPS位置信息,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-01-01
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)注冊登錄功能，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-02-02
關(guān)于numpy中矩陣的翻轉(zhuǎn)(flip)
這篇文章主要介紹了關(guān)于numpy中矩陣的翻轉(zhuǎn)(flip)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-06-06
appium+python自動(dòng)化配置(adk、jdk、node.js)
這篇文章主要介紹了appium+python自動(dòng)化配置(adk、jdk、node.js)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
本文詳細(xì)介紹了如何使用Python實(shí)現(xiàn)兩組數(shù)據(jù)的縱向排序,包括開發(fā)思想、開發(fā)流程和代碼示例,感興趣的朋友一起看看吧2024-12-12
python計(jì)算機(jī)視覺OpenCV庫實(shí)現(xiàn)實(shí)時(shí)攝像頭人臉檢測示例
這篇文章主要為大家介紹了python使用OpenCV實(shí)現(xiàn)實(shí)時(shí)攝像頭人臉檢測的示例過程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-10-10
這篇文章主要介紹了Python 發(fā)送郵件的幾種方法，幫助大家更好的理解和學(xué)習(xí)Python，感興趣的朋友可以了解下2020-08-08
PyCharm使用Docker鏡像搭建Python開發(fā)環(huán)境
這篇文章主要介紹了PyCharm使用Docker鏡像搭建Python開發(fā)環(huán)境，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12