詳談python http長(zhǎng)連接客戶端

更新時(shí)間：2017年06月12日 08:30:39 投稿：jingxian

下面小編就為大家?guī)硪黄斦刾ython http長(zhǎng)連接客戶端。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧

背景：

線上機(jī)器，需要過濾access日志，發(fā)送給另外一個(gè)api

期初是單進(jìn)程，效率太低，改為多進(jìn)程發(fā)送后，查看日志中偶爾會(huì)出現(xiàn)異常錯(cuò)誤（忘記截圖了。。。）

總之就是端口不夠用了報(bào)錯(cuò)

原因：

每一條日志都是一次請(qǐng)求發(fā)送給api，短連接產(chǎn)生大量time_wait狀態(tài)，占用了大量端口

這種高并發(fā)導(dǎo)致的大量time_wait狀態(tài)內(nèi)核調(diào)優(yōu)基本是沒用的，后來改為長(zhǎng)連接解決問題

第一版短連接版本關(guān)鍵代碼如下

因涉及具體業(yè)務(wù)信息，只貼出了關(guān)鍵部分代碼

import pycurl
where True:
 url=myqueue.get()
 send_msg=pycurl.Curl()
 send_msg.setopt(pycurl.URL,url)
 send_msg.perform()
 print send_msg.getinfo(send_msg.HTTP_CODE)

修改后長(zhǎng)連接版本如下：

采用requests庫(kù)

import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
 url=myqueue.get()
 r=client.get(url,headers=headers)
 print r.status_code

以上這篇詳談python http長(zhǎng)連接客戶端就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python神經(jīng)網(wǎng)絡(luò)AlexNet分類模型訓(xùn)練貓狗數(shù)據(jù)集
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)AlexNet分類模型訓(xùn)練貓狗數(shù)據(jù)集，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-05-05
Pytorch: 自定義網(wǎng)絡(luò)層實(shí)例
今天小編就為大家分享一篇Pytorch: 自定義網(wǎng)絡(luò)層實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
Python中property屬性的用處詳解
這篇文章主要給大家介紹了關(guān)于Python中property屬性的相關(guān)資料,需簡(jiǎn)單地說就是一個(gè)類里面的方法一旦被@property裝飾,就可以像調(diào)用屬性一樣地去調(diào)用這個(gè)方法,它能夠簡(jiǎn)化調(diào)用者獲取數(shù)據(jù)的流程,而且不用擔(dān)心將屬性暴露出來,有人對(duì)其進(jìn)行賦值操作,下面要的朋友可以參考下
2022-04-04
python使用for...else跳出雙層嵌套循環(huán)的方法實(shí)例
這篇文章主要給大家介紹了關(guān)于python使用for...else跳出雙層嵌套循環(huán)的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
2020-05-05
Python networkx中獲取圖的鄰接矩陣方式
這篇文章主要介紹了Python networkx中獲取圖的鄰接矩陣方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-12-12
python中print的不換行即時(shí)輸出的快速解決方法
下面小編就為大家?guī)硪黄猵ython中print的不換行即時(shí)輸出的快速解決方法。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考
2016-07-07
深入了解和應(yīng)用Python 裝飾器 @decorator
在編程過程中，經(jīng)常遇到這樣的場(chǎng)景：登錄校驗(yàn)，權(quán)限校驗(yàn)，日志記錄等，這些功能代碼在各個(gè)環(huán)節(jié)都可能需要，但又十分雷同，通過裝飾器來抽象、剝離這部分代碼可以很好解決這類場(chǎng)景，這篇文章主要介紹了Python的裝飾器 @decorator，探討了使用的方式，需要的朋友可以參考下
2019-04-04
python列表list保留順序去重的實(shí)例
今天小編就為大家分享一篇python列表list保留順序去重的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
Python安裝Flask環(huán)境及簡(jiǎn)單應(yīng)用示例
這篇文章主要介紹了Python安裝Flask環(huán)境及簡(jiǎn)單應(yīng)用,結(jié)合實(shí)例形式分析了Flask框架的安裝、以及路由、重定向、cookie等相關(guān)操作實(shí)現(xiàn)方法,需要的朋友可以參考下
2019-05-05
Django跨域請(qǐng)求無法傳遞Cookie的解決
這篇文章主要介紹了Django跨域請(qǐng)求無法傳遞Cookie的解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2021-04-04