對Python subprocess.Popen子進程管道阻塞詳解
更新時間：2018年10月29日 08:44:36 作者：獨一無二的小個性
今天小編就為大家分享一篇對Python subprocess.Popen子進程管道阻塞詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
問題產(chǎn)生描述
使用子進程處理一個大的日志文件，并對文件進行分析查詢，需要等待子進程執(zhí)行的輸出結(jié)果，進行下一步處理。
出問題的代碼
# 啟用子進程執(zhí)行外部shell命令
def __subprocess(self,cmd):
try:
# 執(zhí)行外部shell命令， 輸出結(jié)果輸出管道
p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
p.wait()
# 從標準輸出讀出shell命令的輸出結(jié)果
#rt = p.stdout.read().decode()
# 以換行符拆分數(shù)據(jù)，并去掉換行符號存入列表
rt_list = rt.strip().split('\n')
except Exception as e:
if(DEBUG):
print(traceback.format_exc())
return rt_list
問題分析
子進程產(chǎn)生一些數(shù)據(jù)，他們會被buffer起來，當buffer滿了，會寫到子進程的標準輸出和標準錯誤輸出，這些東西通過管道發(fā)送給父進程。當管道滿了之后，子進程就停止寫入，于是就卡住了，及時取走管道的輸出就不會出現(xiàn)阻塞了
但是本人此處采取的是臨時文件接收子進程輸出，由于臨時文件是建立在磁盤上的，沒有size的限制，并且文件被close后，相應(yīng)的磁盤上的空間也會被釋放掉。
已改進的代碼
import tempfile
# 啟用子進程執(zhí)行外部shell命令
def __subprocess(self,cmd):
try:
# 得到一個臨時文件對象， 調(diào)用close后，此文件從磁盤刪除
out_temp = tempfile.TemporaryFile(mode='w+')
# 獲取臨時文件的文件號
fileno = out_temp.fileno()
# 執(zhí)行外部shell命令， 輸出結(jié)果存入臨時文件中
p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno)
p.wait()
# 從臨時文件讀出shell命令的輸出結(jié)果
out_temp.seek(0)
rt = out_temp.read()
# 以換行符拆分數(shù)據(jù)，并去掉換行符號存入列表
rt_list = rt.strip().split('\n')
except Exception as e:
if(DEBUG):
print(traceback.format_exc())
finally:
if out_temp:
out_temp.close()
return rt_list
以上這篇對Python subprocess.Popen子進程管道阻塞詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
相關(guān)文章
matplotlib 范圍選區(qū)(SpanSelector)的使用
這篇文章主要介紹了matplotlib 范圍選區(qū)(SpanSelector)的使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-02-02
inux 下隱藏文件是以句號 “.” 開頭的文件，根據(jù)文件名即可判斷是否為隱藏文件。win 下是以文件隱藏屬性確定的，所以，只能通過微軟的 API 獲取隱藏屬性來判斷是否為隱藏文件2014-03-03
這篇文章主要介紹了Python生成數(shù)字圖片代碼分享，具有一定參考價值，需要的朋友可以了解下。2017-10-10
本文主要介紹了Python?timeit使用小結(jié),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-01-01
這篇文章主要介紹了pycharm進入科學模式以及退出方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
Lambda表達式在Python中經(jīng)常使用到，本文是給大家分享的小編總結(jié)出來的Lambda表達式的常用方法。2018-01-01
這篇文章主要介紹了Django url 路由匹配過程詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-01-01
這篇文章主要為大家介紹了Python高級特性之切片迭代列表生成式及生成器詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2021-10-10
在python中使用SQLAlchemy查詢PostgreSQL視圖的流程步驟
作為軟件開發(fā)人員,查詢 PostgreSQL 視圖是一項常見任務(wù),使用視圖（代表SQL 查詢輸出的虛擬表）被認為是處理關(guān)系數(shù)據(jù)庫時的有效方法,本文介紹如何在 Python 中使用 SQLAlchemy 查詢 PostgreSQL 視圖,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了如何在Python中對文件進行操作，文章圍繞主題展開內(nèi)容，即使用Python中內(nèi)置的open()函數(shù)來打開文件，返回文件對象，并對文件進行處理2022-08-08