Python利用yield?form實現(xiàn)異步協(xié)程爬蟲

更新時間：2022年11月14日 16:21:17 作者：紅后

這篇文章主要為大家詳細介紹了Python如何利用yield?form實現(xiàn)異步協(xié)程爬蟲。其實這是很古老的用法了，現(xiàn)在大多用的aiohttp庫實現(xiàn)，這篇記錄僅僅用做個人的協(xié)程底層實現(xiàn)的學習，希望對大家有所幫助

1.什么是yield

如果還沒有怎么用過的話，直接把yield看做成一種特殊的return（PS：本質 generator（生成器））
return是返回一個值然后就終斷函數(shù)了，而yield返回的是一個生成器（PS：不知道的直接看作特殊列表，看下面的代碼案例）

# -*- coding: utf-8 -*-
# @Time    : 2022/11/10 16:17
# @Author  : 紅后
# @Email   : not_enabled@163.com
# @blog    : https://www.cnblogs.com/Red-Sun
# @File    : 實例1.py
# @Software: PyCharm

def main():
    '''
    遍歷0到4，這五個數(shù),并分別打印
    '''
    for num in range(5):
        yield num

if __name__ == '__main__':
    for num in main():
        print(num)
    print('-'*50)
    for num in [0, 1, 2, 3, 4]:
        print(num)

將它看作列表用for循環(huán)遍歷，就能取出其中的值。

2.yield于列表的區(qū)別

它與原來列表的區(qū)別就在于，自帶的列表是固定的，而把yield看作列表的話是動態(tài)的。

具體案例描述請看代碼及備注（PS：個人自己描述的，有不對的地方望各位指點）

# -*- coding: utf-8 -*-
# @Time    : 2022/11/14 13:24
# @Author  : 紅后
# @Email   : not_enabled@163.com
# @blog    : https://www.cnblogs.com/Red-Sun
# @File    : 實例2.py
# @Software: PyCharm

def main():
    '''
    將yield看作一個動態(tài)列表，從yield左往右為傳出數(shù)據(jù)，從又往左為傳入數(shù)據(jù)。
    PS：有yield存在的那一行，需要從左往右傳出數(shù)據(jù)跑一遍，數(shù)據(jù)出去以后又要從又往左帶接收的數(shù)據(jù)跑一遍，一共一行跑兩邊（僅作者個人記憶方法）
    '''
    num1 = yield
    num2 = yield
    print(num1, num2)
    yield num1 + num2
if __name__ == '__main__':
    a = main()
    # 第一個next對應第一個yield的右邊為空即None，所以動態(tài)列表中加入一個參數(shù)為None，返回值為列表的-1位是None
    print(next(a))  # [None]
    # 第二個通過send方法傳入一個數(shù)1，即在上一次停止的地方從右往左傳入?yún)?shù)，所以給num1賦值為1.然后繼續(xù)找下一個yield，其右邊的值依舊為None，加入動態(tài)列表，此時返回值-1位依舊是None
    print(a.send(1))  # [None, None]
    # 第三通過send方法傳入一個數(shù)2，即在上一次停止的地方從右往左傳入?yún)?shù)，所以給num2賦值為2.然后繼續(xù)找下一個yield，其右邊的值為num1 + num2，此時num1為1，num2為2，計算得返回值-1位為3
    print(a.send(2))  # [None, None, num1 + num2]

3.yield from 實現(xiàn)協(xié)程

yield from 后面需要加可迭代對象

當它后面加上生成器（上述所說的yield這種）便可以實現(xiàn)生成的嵌套

老板（主程序）：調用委派生成器
包工頭（委派生成器）：包含yield from表達式的生成器
打工仔（子生成器）：生成器函數(shù)

其中委派生成器的作用：在主程序與子生成器之間建立一個雙向通道。

所謂雙向通道是指，主程序可以將參數(shù)通過send傳遞給子生成器，子生成器的yield的值也可以直接返回給主函數(shù)。（PS：委派生成器只有創(chuàng)建通道的作用，沒有攔截數(shù)據(jù)這種功能）

也許有人會想直接用主程序調用子生成器不就行了，而對這的解釋是，使用yield from作為中間過渡是為了讓它幫我們進行異常處理（PS：類似寫程序為了正常運行加上try一個道理）

# -*- coding: utf-8 -*-
# @Time    : 2022/11/10 15:13
# @Author  : 紅后
# @Email   : not_enabled@163.com
# @blog    : https://www.cnblogs.com/Red-Sun
# @File    : coroutines.py
# @Software: PyCharm

import requests


def coroutines_spider():
    '''
    子生成器（PS: 打工仔，真正干活的）
    '''
    response = None  # 首次激活返回None，后期網(wǎng)頁響應覆蓋
    while True:
        url = yield response
        response = requests.get(url)


def appoint():
    '''
    委派生成器,委托子生成器完成具體任務 (PS: 類似包工頭負責勞務派遣)
    '''
    while True:
        yield from coroutines_spider()  # 建立子生成器和主函數(shù)的雙通道


def main(url_list: list):
    '''
    主函數(shù)（PS: 相當于老板，張貼招人啟示）
    '''
    ul = appoint()  # 創(chuàng)建委派生成器
    next(ul)  # 激活它
    for url in url_list:
        response = ul.send(url)  # 將url作為參數(shù)傳遞進入子生成器中，返回子生成器yield出來的response
        print(response.url, response.status_code)  # 打印出response中的鏈接和狀態(tài)碼


if __name__ == '__main__':
    url_list = ['https://www.baidu.com/', 'https://www.4399.com/', 'https://cn.bing.com/', ]
    main(url_list=url_list)