# 導(dǎo)入requests庫(kù)，用于發(fā)送網(wǎng)頁(yè)請(qǐng)求
import requests
# 導(dǎo)入BeautifulSoup庫(kù)，用于解析網(wǎng)頁(yè)內(nèi)容
from bs4 import BeautifulSoup
# 導(dǎo)入pandas庫(kù)，用于存儲(chǔ)和處理數(shù)據(jù)
import pandas as pd
# 導(dǎo)入asyncio庫(kù)，用于實(shí)現(xiàn)異步爬蟲
import asyncio
# 導(dǎo)入aiohttp庫(kù)，用于發(fā)送異步請(qǐng)求
import aiohttp
# 導(dǎo)入async_timeout庫(kù)，用于設(shè)置超時(shí)時(shí)間
import async_timeout
# 導(dǎo)入random庫(kù)，用于生成隨機(jī)數(shù)
import random

# 億牛云
# 爬蟲代理信息 代理服務(wù)器
proxyHost = "www.16yun.cn"
proxyPort = "3111"
# 代理驗(yàn)證信息
proxyUser = "16YUN"
proxyPass = "16IP"

# 目標(biāo)網(wǎng)站的URL
url = "https://www.bing.com/search"
# 目標(biāo)網(wǎng)站的參數(shù)
# q: 搜索關(guān)鍵詞
# first: 搜索結(jié)果的起始位置
params = {
    "q": "python web scraping",
    "first": 1
}

# 定義爬蟲函數(shù)
def spider(url, params):
    # 定義數(shù)據(jù)列表
    data = []
    # 定義代理信息
    proxyMeta = f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
    # 定義代理字典
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,
    }
    # 發(fā)送帶有代理信息和參數(shù)的請(qǐng)求，獲取網(wǎng)頁(yè)響應(yīng)
    response = requests.get(url, proxies=proxies, params=params)
    # 判斷響應(yīng)狀態(tài)碼是否為200，表示成功
    if response.status_code == 200:
        # 解析網(wǎng)頁(yè)響應(yīng)的內(nèi)容，得到一個(gè)BeautifulSoup對(duì)象
        soup = BeautifulSoup(response.text, "html.parser")
        # 找到所有包含搜索結(jié)果的div標(biāo)簽，得到一個(gè)列表
        results = soup.find_all("div", class_="b_algo")
        # 遍歷列表中的每個(gè)div標(biāo)簽
        for result in results:
            # 定義一個(gè)字典，用于存儲(chǔ)每個(gè)搜索結(jié)果的信息
            item = {}
            # 找到包含標(biāo)題的h2標(biāo)簽，并提取出它的文本，作為標(biāo)題
            title = result.find("h2").text
            # 找到包含鏈接的a標(biāo)簽，并提取出它的href屬性值，作為鏈接
            link = result.find("a")["href"]
            # 找到包含摘要的p標(biāo)簽，并提取出它的文本，作為摘要
            summary = result.find("p").text
            # 將標(biāo)題、鏈接、摘要存儲(chǔ)在字典中
            item["title"] = title
            item["link"] = link
            item["summary"] = summary
            # 將字典添加到數(shù)據(jù)列表中
            data.append(item)
    # 返回?cái)?shù)據(jù)列表
    return data

# 定義異步函數(shù)
# 定義fetch函數(shù)，用于發(fā)送異步請(qǐng)求，并返回網(wǎng)頁(yè)響應(yīng)內(nèi)容
async def fetch(session, url, params):
    # 定義代理信息
    proxyMeta = f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
    # 定義代理字典
    proxies = {
        "http": proxyMeta,
        "https": proxyMeta,
    }
    # 設(shè)置超時(shí)時(shí)間為10秒
    with async_timeout.timeout(10):
        # 使用session對(duì)象的get方法，發(fā)送帶有代理信息和參數(shù)的異步請(qǐng)求，并獲取響應(yīng)對(duì)象
        response = await session.get(url, proxies=proxies, params)
    # 判斷響應(yīng)狀態(tài)碼是否為200，表示成功
    if response.status_code == 200:
        # 返回響應(yīng)對(duì)象的內(nèi)容
        return await response.text()
    else:
        # 返回空值
        return None

async def parse(response):
# 定義數(shù)據(jù)列表
data = []
# 判斷響應(yīng)內(nèi)容是否為空
if response:
    # 解析響應(yīng)內(nèi)容，得到一個(gè)BeautifulSoup對(duì)象
    soup = BeautifulSoup(response, "html.parser")
    # 找到所有包含搜索結(jié)果的div標(biāo)簽，得到一個(gè)列表
    results = soup.find_all("div", class_="b_algo")
    # 遍歷列表中的每個(gè)div標(biāo)簽
    for result in results:
        # 定義一個(gè)字典，用于存儲(chǔ)每個(gè)搜索結(jié)果的信息
        item = {}
        # 找到包含標(biāo)題的h2標(biāo)簽，并提取出它的文本，作為標(biāo)題
        title = result.find("h2").text
        # 找到包含鏈接的a標(biāo)簽，并提取出它的href屬性值，作為鏈接
        link = result.find("a")["href"]
        # 找到包含摘要的p標(biāo)簽，并提取出它的文本，作為摘要
        summary = result.find("p").text
        # 將標(biāo)題、鏈接、摘要存儲(chǔ)在字典中
        item["title"] = title
        item["link"] = link
        item["summary"] = summary
        # 將字典添加到數(shù)據(jù)列表中
        data.append(item)
# 返回?cái)?shù)據(jù)列表
return data

async def main(url, params):
# 定義最終結(jié)果列表
result = []
# 創(chuàng)建一個(gè)異步會(huì)話對(duì)象
async with aiohttp.ClientSession() as session:
    # 創(chuàng)建一個(gè)空的任務(wù)列表
    tasks = []
    # 定義要爬取的網(wǎng)頁(yè)數(shù)量
    pages = 10
    # 遍歷每個(gè)網(wǎng)頁(yè)
    for page in range(pages):
        # 計(jì)算每個(gè)網(wǎng)頁(yè)的起始位置
        params["first"] = page * 10 + 1
        # 創(chuàng)建一個(gè)fetch任務(wù)，并添加到任務(wù)列表中
        task = asyncio.create_task(fetch(session, url, params))
        tasks.append(task)
    # 等待所有任務(wù)完成，并獲取返回值列表
    responses = await asyncio.gather(*tasks)
    # 遍歷每個(gè)響應(yīng)內(nèi)容
    for response in responses:
        # 創(chuàng)建一個(gè)parse任務(wù)，并添加到任務(wù)列表中
        task = asyncio.create_task(parse(response))
        tasks.append(task)
    # 等待所有任務(wù)完成，并獲取返回值列表
    datas = await asyncio.gather(*tasks)
    # 遍歷每個(gè)數(shù)據(jù)列表
    for data in datas:
        # 將數(shù)據(jù)列表合并到最終結(jié)果列表中
        result.extend(data)
# 返回最終結(jié)果列表
return result

# 運(yùn)行異步函數(shù)并獲取結(jié)果
# 使用asyncio庫(kù)的run方法，運(yùn)行main函數(shù)，并獲取最終結(jié)果列表
result = asyncio.run(main(url, params))
# 使用pandas庫(kù)的DataFrame方法，將結(jié)果列表轉(zhuǎn)換為一個(gè)數(shù)據(jù)框
df = pd.DataFrame(result)
# 使用pandas庫(kù)的to_csv方法，將數(shù)據(jù)框保存為一個(gè)csv文件，命名為"bing_data.csv"
df.to_csv("bing_data.csv", index=False)

# 分析結(jié)果并進(jìn)行搜索引擎優(yōu)化
# 使用pandas庫(kù)的read_csv方法，讀取保存好的csv文件，得到一個(gè)數(shù)據(jù)框
df = pd.read_csv("bing_data.csv")
# 使用pandas庫(kù)的head方法，查看數(shù)據(jù)框的前5行
df.head()
# 輸出結(jié)果如下：
# title	link	summary
# 0	Web scraping - Wikipedia	https://en.wikipedia.org/wiki/Web_scraping	Web scraping, web harvesting, or web data extraction is data scraping used for extracting data from websites. Web scraping software may access the World Wide ...
# 1	Web Scraping with Python: Collecting More Data from the ...	https://www.amazon.com/Web-Scraping-Python-Collecting-Modern/dp/1491985577	Web Scraping with Python: Collecting More Data from the Modern Web [Mitchell, Ryan] on Amazon.com. *FREE* shipping on qualifying offers. Web Scraping ...
# 2	Python Web Scraping Tutorial using BeautifulSoup - DataCamp	https://www.datacamp.com/community/tutorials/web-scraping-using-python	In this tutorial, you'll learn how to perform web scraping with Python and BeautifulSoup. The tutorial covers the basics of web scraping along with the tips and ...
# 3	Web Scraping in Python using Beautiful Soup (with Project)	https://www.analyticsvidhya.com/blog/2015/10/beginner-guide-web-scraping-beautiful-soup-python/	Oct 13, 2015 — Web Scraping in Python using Beautiful Soup (with Project). Learn how to perform web scraping in Python using the popular BeautifulSoup ...
# 4	Python Web Scraping - GeeksforGeeks	https://www.geeksforgeeks.org/python-web-scraping/	Python Web Scraping · Web scraping is an automatic process of extracting information from web. · This chapter will give you an in-depth idea of web scraping, ...
# 使用pandas庫(kù)的shape屬性，查看數(shù)據(jù)框的行數(shù)和列數(shù)
df.shape
# 輸出結(jié)果如下：
# (100, 3)
# 使用pandas庫(kù)的describe方法，查看數(shù)據(jù)框的基本統(tǒng)計(jì)信息
df.describe()
# 輸出結(jié)果如下：
# title	link	summary
# count	100	100	100
# unique	100	100	99
# top	Python Web Scraping Tutorial (with Examples) | HackerEarth Blog	https://hackerearth.com/blog/developers/python-web-scraping-tutorial/	Learn how to scrape data from any static or dynamic / AJAX web page using Java in a short and concise way.
# freq	1	1	2

# 查看標(biāo)題字段的值出現(xiàn)的頻次
df["title"].value_counts()
# 查看鏈接字段的值出現(xiàn)的頻次
df["link"].value_counts()
# 查看摘要字段的值出現(xiàn)的頻次
df["summary"].value_counts()
# 篩選出包含"tutorial"的數(shù)據(jù)
df[df["title"].str.contains("tutorial") | df["summary"].str.contains("tutorial")]