快捷導(dǎo)航

Python中Scrapy+adbapi提高數(shù)據(jù)庫寫入效率實(shí)現(xiàn)

更新時(shí)間：2021年10月20日 15:39:53 作者：許進(jìn)進(jìn)

本文主要介紹了Python中Scrapy+adbapi提高數(shù)據(jù)庫寫入效率實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

一：twisted中的adbapi

數(shù)據(jù)庫pymysql的commit()和execute()在提交數(shù)據(jù)時(shí)，都是同步提交至數(shù)據(jù)庫，由于scrapy框架數(shù)據(jù)的解析和異步多線程的，所以scrapy的數(shù)據(jù)解析速度，要遠(yuǎn)高于數(shù)據(jù)的寫入數(shù)據(jù)庫的速度。如果數(shù)據(jù)寫入過慢，會(huì)造成數(shù)據(jù)庫寫入的阻塞，影響數(shù)據(jù)庫寫入的效率。
使用twisted異步IO框架，實(shí)現(xiàn)數(shù)據(jù)的異步寫入，通過多線程異步的形式對(duì)數(shù)據(jù)進(jìn)行寫入，可以提高數(shù)據(jù)的寫入速度。

1.1 兩個(gè)主要方法

adbapi.ConnectionPool：

創(chuàng)建一個(gè)數(shù)據(jù)庫連接池對(duì)象，其中包括多個(gè)連接對(duì)象，每個(gè)連接對(duì)象在獨(dú)立的線程中工作。adbapi只是提供了異步訪問數(shù)據(jù)庫的編程框架，再其內(nèi)部依然使MySQLdb這樣的庫訪問數(shù)據(jù)庫。

dbpool.runInteraction(do_insert,item)：

異步調(diào)用do_insert函數(shù)，dbpool會(huì)選擇連接池中的一個(gè)連接對(duì)象在獨(dú)立線程中調(diào)用insert_db，其中參數(shù)item會(huì)被傳給do_insert的第二個(gè)參數(shù)，傳給do_insert的第一個(gè)參數(shù)是一個(gè)Transaction對(duì)象，其接口與Cursor對(duì)象類似，可以調(diào)用execute方法執(zhí)行SQL語句，do_insert執(zhí)行后，連接對(duì)象會(huì)自動(dòng)調(diào)用commit方法

1.2 使用實(shí)例

from twisted.enterprise import adbapi

# 初始化數(shù)據(jù)庫連接池(線程池)
# 參數(shù)一：mysql的驅(qū)動(dòng)
# 參數(shù)二：連接mysql的配置信息
dbpool = adbapi.ConnectionPool('pymysql', **params)

# 參數(shù)1：在異步任務(wù)中要執(zhí)行的函數(shù)insert_db；
# 參數(shù)2：給該函數(shù)insert_db傳遞的參數(shù)
query = self.dbpool.runInteraction(self.do_insert, item)

# 在execute()之后，不需要再進(jìn)行commit()，連接池內(nèi)部會(huì)進(jìn)行提交的操作。
def do_insert(self, cursor, item):
    insert_sql = """
            insert into qa_sample( 
            need_id, 
            need_question_uptime, 
            need_title, 
            need_title_describe, 
            need_answer_uptime, 
            need_answer)
            values (%s, %s, %s, %s, %s, %s)
            """
    params = (item['need_id'],
              item['need_question_uptime'],
              item['need_title'],
              item['need_title_describe'],
              item['need_answer_uptime'],
              item['need_answer'])
    cursor.execute(insert_sql, params)

二：結(jié)合scrapy中的pipelines

# -*- coding: utf-8 -*-
from twisted.enterprise import adbapi
import pymysql
 
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
 
 
class QaSpiderPipeline(object):
    def process_item(self, item, spider):
        return item
 
class MysqlTwistedPipeline(object):
    def __init__(self, dbpool):
        self.dbpool = dbpool
 
    @classmethod
    def from_settings(cls, settings):
        dbparams = dict(
            host=settings['MYSQL_HOST'],
            db=settings['MYSQL_DBNAME'],
            user=settings['MYSQL_USER'],
            passwd=settings['MYSQL_PASSWORD'],
            charset='utf8',
            cursorclass=pymysql.cursors.DictCursor,
            use_unicode=True
        )
        dbpool = adbapi.ConnectionPool('pymysql', **dbparams)
        return cls(dbpool)
 
    def process_item(self, item, spider):
        query = self.dbpool.runInteraction(self.do_insert, item)
 
    def do_insert(self, cursor, item):
        insert_sql = """
                insert into qa_sample( 
                need_id, 
                need_question_uptime, 
                need_title, 
                need_title_describe, 
                need_answer_uptime, 
                need_answer)
                values (%s, %s, %s, %s, %s, %s)
                """
        params = (item['need_id'],
                  item['need_question_uptime'],
                  item['need_title'],
                  item['need_title_describe'],
                  item['need_answer_uptime'],
                  item['need_answer'])
        cursor.execute(insert_sql, params)

到此這篇關(guān)于Python中Scrapy+adbapi提高數(shù)據(jù)庫寫入效率實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Scrapy+adbapi數(shù)據(jù)庫寫入內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: