pandas.read_sql 可以在數(shù)據(jù)庫(kù)中執(zhí)行指定的SQL語(yǔ)句查詢或?qū)χ付ǖ恼麖埍磉M(jìn)行查詢，以DataFrame 的類型返回查詢結(jié)果，這是在跟數(shù)據(jù)庫(kù)進(jìn)行交互操作時(shí)很重要的一步——既讀取數(shù)據(jù)，還返回DataFrame方便處理。

要解決的問(wèn)題： 編寫(xiě)過(guò)的SQL語(yǔ)句需要重復(fù)使用，這就涉及到參數(shù)，使用參數(shù)來(lái)替換條件，然后根據(jù)需要替換參數(shù)。

一、之前的處理方法

在沒(méi)有使用參數(shù)之前，我一直使用的是正則法，也就是利用 re.sub 這個(gè)方法將需要的SQL內(nèi)容替換掉，這樣的好處就是可以替換任意內(nèi)容，缺點(diǎn)就是必須每次使用的時(shí)候 import re.sub。

    from re import sub
    import sqlalchemy
    import pandas as pd
    # 創(chuàng)建數(shù)據(jù)庫(kù)連接，這里使用的是pymysql
    engine = sqlalchemy.create_engine("mysql+pymysql://username:password@ip:port/store_name")
    sql = "select * from test where id = 'pid'"
    # 使用 sub 進(jìn)行數(shù)據(jù)替換
    data = pd.read_sql(sub("pid", '1', sql), engine)

在這里使用的時(shí)候 pid 是為了統(tǒng)一處理才用的標(biāo)識(shí)名，這樣在以后不管什么時(shí)候都只需要對(duì) pid 進(jìn)行替換即可。

有一點(diǎn)需要注意的是 sub 替換后的傳入是字符串，但是傳入到 替換到SQL中是不會(huì)變的。比如

sql = "select * from test where id = pid" data =
pd.read_sql(sub("pid", '1', sql), engine) 

進(jìn)行 sub("pid", '1',> sql) 操作后 SQL 變成了

sql select * from test where id = 1

如果 id 字段是 int 類型那就沒(méi)問(wèn)題，但是如果 id 字段是 char 或 varchar 等其他類型就會(huì)出現(xiàn)字段類型是字符串但給的是數(shù)字（mysql 很寬容，不一定會(huì)報(bào)錯(cuò)，但是從數(shù)據(jù)類型上來(lái)說(shuō)肯定是錯(cuò)了）

二、使用 read_sql 中的 params 傳入?yún)?shù)

1.文檔說(shuō)明

 pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)[source]

read_sql 方法中已經(jīng)有了 params 這個(gè)參數(shù)，這個(gè)就是可以進(jìn)行參數(shù)的傳遞，具體的描述如下

params : list, tuple or dict, optional, default: None
List of parameters to pass to execute method. The syntax used to pass parameters is database driver dependent. Check your database driver documentation for which of the five syntax styles, described in PEP 249’s paramstyle, is supported. Eg. for psycopg2, uses %(name)s so use params={‘name’ : ‘value’}

意思就是可以使用功能 list, tuple or dict 傳遞參數(shù)，但是如何怎么設(shè)置參數(shù)和傳遞參數(shù)需要依據(jù)使用的數(shù)據(jù)庫(kù)引擎。PEP 249’s paramstyle 如下表

總結(jié)下就是在SQL語(yǔ)句中使用?, :1, :name, %s, %設(shè)置參數(shù)，然后在params 使用 list, tuple or dict 進(jìn)行參數(shù)的傳遞

2.具體的使用

    from re import sub
    import sqlalchemy
    import pandas as pd
    # 創(chuàng)建數(shù)據(jù)庫(kù)連接
    engine = sqlalchemy.create_engine("mysql+pymysql://username:password@ip:port/store_name")
    sql = "select * from test where id = %(pid)s"
    # 使用 params 進(jìn)行參數(shù)傳遞
    data = pd.read_sql(sql, engine, params={'pid': '1'})

具體的參數(shù)就如上面代碼所示，使用了 %(pid)s 設(shè)置參數(shù)，再用params={‘pid’: ‘1’}傳遞參數(shù)，在Stack Overflow上有個(gè)提問(wèn)也是關(guān)于這個(gè)的，里面還有關(guān)于psycopg2 和SQLite 的參數(shù)傳遞。

三、總結(jié)對(duì)比

之前沒(méi)有想過(guò)使用參數(shù)，是因?yàn)樵赟QL中我不僅要替換固定條件，而且有時(shí)候需要替換大段的SQL，所以使用 sub 會(huì)更靈活也更模糊（傳入的是字符串，到了SQL里面數(shù)字還是字符串得再處理一遍），但是使用方法自帶的參數(shù)傳遞可以很明確的傳遞正確的數(shù)據(jù)和數(shù)據(jù)類型，而且不覺(jué)得使用方法自帶的參數(shù)傳遞很優(yōu)雅？

四、字符串的格式化

對(duì)于參數(shù)的傳遞還有另外一種就是python中的字符串格式化，format函數(shù)可以實(shí)現(xiàn)不帶參數(shù)、帶索引參數(shù)、帶關(guān)鍵字參數(shù)，python的字符串格式化可以參考python格式化輸出
下面是format的使用示例

in : print("{one} are {two} {three}".format(one='you', two=1, three='pig'))
out: you are 1 pig

這里的1應(yīng)該為a，但是為了演示傳遞整數(shù)參數(shù)

到此這篇關(guān)于pandas中read_sql使用參數(shù)進(jìn)行數(shù)據(jù)查詢的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)pandas read_sql查詢內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論