python和mysql交互操作實例詳解【基于pymysql庫】
本文實例講述了python和mysql交互操作。分享給大家供大家參考，具體如下：
python要和mysql交互，我們利用pymysql這個庫。
下載地址：
https://github.com/PyMySQL/PyMySQL
安裝(注意cd到我們項目的虛擬環(huán)境后)：
cd 項目根目錄/abc/bin/ #執(zhí)行 ./python3 -m pip install pymysql
稍等片刻，就會把pymysql庫下載到項目虛擬環(huán)境abc/lib/python3.5/site-packages中。(注意我項目是這個路徑，你的不一定)
文檔地址：
http://pymysql.readthedocs.io/en/latest/
使用：
import pymysql.cursors
# 連接數據庫
connection = pymysql.connect(host='localhost',
user='root',
password='root',
db='test',
charset='utf8mb4',
cursorclass=pymysql.cursors.DictCursor)
try:
with connection.cursor() as cursor:
# Read a single record
sql = "SELECT * From news"
cursor.execute(sql)
result = cursor.fetchone()
print(result) # {'id': 1, 'title': '本機新聞標題'}
finally:
connection.close()
我們連上了本地數據庫test，從news表中取數據，數據結果為{'id': 1, 'title': '本機新聞標題'}
返回的結果是字典類型，這是因為在連接數據庫的時候我們是這樣設置的：
# 連接數據庫
connection = pymysql.connect(host='localhost',
user='root',
password='root',
db='test',
charset='utf8mb4',
cursorclass=pymysql.cursors.Cursor)
我們把cursorclass設置的是：pymysql.cursors.DictCursor。
字典游標，所以結果集是字典類型。
我們修改為如下：
cursorclass=pymysql.cursors.Cursor
結果集如下：
(1, '本機新聞標題')
變成了元組類型。我們還是喜歡字典類型，因為其中包含了表字段。
Cursor對象
主要有4種：
Cursor 默認，查詢返回list或者tuple
DictCursor 查詢返回dict，包含字段名
SSCursor 效果同Cursor，無緩存游標
SSDictCursor 效果同DictCursor，無緩存游標。
插入
try:
with connection.cursor() as cursor:
sql = "INSERT INTO news(`title`)VALUES (%s)"
cursor.execute(sql,["今天的新聞"])
# 手動提交 默認不自動提交
connection.commit()
finally:
connection.close()
一次性插入多條數據
try:
with connection.cursor() as cursor:
sql = "INSERT INTO news(`title`)VALUES (%s)"
cursor.executemany(sql,["新聞標題1","新聞標題2"])
# 手動提交 默認不自動提交
connection.commit()
finally:
connection.close()
注意executemany()有別于execute()。
sql綁定參數
sql = "INSERT INTO news(`title`)VALUES (%s)" cursor.executemany(sql,["新聞標題1","新聞標題2"])
我們用%s占位，執(zhí)行SQL的時候才傳遞具體的值。上面我們用的是list類型：
["新聞標題1","新聞標題2"]
可否用元組類型呢？
cursor.executemany(sql,("元組新聞1","元組新聞2"))
同樣成功插入到數據表了。
把前面分析得到的基金數據入庫
創(chuàng)建一個基金表：
CREATE TABLE `fund` ( `code` varchar(50) NOT NULL, `name` varchar(255), `NAV` decimal(5,4), `ACCNAV` decimal(5,4), `updated_at` datetime, PRIMARY KEY (`code`) ) COMMENT='基金表';
準備插入SQL：
注意%(code)s這種占位符，要求我們執(zhí)行這SQL的時候傳入的參數必須是字典數據類型。
MySQL小知識:
在插入的時候如果有重復的主鍵，就更新
insert into 表名 xxxx ON duplicate Key update 表名
我們這里要準備執(zhí)行的SQL就變成這樣了：
INSERT INTO fund(code,name,NAV,ACCNAV,updated_at)VALUES (%(code)s,%(name)s,%(NAV)s,%(ACCNAV)s,%(updated_at)s) ON duplicate Key UPDATE updated_at=%(updated_at)s,NAV=%(NAV)s,ACCNAV=%(ACCNAV)s;
1、回顧我們前面分析處理的基金網站數據
//www.fzitv.net/article/162452.htm
#...
codes = soup.find("table",id="oTable").tbody.find_all("td","bzdm")
result = () # 初始化一個元組
for code in codes:
result += ({
"code":code.get_text(),
"name":code.next_sibling.find("a").get_text(),
"NAV":code.next_sibling.next_sibling.get_text(),
"ACCNAV":code.next_sibling.next_sibling.next_sibling.get_text()
},)
最后我們是把數據存放在一個result的元組里了。
我們打印這個result可以看到：
元組里每個元素 都是字典。
看字典是不是我們數據表的字段能對應了，但還少一個updated_at字段的數據。
2、我們把分析的網頁數據重新處理一下
from datetime import datetime
updated_at = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
result = () # 初始化一個元組
for code in codes:
result += ({
"code":code.get_text(),
"name":code.next_sibling.find("a").get_text(),
"NAV":code.next_sibling.next_sibling.get_text(),
"ACCNAV":code.next_sibling.next_sibling.next_sibling.get_text(),
"updated_at":updated_at
},)
3、最后插入的代碼
try:
with connection.cursor() as cursor:
sql = """INSERT INTO fund(`code`,`name`,`NAV`,`ACCNAV`,`updated_at`)VALUES (%(code)s,%(name)s,%(NAV)s,%(ACCNAV)s,%(updated_at)s)
ON duplicate Key UPDATE `updated_at`=%(updated_at)s,`NAV`=%(NAV)s,`ACCNAV`=%(ACCNAV)s"""
cursor.executemany(sql,result)
# 手動提交 默認不自動提交
connection.commit()
finally:
connection.close()
4、完整的分析html內容(基金網站網頁內容)，然后插入數據庫代碼：
from bs4 import BeautifulSoup
import pymysql.cursors
from datetime import datetime
# 讀取文件內容
with open("1.txt", "rb") as f:
html = f.read().decode("utf8")
f.close()
# 分析html內容
soup = BeautifulSoup(html,"html.parser")
# 所有基金編碼
codes = soup.find("table",id="oTable").tbody.find_all("td","bzdm")
updated_at = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
result = () # 初始化一個元組
for code in codes:
result += ({
"code":code.get_text(),
"name":code.next_sibling.find("a").get_text(),
"NAV":code.next_sibling.next_sibling.get_text(),
"ACCNAV":code.next_sibling.next_sibling.next_sibling.get_text(),
"updated_at":updated_at
},)
# 連接數據庫
connection = pymysql.connect(host='localhost',
user='root',
password='root',
db='test',
charset='utf8mb4',
cursorclass=pymysql.cursors.Cursor)
try:
with connection.cursor() as cursor:
sql = """INSERT INTO fund(`code`,`name`,`NAV`,`ACCNAV`,`updated_at`)VALUES (%(code)s,%(name)s,%(NAV)s,%(ACCNAV)s,%(updated_at)s)
ON duplicate Key UPDATE `updated_at`=%(updated_at)s,`NAV`=%(NAV)s,`ACCNAV`=%(ACCNAV)s"""
cursor.executemany(sql,result)
# 手動提交 默認不自動提交
connection.commit()
finally:
connection.close()
更多關于Python相關內容感興趣的讀者可查看本站專題：《Python常見數據庫操作技巧匯總》、《Python數學運算技巧總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章
變分自編碼器是一種強大的深度學習模型,用于學習數據的潛在表示并能生成新的數據點,使用PyTorch實現VAE不僅可以加深對生成模型的理解,還可以利用其靈活性進行各種實驗,這篇文章主要介紹了PyTorch變分自編碼器的構建與應用,需要的朋友可以參考下2024-07-07
表查詢是重要的操作。這篇文章主要介紹了django之跨表查詢及添加記錄的示例代碼，小編覺得挺不錯的，現在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-10-10
數據類型是一種值的集合以及定義在這種值上的一組操作。這篇文章主要介紹了python內置數據類型之列表的相關知識，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2018-11-11
Python鍵值互換是一種對Python字典類型中鍵值對進行反轉的技術，有時候，我們需要以值作為鍵，以鍵作為值來操作字典，這時候就需要用到鍵值互換的技術，本文主要介紹了Python鍵值互換的實現示例，需要的朋友們下面隨著小編來一起學習學習吧2023-07-07
這篇文章主要介紹了Pytorch上下采樣函數--interpolate用法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
今天小編就為大家分享一篇tensorflow自定義激活函數實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python通過OpenCV的findContours獲取輪廓并切割實例
這篇文章主要介紹了Python通過OpenCV的findContours獲取輪廓并切割實例，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
這篇文章主要介紹了python plt可視化——打印特殊符號和制作圖例代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
python獲取的html中都是\\u003e實現轉成正確字符
這篇文章主要介紹了python獲取的html中都是\\u003e實現轉成正確字符方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-07-07
文章介紹了從頭開始編譯安裝Python3.10的步驟,包括檢查和安裝必要的依賴項、下載并解壓源碼、配置和編譯環(huán)境、創(chuàng)建軟連接以及配置環(huán)境變量,最后驗證安裝是否成功2025-03-03