快捷導(dǎo)航

使用python實(shí)現(xiàn)簡單爬取網(wǎng)頁數(shù)據(jù)并導(dǎo)入MySQL中的數(shù)據(jù)庫

更新時間：2023年06月20日 09:59:34 作者：A等天晴

這篇文章主要為大家詳細(xì)介紹了如何使用 python 實(shí)現(xiàn)簡單爬取網(wǎng)頁數(shù)據(jù)并導(dǎo)入 MySQL 中的數(shù)據(jù)庫，對我們的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下

前言：要使用 Python 爬取網(wǎng)頁數(shù)據(jù)并將數(shù)據(jù)導(dǎo)入 MySQL 數(shù)據(jù)庫，您需要使用 Requests 庫進(jìn)行網(wǎng)頁抓取，使用 BeautifulSoup 庫對抓取到的 HTML 進(jìn)行解析，并使用 PyMySQL 庫與 MySQL 進(jìn)行交互。

以下是一個簡單的示例：

1. 安裝所需庫：

pip install requests beautifulsoup4 pymysql

2. 導(dǎo)入所需庫：

import requests
from bs4 import BeautifulSoup
import pymysql

3. 建立數(shù)據(jù)庫連接：

db = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='mydatabase'
)

這里我們假設(shè)您已經(jīng)在本地搭建了 MySQL 數(shù)據(jù)庫，并創(chuàng)建了一個名為 `mydatabase` 的數(shù)據(jù)庫。您需要根據(jù)實(shí)際情況修改主機(jī)、用戶名、密碼和數(shù)據(jù)庫名。

4. 使用 Requests 庫抓取網(wǎng)頁：

url = 'http://www.example.com'
response = requests.get(url)
html = response.text

5. 使用 BeautifulSoup 庫解析 HTML：

soup = BeautifulSoup(html, 'html.parser')
data = soup.find_all('a')

6. 使用 PyMySQL 庫將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫：

cursor = db.cursor()
for item in data:
    title = item.string
    url = item.get('href')
    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"
    cursor.execute(sql)
db.commit()

這里我們使用了 PyMySQL 庫的 `cursor` 方法創(chuàng)建游標(biāo)，然后遍歷解析后的數(shù)據(jù)，并使用 SQL 語句將數(shù)據(jù)插入到數(shù)據(jù)庫表中。

完整的示例代碼如下：

import requests
from bs4 import BeautifulSoup
import pymysql
# 建立數(shù)據(jù)庫連接
db = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='mydatabase'
)
# 抓取網(wǎng)頁
url = 'http://www.example.com'
response = requests.get(url)
html = response.text
# 解析 HTML
soup = BeautifulSoup(html, 'html.parser')
data = soup.find_all('a')
# 將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫
cursor = db.cursor()
for item in data:
    title = item.string
    url = item.get('href')
    sql = f"INSERT INTO mytable (title, url) VALUES ('{title}', '{url}')"
    cursor.execute(sql)
db.commit()
# 關(guān)閉數(shù)據(jù)庫連接
db.close()

注意，這里示例代碼僅為演示使用，并未對 SQL 注入攻擊進(jìn)行防范，請勿直接在生產(chǎn)環(huán)境中使用。同時，您也需要根據(jù)實(shí)際情況修改表名、字段名和 SQL 語句等內(nèi)容。

這只是單純的思路，僅供參考。

到此這篇關(guān)于使用python實(shí)現(xiàn)簡單爬取網(wǎng)頁數(shù)據(jù)并導(dǎo)入MySQL中的數(shù)據(jù)庫的文章就介紹到這了,更多相關(guān)python 爬取網(wǎng)頁數(shù)據(jù)導(dǎo)入MySQL內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: