在現(xiàn)代數(shù)據(jù)分析流程中，數(shù)據(jù)不僅僅存儲在本地文件中，越來越多的數(shù)據(jù)以 Web API 的形式公開。通過 Web API，我們可以直接獲取實時數(shù)據(jù)，如天氣、金融、社交媒體等信息。Pandas 與 Python 的 requests、json 等庫結(jié)合使用，使得將 API 返回的數(shù)據(jù)快速轉(zhuǎn)換為 DataFrame 成為可能。本文將詳細介紹如何使用 Pandas 與 Web API 進行交互，包括獲取數(shù)據(jù)、解析 JSON、錯誤處理以及如何將數(shù)據(jù)轉(zhuǎn)化為 DataFrame 以便于后續(xù)分析。

1. 引言

Web API（應用程序編程接口）允許開發(fā)者通過 HTTP 協(xié)議訪問和操作遠程數(shù)據(jù)服務(wù)。數(shù)據(jù)通常以 JSON 格式返回，而 Pandas 強大的數(shù)據(jù)處理能力使得從 JSON 轉(zhuǎn)換到 DataFrame 成為一項常用技能。數(shù)學上，假設(shè) API 返回的 JSON 數(shù)據(jù)表示為集合 ( D = {d_1, d_2, \dots, d_n} )，通過數(shù)據(jù)解析和轉(zhuǎn)換，我們將其構(gòu)建為一個表格：
 

DataFrame=f(D)

其中 ( f ) 表示解析函數(shù)，提取關(guān)鍵字段和對應值，并構(gòu)造結(jié)構(gòu)化數(shù)據(jù)。

2. 基本工具與庫

在與 Web API 交互時，我們通常需要以下 Python 庫：

• requests：用于發(fā)送 HTTP 請求，獲取 API 返回的數(shù)據(jù)。
• json：用于解析 JSON 格式數(shù)據(jù)（雖然 requests 內(nèi)置 json() 方法）。
• Pandas：用于數(shù)據(jù)處理和轉(zhuǎn)換，將 API 數(shù)據(jù)轉(zhuǎn)換為 DataFrame。
• （可選）time 與 logging：用于調(diào)試和錯誤處理，記錄請求狀態(tài)和響應時間。

例如：

import requests
import pandas as pd

3. 從 Web API 獲取數(shù)據(jù)

3.1 發(fā)送請求

使用 requests 庫發(fā)送 GET 請求，從 API 獲取數(shù)據(jù)：

import requests

url = "https://api.example.com/data"  # 示例 API 地址
response = requests.get(url)

常見請求頭、參數(shù)和認證信息可以通過 requests 的參數(shù)進行設(shè)置，例如：

headers = {'Authorization': 'Bearer YOUR_API_TOKEN'}
params = {'q': 'keyword', 'limit': 100}
response = requests.get(url, headers=headers, params=params)

3.2 解析 JSON 數(shù)據(jù)

大部分 Web API 返回的數(shù)據(jù)格式為 JSON，可以使用 response.json() 方法直接解析：

data = response.json()

如果返回的數(shù)據(jù)嵌套結(jié)構(gòu)較深，可以先使用 json.dumps() 格式化輸出查看結(jié)構(gòu)，再決定如何提取所需字段。

4. 將 API 數(shù)據(jù)轉(zhuǎn)換為 Pandas DataFrame

4.1 簡單的轉(zhuǎn)換

假設(shè) API 返回的數(shù)據(jù)為 JSON 數(shù)組，直接轉(zhuǎn)換為 DataFrame：

# 假設(shè) data 是一個包含多個字典的列表
df = pd.DataFrame(data)
print(df.head())

這種方式適用于返回格式簡單、結(jié)構(gòu)平坦的數(shù)據(jù)。

4.2 處理嵌套數(shù)據(jù)

如果返回的數(shù)據(jù)嵌套較深，可以利用 json_normalize() 方法將嵌套 JSON 展開：

from pandas import json_normalize

# 假設(shè) data 是一個嵌套的 JSON 對象，其中 'results' 包含實際數(shù)據(jù)
df_nested = json_normalize(data, record_path='results', meta=['id', 'timestamp'])
print(df_nested.head())

這樣可以將嵌套數(shù)據(jù)轉(zhuǎn)換為扁平化結(jié)構(gòu)，便于后續(xù)分析。

5. 實際案例：獲取天氣數(shù)據(jù)

下面以 OpenWeatherMap API 為例，展示如何從 Web API 獲取天氣數(shù)據(jù)并轉(zhuǎn)換為 DataFrame。

5.1 獲取 API 密鑰并構(gòu)建請求

首先，注冊 OpenWeatherMap 獲取 API 密鑰，然后構(gòu)建 URL 和參數(shù)：

import requests
import pandas as pd

api_key = "YOUR_API_KEY"
city = "Beijing"
url = "http://api.openweathermap.org/data/2.5/weather"
params = {
    'q': city,
    'appid': api_key,
    'units': 'metric'  # 使用攝氏度
}

response = requests.get(url, params=params)
data = response.json()
print(data)

這將返回關(guān)于指定城市的天氣信息。

5.2 數(shù)據(jù)轉(zhuǎn)換與提取關(guān)鍵信息

假設(shè)我們需要提取溫度、濕度和天氣描述，可以這么做：

# 提取關(guān)鍵信息
weather_info = {
    'City': data.get('name'),
    'Temperature': data.get('main', {}).get('temp'),
    'Humidity': data.get('main', {}).get('humidity'),
    'Weather': data.get('weather')[0].get('description') if data.get('weather') else None
}

# 轉(zhuǎn)換為 DataFrame
df_weather = pd.DataFrame([weather_info])
print("天氣數(shù)據(jù)：")
print(df_weather)

輸出結(jié)果可能為：

       City  Temperature  Humidity          Weather
0  Beijing         25.3        60  clear sky

6. 錯誤處理與調(diào)試

在與 Web API 交互時，可能會遇到請求失敗、數(shù)據(jù)格式錯誤或網(wǎng)絡(luò)問題。建議加入錯誤處理機制：

import requests

try:
    response = requests.get(url, params=params, timeout=10)
    response.raise_for_status()  # 若返回狀態(tài)碼不為 200，將拋出異常
    data = response.json()
except requests.RequestException as e:
    print("請求出錯：", e)
    data = None

同時，可以利用 logging 模塊記錄調(diào)試信息，幫助定位問題。

7. 進階技巧

7.1 批量數(shù)據(jù)請求

對于需要獲取大量數(shù)據(jù)的場景，可以通過循環(huán)或批量請求 API，將多個結(jié)果合并成一個 DataFrame。例如，獲取一周內(nèi)每日天氣數(shù)據(jù)：

dates = pd.date_range(start="2024-01-01", periods=7, freq='D')
weather_list = []

for date in dates:
    params['dt'] = int(date.timestamp())
    response = requests.get(url, params=params)
    if response.status_code == 200:
        weather_list.append(response.json())

# 將批量數(shù)據(jù)轉(zhuǎn)換為 DataFrame
df_week = pd.json_normalize(weather_list)
print(df_week.head())

注意：有些 API 可能不支持歷史數(shù)據(jù)或批量請求，需根據(jù) API 文檔調(diào)整策略。

7.2 緩存和速率限制

• 緩存：對于頻繁訪問的 API，可以考慮利用緩存機制（如 requests-cache）減少重復請求，提升效率。
• 速率限制：注意 API 的調(diào)用頻率限制，合理設(shè)置請求間隔，避免被暫時封禁。

8. 總結(jié)

本文詳細介紹了如何利用 Pandas 與 Web API 交互，從發(fā)送請求、解析 JSON、數(shù)據(jù)轉(zhuǎn)換到錯誤處理和進階技巧。主要內(nèi)容包括：

1. 使用 requests 獲取數(shù)據(jù)：構(gòu)建請求、設(shè)置參數(shù)和請求頭，處理返回的 JSON 數(shù)據(jù)。
2. 數(shù)據(jù)轉(zhuǎn)換：將 API 返回的 JSON 數(shù)據(jù)轉(zhuǎn)換為 Pandas DataFrame，利用 json_normalize 處理嵌套數(shù)據(jù)。
3. 錯誤處理：利用 try/except 捕獲請求和解析錯誤，并使用 logging 記錄調(diào)試信息。
4. 實際案例：以 OpenWeatherMap API 為例，展示如何獲取天氣數(shù)據(jù)并轉(zhuǎn)換為 DataFrame。
5. 進階技巧：包括批量數(shù)據(jù)請求、緩存策略和速率限制處理，確保在大規(guī)模數(shù)據(jù)獲取時高效穩(wěn)定。

掌握這些技術(shù)，將使你能夠?qū)?Web API 數(shù)據(jù)快速整合到數(shù)據(jù)分析流程中，支持實時數(shù)據(jù)獲取、動態(tài)分析以及自動化報告生成。不斷實踐和優(yōu)化，將幫助你在數(shù)據(jù)科學項目中獲得更全面、更及時的數(shù)據(jù)支持。

以上就是使用Pandas與Web API進行交互的詳細流程的詳細內(nèi)容，更多關(guān)于Pandas與Web API進行交互的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論