import pandas as pd
import numpy as np
 
# 模擬爬蟲(chóng)數(shù)據(jù)
data = {
    '商品名稱(chēng)': ['iPhone13', '華為Mate50', None, '小米13', 'N/A'],
    '價(jià)格': [5999, 4999, np.nan, 3999, '-'],
    '銷(xiāo)量': [1200, 800, 0, 1500, None],
    '庫(kù)存': ['有貨', '缺貨', '有貨', '有貨', '']
}
df = pd.DataFrame(data)

# 查看每列缺失值數(shù)量
print(df.isnull().sum())
 
# 查看缺失值比例
print(df.isnull().mean().round(2))

import missingno as msno
 
msno.matrix(df.sample(5))  # 隨機(jī)展示5行數(shù)據(jù)的缺失矩陣
msno.bar(df)  # 柱狀圖展示各列缺失比例

# 自定義隱性缺失值列表
hidden_missing = ['-', 'N/A', '無(wú)', '未知', '']
 
# 檢測(cè)包含隱性缺失的列
for col in df.columns:
    if df[col].dtype in ['object', 'string']:
        missing_count = df[col].isin(hidden_missing).sum()
        if missing_count > 0:
            print(f"{col}列發(fā)現(xiàn){missing_count}個(gè)隱性缺失值")

# 檢查是否有整行為空的情況
print("整行為空的記錄數(shù):", df.isnull().all(axis=1).sum())
 
# 檢查特定列組合缺失模式
print(df[['價(jià)格', '銷(xiāo)量']].isnull().sum())

# 刪除包含缺失值的行（謹(jǐn)慎使用）
df_drop_rows = df.dropna()
 
# 刪除缺失值超過(guò)50%的列
threshold = len(df) * 0.5
df_drop_cols = df.dropna(thresh=threshold, axis=1)
 
# 指定列刪除（當(dāng)價(jià)格缺失時(shí)刪除整行）
df_drop_specific = df.dropna(subset=['價(jià)格'])

# 用"未知"填充商品名稱(chēng)缺失
df['商品名稱(chēng)'] = df['商品名稱(chēng)'].fillna('未知')
 
# 用0填充銷(xiāo)量缺失（需確認(rèn)業(yè)務(wù)邏輯）
df['銷(xiāo)量'] = df['銷(xiāo)量'].fillna(0)
 
# 批量處理文本列的隱性缺失
text_cols = ['商品名稱(chēng)', '庫(kù)存']
for col in text_cols:
    df[col] = df[col].replace(hidden_missing, '未知')

# 用中位數(shù)填充價(jià)格（抗異常值干擾）
median_price = df['價(jià)格'].median()
df['價(jià)格'] = df['價(jià)格'].replace('-', np.nan).fillna(median_price)
 
# 用均值填充銷(xiāo)量（需數(shù)據(jù)分布均勻）
mean_sales = df['銷(xiāo)量'].mean()
df['銷(xiāo)量'] = df['銷(xiāo)量'].fillna(mean_sales)
 
# 前向填充（時(shí)間序列數(shù)據(jù)適用）
df['價(jià)格'] = df['價(jià)格'].fillna(method='ffill')

from sklearn.ensemble import RandomForestRegressor
 
# 準(zhǔn)備數(shù)據(jù)（示例：用其他特征預(yù)測(cè)價(jià)格）
known = df[df['價(jià)格'].notna()]
unknown = df[df['價(jià)格'].isna()]
 
X_known = known[['銷(xiāo)量', '庫(kù)存']]
y_known = known['價(jià)格']
X_unknown = unknown[['銷(xiāo)量', '庫(kù)存']]
 
# 訓(xùn)練模型并預(yù)測(cè)
model = RandomForestRegressor(n_estimators=100)
model.fit(X_known, y_known)
predicted_prices = model.predict(X_unknown)
 
# 填充缺失值
df.loc[df['價(jià)格'].isna(), '價(jià)格'] = predicted_prices

# 創(chuàng)建帶時(shí)間索引的示例數(shù)據(jù)
dates = pd.date_range('2023-01-01', periods=5)
temp_data = {'溫度': [22, np.nan, 25, np.nan, 28]}
temp_df = pd.DataFrame(temp_data, index=dates)
 
# 線性插值
temp_df['溫度'] = temp_df['溫度'].interpolate()
 
# 時(shí)間加權(quán)插值（更平滑）
temp_df['溫度'] = temp_df['溫度'].interpolate(method='time')

# 按庫(kù)存狀態(tài)分組填充價(jià)格
def fill_price(group):
    if group.name == '有貨':
        return group.fillna(group.median())
    else:
        return group.fillna(0)  # 缺貨商品可能標(biāo)0價(jià)
 
df['價(jià)格'] = df.groupby('庫(kù)存')['價(jià)格'].apply(fill_price)

# 先填充隱性缺失，再填充顯性缺失
for col in ['價(jià)格', '銷(xiāo)量']:
    # 處理隱性缺失
    if df[col].dtype == 'object':
        df[col] = df[col].replace('-', np.nan)
    
    # 根據(jù)缺失率選擇填充方式
    missing_rate = df[col].isna().mean()
    if missing_rate < 0.1:
        df[col] = df[col].fillna(df[col].median())
    elif missing_rate < 0.3:
        df[col] = df[col].fillna(df[col].mean())
    else:
        df[col] = df[col].fillna(-1)  # 標(biāo)記特殊值

# 創(chuàng)建缺失標(biāo)記列
for col in ['價(jià)格', '銷(xiāo)量']:
    df[f'{col}_is_missing'] = df[col].isna().astype(int)
 
# 然后填充缺失值
df['價(jià)格'] = df['價(jià)格'].fillna(df['價(jià)格'].median())

# 驗(yàn)證缺失值是否處理完成
print("剩余缺失值數(shù)量:\n", df.isnull().sum())
 
# 檢查填充值是否合理
print("價(jià)格描述統(tǒng)計(jì):\n", df['價(jià)格'].describe())
print("銷(xiāo)量分布:\n", df['銷(xiāo)量'].value_counts())
 
# 可視化驗(yàn)證
import matplotlib.pyplot as plt
 
plt.figure(figsize=(10, 4))
plt.subplot(1, 2, 1)
df['價(jià)格'].plot(kind='hist', title='價(jià)格分布')
plt.subplot(1, 2, 2)
df['銷(xiāo)量'].plot(kind='hist', title='銷(xiāo)量分布')
plt.tight_layout()
plt.show()

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
 
def preprocess_data(df):
    numeric_features = ['價(jià)格', '銷(xiāo)量']
    categorical_features = ['商品名稱(chēng)', '庫(kù)存']
    
    numeric_transformer = Pipeline(steps=[
        ('imputer', SimpleImputer(strategy='median'))
    ])
    
    categorical_transformer = Pipeline(steps=[
        ('imputer', SimpleImputer(strategy='constant', fill_value='未知'))
    ])
    
    # 實(shí)際應(yīng)用中可使用ColumnTransformer組合處理
    # 此處僅為示例結(jié)構(gòu)
    return processed_df