# 基礎(chǔ)數(shù)據(jù)處理庫（表格數(shù)據(jù)清洗、標(biāo)準(zhǔn)化）
pip install pandas numpy scikit-learn
# 圖像處理與增強(qiáng)庫（核心用于圖像增強(qiáng)）
pip install albumentations opencv-python pillow
# 可視化庫（輔助驗證處理效果，可選）
pip install matplotlib

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 1. 構(gòu)造模擬原始數(shù)據(jù)（模擬真實場景，含缺失值、異常值、重復(fù)項）
data = {
    "age": [25, 30, np.nan, 40, 35, 30, 150, 28, 30, np.nan],  # 缺失值（np.nan）、異常值（150歲，不符合常理）
    "income": [5000, 6000, 7000, np.nan, 8000, 6000, 9000, 5500, 6000, 7500],  # 缺失值、重復(fù)項（6000出現(xiàn)3次）
    "gender": ["M", "F", "M", "F", np.nan, "F", "M", "F", "F", "M"]  # 缺失值
}
# 轉(zhuǎn)換為DataFrame，方便后續(xù)處理
df = pd.DataFrame(data)
print("原始數(shù)據(jù)（含缺失值、異常值、重復(fù)項）：")
print(df)

# 2. 處理重復(fù)項：刪除完全重復(fù)的行（若需按特定列去重，可添加subset參數(shù)，如subset=["age","income"]）
df = df.drop_duplicates()
print("\n刪除重復(fù)項后的數(shù)據(jù)：")
print(df)

# 3. 處理缺失值：分類型特征和數(shù)值型特征分開處理（更合理）
# 數(shù)值型特征（age、income）：用中位數(shù)填充（避免極值影響，比均值更魯棒）
df["age"] = df["age"].fillna(df["age"].median())
df["income"] = df["income"].fillna(df["income"].median())
# 分類型特征（gender）：用眾數(shù)填充（出現(xiàn)次數(shù)最多的值，最貼合分類邏輯）
df["gender"] = df["gender"].fillna(df["gender"].mode()[0])  # mode()返回眾數(shù)列表，取第一個
print("\n填充缺失值后的數(shù)據(jù)：")
print(df)

# 4. 處理異常值：以age為例，用IQR法（四分位數(shù)范圍）識別并修正（通用且不易受極值影響）
def handle_outliers(df, column):
    """
    用IQR法處理數(shù)值型特征的異常值
    參數(shù)：df-數(shù)據(jù)集，column-需要處理的數(shù)值型特征列名
    返回：處理異常值后的數(shù)據(jù)集
    """
    # 計算四分位數(shù)
    q1 = df[column].quantile(0.25)  # 第一四分位數(shù)（25%分位數(shù)）
    q3 = df[column].quantile(0.75)  # 第三四分位數(shù)（75%分位數(shù)）
    iqr = q3 - q1  # 四分位距
    # 計算異常值的邊界（超出此范圍的視為異常值）
    lower_bound = q1 - 1.5 * iqr
    upper_bound = q3 + 1.5 * iqr
    # 將異常值替換為邊界值（也可選擇刪除，此處替換更保留數(shù)據(jù)量）
    df[column] = np.where(df[column] < lower_bound, lower_bound, df[column])
    df[column] = np.where(df[column] > upper_bound, upper_bound, df[column])
    return df

# 處理age列的異常值
df = handle_outliers(df, "age")
print("\n處理異常值（age列）后的數(shù)據(jù)：")
print(df)

# 5. 驗證：可視化age分布，查看異常值是否已修正
plt.hist(df["age"], bins=5, edgecolor="black")
plt.title("Age Distribution After Outlier Handling")
plt.xlabel("Age")
plt.ylabel("Count")
plt.show()

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 1. 提取需要進(jìn)行標(biāo)準(zhǔn)化/歸一化的數(shù)值特征（排除分類型特征gender）
numeric_features = df[["age", "income"]]

# 2. 標(biāo)準(zhǔn)化（StandardScaler）：將特征轉(zhuǎn)換為“均值=0，方差=1”的分布
# 適合場景：特征接近正態(tài)分布、線性模型（如線性回歸、邏輯回歸）、神經(jīng)網(wǎng)絡(luò)
scaler_standard = StandardScaler()
# 注意：fit_transform()僅用于訓(xùn)練集，測試集需用transform()，避免數(shù)據(jù)泄露
data_standardized = scaler_standard.fit_transform(numeric_features)
# 轉(zhuǎn)換為DataFrame，方便查看
df_standardized = pd.DataFrame(
    data_standardized,
    columns=["age_standard", "income_standard"]
)
print("標(biāo)準(zhǔn)化后的數(shù)據(jù)（均值≈0，方差≈1）：")
print(df_standardized)
print(f"age標(biāo)準(zhǔn)化后均值：{df_standardized['age_standard'].mean():.4f}，方差：{df_standardized['age_standard'].var():.4f}")

# 3. 歸一化（MinMaxScaler）：將特征縮放到[0,1]區(qū)間
# 適合場景：特征分布無規(guī)律、需要固定范圍（如圖像像素值、決策樹類模型）
scaler_minmax = MinMaxScaler()
data_normalized = scaler_minmax.fit_transform(numeric_features)
df_normalized = pd.DataFrame(
    data_normalized,
    columns=["age_minmax", "income_minmax"]
)
print("\n歸一化后的數(shù)據(jù)（范圍[0,1]）：")
print(df_normalized)
print(f"age歸一化后最小值：{df_normalized['age_minmax'].min():.4f}，最大值：{df_normalized['age_minmax'].max():.4f}")

# 4. 將處理后的特征合并到原數(shù)據(jù)集，得到完整的清洗+標(biāo)準(zhǔn)化/歸一化數(shù)據(jù)集
df_final = pd.concat([df, df_standardized, df_normalized], axis=1)  # axis=1表示按列合并
print("\n最終處理后的完整數(shù)據(jù)集：")
print(df_final)

import cv2
import albumentations as A
from PIL import Image
import numpy as np

# 1. 加載測試圖像（替換為你的本地圖像路徑，如"test.jpg"）
image_path = "test.jpg"
# 用cv2讀取圖像（注意：cv2默認(rèn)讀取為BGR格式，需轉(zhuǎn)換為RGB）
image = cv2.imread(image_path)
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)  # 轉(zhuǎn)換為RGB格式（albumentations默認(rèn)處理RGB）
print(f"原始圖像形狀（高、寬、通道數(shù)）：{image.shape}")

# 2. 定義圖像增強(qiáng)流水線（組合多種增強(qiáng)操作，可根據(jù)需求調(diào)整）
# p表示操作執(zhí)行的概率（0~1），避免過度增強(qiáng)導(dǎo)致數(shù)據(jù)失真
transform = A.Compose([
    A.Resize(height=224, width=224),  # 統(tǒng)一圖像尺寸（適配大多數(shù)CNN模型輸入）
    A.HorizontalFlip(p=0.5),  # 水平翻轉(zhuǎn)（50%概率執(zhí)行）
    A.VerticalFlip(p=0.2),  # 垂直翻轉(zhuǎn)（20%概率執(zhí)行）
    A.RandomRotate90(p=0.3),  # 隨機(jī)旋轉(zhuǎn)90度（30%概率執(zhí)行）
    A.RandomBrightnessContrast(p=0.2),  # 隨機(jī)調(diào)整亮度和對比度（20%概率執(zhí)行）
    A.GaussianBlur(blur_limit=(3, 7), p=0.1),  # 高斯模糊（10%概率執(zhí)行，模糊程度3~7）
    # 圖像歸一化（適配PyTorch預(yù)訓(xùn)練模型，如ResNet、ViT，均值和標(biāo)準(zhǔn)差為行業(yè)通用值）
    A.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])

# 3. 執(zhí)行增強(qiáng)并保存結(jié)果（生成5個增強(qiáng)后的樣本，可調(diào)整數(shù)量）
for i in range(5):
    # 執(zhí)行增強(qiáng)操作
    augmented = transform(image=image)
    aug_image = augmented["image"]  # 得到增強(qiáng)后的圖像數(shù)組
    # 反歸一化（僅用于可視化，因為歸一化后的圖像像素值為浮點數(shù)，無法直接顯示）
    aug_image_visual = (aug_image * np.array([0.229, 0.224, 0.225]) + np.array([0.485, 0.456, 0.406]))
    aug_image_visual = (aug_image_visual * 255).astype(np.uint8)  # 轉(zhuǎn)換為0~255的整數(shù)（圖像像素值范圍）
    # 轉(zhuǎn)換為PIL圖像并保存（方便查看增強(qiáng)效果）
    aug_image_pil = Image.fromarray(aug_image_visual)
    aug_image_pil.save(f"augmented_image_{i+1}.jpg")
    print(f"已保存增強(qiáng)圖像 {i+1}：augmented_image_{i+1}.jpg")

# 4. 可視化原始圖像和第一個增強(qiáng)圖像（直觀對比效果）
plt.figure(figsize=(10, 5))
# 原始圖像
plt.subplot(1, 2, 1)
plt.imshow(Image.fromarray(image))
plt.title("Original Image")
plt.axis("off")  # 隱藏坐標(biāo)軸
# 增強(qiáng)后圖像
plt.subplot(1, 2, 2)
plt.imshow(aug_image_pil)
plt.title("Augmented Image (Example)")
plt.axis("off")
plt.show()