import pandas as pd
 
# 讀取CSV（處理中文編碼和缺失值）
df_csv = pd.read_csv('sales_2025.csv', encoding='utf-8', na_values=['NA', 'NULL'])
 
# 讀取Excel（指定工作表）
df_excel = pd.read_excel('financial_report.xlsx', sheet_name='Q1')
 
# 讀取數(shù)據(jù)庫（需安裝SQLAlchemy）
from sqlalchemy import create_engine
engine = create_engine('postgresql://user:password@localhost:5432/sales_db')
df_db = pd.read_sql('SELECT * FROM orders WHERE date > "2025-01-01"', engine)

data = {
    'user_id': [101, 102, 103, 104, 105],
    'age': [25, 30, None, 35, 200],  # 200為異常值
    'city': ['北京', '上海', '廣州', '北京', '北京']
}
df = pd.DataFrame(data)

# 方法1：刪除含缺失值的行
df_dropna = df.dropna(subset=['age'])
 
# 方法2：用中位數(shù)填充（對異常值更魯棒）
median_age = df['age'].median()
df_fillna = df.fillna({'age': median_age})
 
# 方法3：前向填充（時間序列數(shù)據(jù)適用）
df_ffill = df.fillna(method='ffill')

# 基于IQR（四分位距）檢測異常值
Q1 = df['age'].quantile(0.25)
Q3 = df['age'].quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
 
# 過濾異常值
df_clean = df[(df['age'] >= lower_bound) & (df['age'] <= upper_bound)]

# 刪除完全重復(fù)的行
df_dedup = df.drop_duplicates()
 
# 按特定列去重（如保留最新記錄）
df['timestamp'] = pd.to_datetime(['2025-01-01', '2025-01-02', '2025-01-03', '2025-01-04', '2025-01-05'])
df_latest = df.sort_values('timestamp').drop_duplicates(subset=['user_id'], keep='last')

df['order_date'] = pd.to_datetime(df['order_date'], format='%Y-%m-%d')
 
# 提取日期特征（如月份、星期）
df['month'] = df['order_date'].dt.month
df['day_of_week'] = df['order_date'].dt.dayofweek  # 0=周一, 6=周日

# 統(tǒng)一轉(zhuǎn)為小寫
df['city'] = df['city'].str.lower()
 
# 替換特定值
df['city'] = df['city'].replace({'shanghai': '上海', 'beijing': '北京'})

bins = [0, 18, 35, 60, 100]
labels = ['未成年', '青年', '中年', '老年']
df['age_group'] = pd.cut(df['age'], bins=bins, labels=labels)

# 假設(shè)存在'consumption'列
result = df.groupby('city').agg(
    avg_age=('age', 'mean'),
    total_consumption=('consumption', 'sum')
)

# 確保日期為索引
df.set_index('order_date', inplace=True)
 
# 按周重采樣并求和
weekly_sales = df['sales'].resample('W').sum()
 
# 計算周環(huán)比增長率
weekly_sales_pct = weekly_sales.pct_change() * 100

import matplotlib.pyplot as plt
 
weekly_sales.plot(kind='line', title='Weekly Sales Trend')
plt.ylabel('Sales Amount')
plt.show()

pivot_table = pd.pivot_table(
    df,
    values='sales',
    index=df['order_date'].dt.month,
    columns='city',
    aggfunc='sum',
    fill_value=0
)

# 讀取時指定列類型
dtype_spec = {
    'user_id': 'int32',
    'age': 'float32',
    'city': 'category'  # 分類變量轉(zhuǎn)為category類型
}
df_optimized = pd.read_csv('large_data.csv', dtype=dtype_spec)

chunk_size = 100000  # 每次讀取10萬行
results = []
 
for chunk in pd.read_csv('huge_data.csv', chunksize=chunk_size):
    # 對每個數(shù)據(jù)塊進(jìn)行處理（如清洗、聚合）
    chunk_clean = chunk.dropna(subset=['sales'])
    results.append(chunk_clean.groupby('city')['sales'].sum())
 
# 合并結(jié)果
final_result = pd.concat(results).groupby(level=0).sum()

import dask.dataframe as dd
 
ddf = dd.read_csv('terabyte_data/*.csv')  # 讀取文件夾內(nèi)所有CSV
result = ddf.groupby('city')['sales'].mean().compute()  # .compute()觸發(fā)計算

# 檢查列名是否存在
print(df.columns.tolist())
 
# 統(tǒng)一列名大小寫
df.columns = df.columns.str.lower()

# 錯誤方式（可能不生效）
df[df['age'] > 30]['city'] = '高齡用戶'
 
# 正確方式：使用.loc或復(fù)制數(shù)據(jù)
df.loc[df['age'] > 30, 'city'] = '高齡用戶'
# 或
subset = df[df['age'] > 30].copy()
subset['city'] = '高齡用戶'