import pandas as pd
import numpy as np
import timeit

# ----------------------- 基準數(shù)據(jù)準備（模擬百萬級） -----------------------
n = 5_000_000
df = pd.DataFrame({
    'id': np.arange(n),
    'category': np.random.choice(['A','B','C','D','E'], n),
    'value': np.random.randn(n) * 100,
    'name': np.random.choice(['Alice','Bob','Charlie','David','Eve'], n),
    'date': pd.date_range('2020-01-01', periods=n, freq='min')[:n],
    'group': np.random.randint(1, 1000, n)
})

# 原始內(nèi)存占用
print("原始內(nèi)存:", df.memory_usage(deep=True).sum() / 1024**2, "MB")

# 優(yōu)化前：~800–1200 MB（object 列主導(dǎo)）
# 優(yōu)化后：通常降到 200–400 MB

df_opt = df.copy()

# 數(shù)值 downcast
for col in df_opt.select_dtypes(include=['int64','float64']).columns:
    df_opt[col] = pd.to_numeric(df_opt[col], downcast='integer' if 'int' in df_opt[col].dtype.name else 'float')

# 字符串 → category（重復(fù)率高的列）
df_opt['category'] = df_opt['category'].astype('category')
df_opt['name']     = df_opt['name'].astype('category')

# datetime → datetime64[ns]（通常已最優(yōu)，但可轉(zhuǎn)低精度）
df_opt['date'] = df_opt['date'].dt.as_unit('s')   # 2025+ 支持 as_unit 降精度

print("優(yōu)化后內(nèi)存:", df_opt.memory_usage(deep=True).sum() / 1024**2, "MB")

# 慢：apply / for 循環(huán)
%timeit df['double'] = df['value'].apply(lambda x: x*2)          # 幾秒～十幾秒

# 快：直接向量運算
%timeit df['double'] = df['value'] * 2                           # 毫秒級

# 復(fù)雜邏輯也盡量向量化
df['flag'] = np.where((df['value'] > 0) & (df['group'] % 2 == 0), 'good', 'bad')

# 普通 groupby
df.groupby('group')['value'].sum()               # 慢

# 優(yōu)化組合
(
    df_opt.groupby('group', observed=True)['value']   # observed=True 加速 category
      .agg(['sum','mean','count'])
      .round(2)
)

# 超大 groupby → 先 filter 再 group
df_opt.query("value > 50").groupby('category').size()

# 慢：默認 merge
pd.merge(df1, df2, on='id')

# 快：先 set_index + join
df1.set_index('id').join(df2.set_index('id'), how='left')

# 更快：category + merge_asof（時間序列）
# 或直接用 Polars / DuckDB 做 join（見下文）

def process_chunk(chunk):
    # 你的清洗 / 聚合邏輯
    return chunk.groupby('category')['value'].sum()

chunks = pd.read_csv('big.csv', chunksize=200_000, dtype={'category':'category'})
result = pd.concat([process_chunk(c) for c in chunks])  # 或用 multiprocessing.Pool

import polars as pl

# Pandas → Polars 幾乎 1:1
df_pl = pl.from_pandas(df_opt)
(
    df_pl.lazy()
     .group_by('group')
     .agg(pl.col('value').sum().alias('total'))
     .collect(streaming=True)   # 內(nèi)存不夠時自動流式
)