数据分析概览

import numpy as np

# 创建数组
arr = np.array([1, 2, 3, 4, 5])
matrix = np.array([[1, 2], [3, 4]])

# 常用操作
arr.mean()        # 均值: 3.0
arr.std()         # 标准差: 1.414...
arr.max()         # 最大值: 5
arr.min()         # 最小值: 1
arr.sum()         # 求和: 15

# 向量化运算（避免 Python 循环）
prices = np.array([100, 200, 300])
rates = np.array([0.1, 0.2, 0.15])
discounted = prices * (1 - rates)  # [90. 160. 255.]

# 布尔索引筛选
scores = np.array([85, 92, 78, 95, 60, 88])
high_scores = scores[scores >= 80]  # [85 92 95 88]

# 常用创建函数
np.zeros((3, 4))       # 3×4 零矩阵
np.ones((2, 3))        # 2×3 全1矩阵
np.arange(0, 10, 2)    # [0 2 4 6 8]
np.linspace(0, 1, 5)   # [0. 0.25 0.5 0.75 1.]
np.random.randn(3, 3)  # 3×3 标准正态分布

import pandas as pd

# 读取数据
df = pd.read_csv("sales.csv")
df = pd.read_excel("data.xlsx", sheet_name="Sheet1")
df = pd.read_json("api_response.json")

# 查看数据
df.head()                    # 前5行
df.info()                    # 列信息 + 类型 + 缺失值
df.describe()                 # 数值列统计摘要
df.shape                      # (行数, 列数)
df.columns.tolist()           # 列名列表
df.dtypes                     # 每列数据类型

# 筛选与过滤
df[df["age"] > 30]                          # 条件筛选
df[["name", "age", "salary"]]               # 选择列
df.loc[df["city"] == "Beijing", "salary"]   # label 筛选

# 排序
df.sort_values("salary", ascending=False)    # 降序
df.sort_values(["city", "age"])             # 多列排序

# 分组聚合
df.groupby("city")["salary"].mean()         # 按城市分组求平均薪资
df.groupby("city").agg(
    avg_salary=("salary", "mean"),
    max_salary=("salary", "max"),
    count=("salary", "count"),
)

# 缺失值处理
df.isnull().sum()                           # 每列缺失值数量
df.dropna(subset=["email"])                 # 删除 email 列缺失的行
df["age"].fillna(df["age"].median())        # 用中位数填充

# 新增列
df["salary_k"] = df["salary"] / 1000
df["is_senior"] = df["years"] >= 5

# 时间处理
df["date"] = pd.to_datetime(df["date"])
df["month"] = df["date"].dt.month
df.set_index("date").resample("M")["sales"].sum()  # 按月汇总

# 导出
df.to_csv("output.csv", index=False)
df.to_parquet("output.parquet")             # 更快更小

import matplotlib.pyplot as plt

# 基础折线图
plt.figure(figsize=(10, 6))
plt.plot(months, revenue, marker='o', linewidth=2, label='营收')
plt.plot(months, cost, marker='s', linestyle='--', label='成本')
plt.xlabel('月份')
plt.ylabel('金额（万元）')
plt.title('月度营收与成本趋势')
plt.legend()
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.savefig('trend.png', dpi=150)
plt.show()

# 子图布局
fig, axes = plt.subplots(2, 2, figsize=(12, 8))
axes[0, 0].bar(categories, values)
axes[0, 1].hist(data, bins=30)
axes[1, 0].scatter(x, y, alpha=0.6)
axes[1, 1].pie(sizes, labels=labels, autopct='%1.1f%%')
fig.suptitle('数据分析概览', fontsize=16)
plt.tight_layout()

import pandas as pd
import numpy as np


def clean_sales_data(input_path: str, output_path: str) -> pd.DataFrame:
    """完整的 CSV 数据清洗管道"""

    # 1. 读取数据
    df = pd.read_csv(input_path)
    print(f"原始数据: {df.shape[0]} 行, {df.shape[1]} 列")

    # 2. 列名标准化
    df.columns = df.columns.str.strip().str.lower().str.replace(' ', '_')

    # 3. 去除完全重复的行
    before = len(df)
    df = df.drop_duplicates()
    print(f"去重: {before - len(df)} 行")

    # 4. 处理缺失值
    # 数值列用中位数填充
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    for col in numeric_cols:
        missing = df[col].isnull().sum()
        if missing > 0:
            df[col] = df[col].fillna(df[col].median())
            print(f"  {col}: 填充 {missing} 个缺失值（中位数）")

    # 分类列用众数填充
    categorical_cols = df.select_dtypes(include=['object']).columns
    for col in categorical_cols:
        missing = df[col].isnull().sum()
        if missing > 0:
            mode_value = df[col].mode()[0]
            df[col] = df[col].fillna(mode_value)
            print(f"  {col}: 填充 {missing} 个缺失值（众数: {mode_value}）")

    # 5. 处理异常值（IQR 法）
    for col in numeric_cols:
        q1 = df[col].quantile(0.25)
        q3 = df[col].quantile(0.75)
        iqr = q3 - q1
        lower = q1 - 1.5 * iqr
        upper = q3 + 1.5 * iqr
        outliers = (df[col] < lower) | (df[col] > upper)
        if outliers.sum() > 0:
            df.loc[outliers, col] = df[col].clip(lower, upper)
            print(f"  {col}: 截断 {outliers.sum()} 个异常值")

    # 6. 日期解析
    date_cols = [c for c in df.columns if 'date' in c]
    for col in date_cols:
        df[col] = pd.to_datetime(df[col], errors='coerce')

    # 7. 导出
    df.to_parquet(output_path, index=False)
    print(f"\n清洗完成: {len(df)} 行 → {output_path}")
    return df


# 使用
clean_sales_data("raw_sales.csv", "clean_sales.parquet")

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


def quick_eda(df: pd.DataFrame, target: str | None = None) -> None:
    """生成快速 EDA 报告"""

    print("=" * 60)
    print("探索性数据分析报告")
    print("=" * 60)

    # 基本信息
    print(f"\n数据维度: {df.shape[0]} 行 × {df.shape[1]} 列")
    print(f"内存占用: {df.memory_usage(deep=True).sum() / 1024 / 1024:.1f} MB")

    # 缺失值
    missing = df.isnull().sum()
    missing_pct = (missing / len(df) * 100).round(2)
    missing_df = pd.DataFrame({"缺失数": missing, "缺失率%": missing_pct})
    missing_df = missing_df[missing_df["缺失数"] > 0].sort_values("缺失率%", ascending=False)
    if len(missing_df) > 0:
        print(f"\n缺失值统计:\n{missing_df.to_string()}")
    else:
        print("\n✅ 无缺失值")

    # 数值列统计
    numeric_df = df.describe().T
    print(f"\n数值列统计:\n{numeric_df.to_string()}")

    # 如果有目标变量
    if target and target in df.columns:
        print(f"\n目标变量 '{target}' 分布:")
        if df[target].dtype == 'object':
            print(df[target].value_counts().to_string())
        else:
            print(f"  均值: {df[target].mean():.2f}")
            print(f"  中位数: {df[target].median():.2f}")
            print(f"  标准差: {df[target].std():.2f}")

    # 生成关键图表
    fig, axes = plt.subplots(1, 3, figsize=(15, 5))

    # 缺失值柱状图
    if len(missing_df) > 0:
        missing_df["缺失率%"].plot.bar(ax=axes[0], color='coral')
        axes[0].set_title('缺失值比例')
        axes[0].set_ylabel('缺失率 (%)')

    # 数值列分布
    numeric_cols = df.select_dtypes(include=[np.number]).columns[:2]
    if len(numeric_cols) >= 1:
        df[numeric_cols[0]].hist(ax=axes[1], bins=30, color='steelblue', alpha=0.7)
        axes[1].set_title(f'{numeric_cols[0]} 分布')

    # 相关性热力图（取 top 8 数值列）
    corr_cols = df.select_dtypes(include=[np.number]).columns[:8]
    if len(corr_cols) > 1:
        corr = df[corr_cols].corr()
        im = axes[2].imshow(corr, cmap='RdBu_r', vmin=-1, vmax=1)
        axes[2].set_xticks(range(len(corr_cols)))
        axes[2].set_yticks(range(len(corr_cols)))
        axes[2].set_xticklabels(corr_cols, rotation=45, ha='right', fontsize=8)
        axes[2].set_yticklabels(corr_cols, fontsize=8)
        axes[2].set_title('相关性矩阵')

    plt.tight_layout()
    plt.savefig('eda_report.png', dpi=150, bbox_inches='tight')
    print("\n📊 图表已保存: eda_report.png")
    plt.show()


# 使用
df = pd.read_csv("sales.csv")
quick_eda(df, target="revenue")

import pandas as pd


def generate_sales_report(df: pd.DataFrame) -> pd.DataFrame:
    """生成多维度销售汇总报告"""

    # 按城市和产品分组
    report = df.groupby(["city", "product"]).agg(
        订单数=("order_id", "count"),
        总营收=("amount", "sum"),
        平均客单价=("amount", "mean"),
        最大订单=("amount", "max"),
        最早订单=("order_date", "min"),
        最近订单=("order_date", "max"),
    ).reset_index()

    # 计算环比增长
    report["营收排名"] = report.groupby("city")["总营收"].rank(ascending=False).astype(int)

    # 筛选 Top 3 产品
    top_products = (
        report[report["营收排名"] <= 3]
        .sort_values(["city", "营收排名"])
    )

    return top_products


# 使用
df = pd.read_csv("sales.csv", parse_dates=["order_date"])
report = generate_sales_report(df)
print(report.to_string(index=False))

# ❌ 反面：修改视图触发警告
subset = df[df["city"] == "Beijing"]  # subset 可能是视图
subset["salary"] = subset["salary"] * 1.1  # Warning!

# ✅ 正面：显式复制
subset = df[df["city"] == "Beijing"].copy()
subset["salary"] = subset["salary"] * 1.1  # 安全

# ✅ 正面：用 .loc[] 直接在原 DataFrame 上修改
df.loc[df["city"] == "Beijing", "salary"] *= 1.1