数据体检:揪出数据里的病灶

六项体检,逐项跑

接着上一节的 csi300.csv,新建 check_data.py:

import pandas as pd

df = pd.read_csv("csi300.csv", parse_dates=["date"]).set_index("date").sort_index()

# ① 形状:多少行、多少列
print("① 形状:", df.shape)

# ② 缺失值:每列有多少空洞
print("② 缺失值:\n", df.isna().sum())

# ③ 重复:同一天出现两次?
print("③ 重复日期:", df.index.duplicated().sum())

# ④ 日期间隔:相邻两根K线隔了几天
gap = df.index.to_series().diff().dt.days
print("④ 最大间隔:", gap.max(), "天,出现在", gap.idxmax().date())

# ⑤ 极端涨跌:单日涨跌超过6%的日子
ret = df["close"].pct_change()
big = ret[ret.abs() > 0.06]
print("⑤ 单日涨跌>6%:", len(big), "天;最猛一天:",
      big.abs().idxmax().date(), round(big[big.abs().idxmax()] * 100, 2), "%")

# ⑥ 可疑的零:成交量为0的天数
zero = df[df["volume"] == 0]
print("⑥ 零成交量:", len(zero), "天",
      "" if zero.empty else f"({zero.index.min().date()} → {zero.index.max().date()})")

我在 2026-07 实测的结果,以及每个数字背后的真相:

721 天的零,是怎么回事

三个「病灶」里,前两个体检完发现是「虚惊」——但第三个是真的:2002 到 2004 年底,整整 721 天成交量全是 0。

真相是:沪深300 指数 2005 年 4 月 8 日才正式发布。你拉到的 2005 年之前的行情,是指数公司事后回溯计算的——价格能回算,但当年并不存在这个指数的「成交量」,所以数据源填了 0。

这意味着什么?如果你的策略用到成交量(比如「放量突破买入」),拿这段数据回测,2002–2004 年的结果全是垃圾——量能永远是 0,策略在那三年里根本不是在交易真实世界。

处理很简单,但必须是你知情后的主动选择:

# 只保留指数正式发布后的数据(2005-04-08 起)
df = df[df.index >= "2005-04-08"]

这就是体检的意义:数据不体检,你连自己在用「回溯编制的历史」都不知道。

📌 免责:本课为技术科普,所有数据与数字均来自公开渠道的实测,仅用于教学;不构成任何投资建议;投资有风险,盈亏自负。