Validation Framework

From seed to shadow forward

研究流程的目标不是找到“最好看的回测”,而是逐步消除时钟错位、数据泄漏、重复 episode、搜索偏差与机制幻觉。

01

Data / Clock / Algebra Audit

先确认时间基准、采样、对齐、符号方向、价格口径与收益计算,确保后续所有统计建立在同一个可复核事实层上。

02

Seed Reproduction

原样复现种子策略,锁定样本、参数与结果;无法复现的 seed 不进入后续优化。

03

Episode Definition

把重叠信号归并为独立事件,控制重复计数、簇状行情与同一冲击的多次命中。

04

Fixed Parent + Delta Shell

固定父策略,只改变一个外层条件,观察边际贡献;拒绝一次性堆叠大量过滤器后再解释。

05

Mechanism Fingerprint / A-B Fork

检查候选在 Spot、Perp、OI、basis、liquidation 与价格背景中的机制指纹,必要时拆成不同分支。

06

Structured Search + Search-aware Correction

提前定义搜索空间、候选数量与停止规则,对多重搜索造成的偶然优势进行校正。

07

Common / Unique + Portfolio Episode Risk

分解与现有策略重叠和独有的 episode,避免多个“好策略”其实押注同一批行情。

08

Freeze → Holdout → Deep Dive

冻结参数和规则后才进入真正未参与选择的 holdout;通过后再做极端情景、执行误差与脆弱性检查。

09

Shadow Forward

先以只读或模拟方式进入真实时间流,观察信号、数据、执行与风险门控是否与研究假设一致。

No silent rule changes.

任何参数、数据口径、episode 定义或执行假设的变化,都应重新记录并重新验证,而不是覆盖旧结果。