01
历史样本外
可信证据
滚动样本外、多市场复现、含成本与容量的稳健性检验
主要失败方式泄漏、选择偏差、参数搜索和制度漂移
多因子截面选股可解
时间序列趋势可解
统计套利部分
公告后漂移部分
另类数据需求预测部分
长期超额收益预测前沿
市场状态识别部分
EVIDENCE VIEW / 13
不同问题，
需要不同的可信证据。
历史回测不是唯一证据，也不是所有问题的最佳证据。这里按最有区分力的验证方式重排问题，并同时展示每种证据最容易失败的地方。
02
因果与自然实验
可信证据
政策断点、外生冲击、工具变量或可审计干预
主要失败方式混杂、外推过度和事后挑选实验
因果 Alpha前沿
政策与规则变化前沿
拥挤与去杠杆传播前沿
03
仿真与市场回放
可信证据
逐事件回放、随机化切片、约束优化与反事实执行路径
主要失败方式仿真器遗漏参与者反应、跳跃与压力流动性
约束组合优化可解
风险预算可解
动态对冲部分
订单执行优化部分
市场冲击建模部分
队列位置与成交概率部分
策略容量部分
交易成本分析可解
04
影子与实盘监控
可信证据
影子运行、小流量试验、漂移归因、事件复盘与回滚记录
主要失败方式标签延迟、反馈污染和样本量不足
数据清洗与对齐可解
无偏回测可解
研究复现与实验治理可解
模型漂移监测部分
非结构化信息抽取部分
Alpha 衰减部分
05
压力与情景证据
可信证据
逆向压力、极端情景、红队推演和生存边界验证
主要失败方式把情景当概率，或漏掉新的反馈路径
尾部风险估计部分
流动性压力估计部分
崩盘时点预测前沿
未知未知风险前沿
对手适应与策略博弈前沿
反身性反馈前沿
先声明什么证据会改变判断，再开始研究；如果一种方法无法产生区分性证据，就更换验证方式，而不是延长同一种回测。