A/B 测试交易策略：了解概念与风险控制

A/B 测试交易策略意味着并行运行两个在其他方面相同的策略变体，测量一个预先指定的主要指标，并使用预定义的停止规则来决定是否值得采纳更改。在交易中，这种更改可能是单一的退出规则、订单类型、参数设置或执行调整。

教育说明：本文仅用于教育目的，不构成财务、投资、法律或税务建议。Finelo 不推荐任何证券、策略、平台或交易。投资和交易存在风险，包括可能损失本金。请向官方来源或合格的专业人士核实当前规则、费用、产品条款和适合性。

一个实用的起点是选择一个狭窄且可证伪的假设，记录主要指标和最低观测规则，然后按阶段推进：回测、纸面交易（paper trade），在适当情况下运行小规模的实时试点。有关连接回测、纸面交易和实盘经纪集成的托管平台示例，请参阅 QuantConnect 的文档，入门 — QuantConnect。

A/B 测试在交易中的含义

交易中的 A/B 测试借鉴了产品分割测试的理念。变体 A 是当前的策略或规则。变体 B 是已更改的版本。两个变体应接受相同或精心匹配的输入，比较应集中在一个约定的主要指标上，例如每笔交易净 P&L、每次成交的平均滑点或回撤。

目标是隔离因果关系。如果同时更改多个规则，就很难知道是哪一项更改影响了结果。更清晰的测试一次只问一个问题，例如：

• 更短的移动平均退出是否会减少回撤？
• 不同的订单类型是否能减少滑点？
• 修订后的止损规则是否会改变每笔交易净 P&L？

当更改是离散且可测量时，A/B 测试最有用。当整个策略逻辑发生改变时，A/B 测试的用处较小，因为过多的变量会掩盖任何性能差异的原因。

核心权衡在交易研究中是熟悉的：

• 抽样偏差：在不同的市场状态下运行 A 和 B 可能会使某一版本看起来更好，但原因并非测试变更本身。
• 过拟合：在相同样本上重复测试可能会膨胀假阳性率。
• 执行差距：模拟成交可能低估实盘滑点、延迟和部分成交行为。

有纪律的 A/B 测试不能完全消除这些风险，但能更容易识别和记录它们。

A/B 测试与其他验证方法的比较

A/B 测试只是多种验证方法之一。当实验具有单一、狭窄的假设时，它效果最好。当研究问题更广泛时，其他方法可能更合适。

• 回测：对一种策略进行历史重放以检查行为。这通常适用于初步可行性检查。
• 向前行走分析（walk-forward analysis）：在多个时间窗口上反复重新优化和测试以评估参数稳健性。
• 多变量或盗贼算法（bandit）方法：在设计中包含持续的探索与利用时，对多个在线候选方案进行分配。

一个简单的指南：

• 在评估单一规则变化时使用 A/B 测试，例如“更短的 MA 退出是否减少回撤？”。
• 当参数预期会漂移并且反复重新优化是流程一部分时使用 向前行走分析。
• 当许多在线变体需要自适应分配且设计接受随时间改变分配时，使用 盗贼算法或多变量框架。

在设计实验之前，将“样本外”（out-of-sample）、“向前行走”（walk-forward）和“滑点”（slippage）等术语的定义对齐通常有帮助。共享的术语表可以减少报告错误并使结果更易于审查。Finelo 的 学习中心和词汇表 可以作为一致术语的参考点。

A/B 测试的核心工作流程

稳健的 A/B 工作流程基于五个支柱：假设、相同输入、预定义指标、受控评估和验证。

1. 从可证伪的假设开始

写出一个狭窄的陈述，指出指标、方向和阈值。例如：

“将被动限价（passive limit）改为限价+IOC 可以在年化净 P&L 保持 ±5% 内的同时，将每次成交的平均滑点减少 ≥10%。”

如果假设无法命名一个主要指标，可能需要将想法拆分为更小的实验。这可以减少模糊的结果并限制事后解释结果的诱惑。

2. 保持市场输入一致

尽可能让两个变体看到相同的市场输入。在回测中，这意味着相同的时间戳、价格数据、公司行为处理和成交假设。在纸面或实盘测试中，这可能意味着随机路由传入信号或使用匹配的资金池以保持敞口可比。

执行差异仍可能产生系统性差异。因此，记录以下内容是有用的：

• 成交价格
• 延迟
• 部分成交
• 取消率
• 已实现滑点
• 交易次数

这些微观指标有助于解释两个变体为何出现分歧。

3. 预先定义指标和阈值

选择一个主要指标和一到两个次要指标。例如：

• 主要指标：每笔交易净 P&L
• 次要指标：最大回撤和已实现滑点
• 背景指标：交易次数

决策规则也应在测试开始前写明。例如：“如果 B 的每笔交易中位 P&L 比 A 高出至少 X 且回撤不超过 Y，则接受 B。”

预先定义的阈值可以减少事后合理化。中位数或截尾均值也可能有用，因为它们对离群值的敏感性低于原始平均值。

4. Evaluate Results Carefully

避免随意的显著性声明。如果交易结果接近独立，基于交易级别收益的自助法（bootstrap）置信区间可能有参考价值。如果结果存在聚类或自相关，块状自助法或在多个窗口上的重复可能更合适。

当独立性不明确时，在新的数据窗口上重复验证通常比依赖单个 p 值更有用。例如，针对每笔交易中位收益的 95% 自助法置信区间可以表明观察到的差异是清晰、噪声较大还是值得再次测试。如果区间几乎重叠，则比立即得出结论更有信息量的做法是延长试点或使用新的验证窗口。

5. 在样本外和试点测试中验证

在调参之前预留一个样本外期。如果变体 B 在样本内表现更好，请在新数据上测试它或以回测中使用的相同日志标准运行纸面试点。

在试点期间，将成交和滑点与历史假设进行比较。如果模拟结果假设成交清洁，但纸面或实盘试点显示频繁的部分成交、执行延迟或更宽的成本，则需要更谨慎地解释测试结果。

一个简单的 A/B 测试示例

假设目标是测试更短的移动平均退出是否在不显著降低收益的情况下减少回撤。

• 变体 A：20 日移动平均退出
• 变体 B：10 日移动平均退出
• 主要指标：每笔交易净 P&L
• 次要指标：最大回撤和交易次数
• 验证步骤：将最近六个月保留为样本外
• 试点步骤：运行两个月的纸面试点并记录成交情况

两个变体将在相同的样本内窗口上进行回测。样本外期将保留，直到规则被选定为止。如果变体 B 能降低回撤且交易次数保持在合理水平，纸面试点则可集中观察执行是否如预期般表现。

关键不在于这个特定的移动平均设置更优，而在于这是一个如何隔离单一更改、持续一致地测量它并避免在测试期间改变问题的简单示例。

将回测、纸面交易和经纪集成结合的平台可能会减少操作摩擦。QuantConnect 在其 入门 — QuantConnect 文档中提供了一个示例。