关于 Backtest Overfitting Audit
面向量化交易者的 MCP 服务，用于评估回测结果是否可能源于测试了大量变体。它提供过拟合统计指标和考虑数据泄漏的时间序列交叉验证拆分。
主要功能
- 01CSCV 回测过拟合概率
- 02按试验次数调整的 Deflated Sharpe Ratio
- 03最低回测长度计算
- 04清除与隔离期交叉验证拆分
适用场景
- 01评估策略回测是否可能过拟合
- 02按多次试验调整 Sharpe 结果
- 03创建避免前视泄漏的时间序列验证拆分
MCP 相关
向 MCP 客户端提供回测过拟合统计工具，以及生成清除式交叉验证拆分的工具。
配置
远程服务无需本地安装。选择你使用的客户端，复制配置或使用一键安装。
https://overfitting-audit-mcp.mcpize.run/mcpclaude mcp add --transport http tylerscomic-lab-overfitting-audit https://overfitting-audit-mcp.mcpize.run/mcp{"mcpServers":{"tylerscomic-lab-overfitting-audit":{"type":"http","url":"https://overfitting-audit-mcp.mcpize.run/mcp"}}}在 Cursor 中打开{"servers":{"tylerscomic-lab-overfitting-audit":{"type":"http","url":"https://overfitting-audit-mcp.mcpize.run/mcp"}}}在 VS Code 中打开{"mcpServers":{"tylerscomic-lab-overfitting-audit":{"type":"http","url":"https://overfitting-audit-mcp.mcpize.run/mcp"}}}{"mcpServers":{"tylerscomic-lab-overfitting-audit":{"serverUrl":"https://overfitting-audit-mcp.mcpize.run/mcp"}}}命令在终端中运行；JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。
工具
详细介绍
overfitting-audit-mcp
一个 MCP 服务，用于回答“这个优势是真实存在的，还是测试数百种变体造成的假象？”——实现回测过拟合概率（CSCV 方法）、Deflated Sharpe Ratio、最短回测长度，以及清除和禁运交叉验证切分。
解决的问题
针对相同的历史数据测试足够多的参数组合，最终总会仅凭偶然得到一份表现出色的回测结果。标准回测指标（Sharpe、胜率、利润因子）无法区分真实优势与数百种近似变体中表现最好看的结果。本工具直接审计这一特定失效模式，而不是盲目相信一条看起来表现出色的曲线。
工具
probability_of_backtest_overfitting
组合对称交叉验证（CSCV）方法——估算策略样本内表现排名在样本外无法维持的概率。
deflated_sharpe_ratio
根据试验次数和收益的非正态性调整 Sharpe 比率，防止仅靠测试更多变体来抬高比率。
minimum_backtest_length
在给定 Sharpe 比率具有统计意义之前，所需的最少独立试验／观测次数。
purged_cv_split
为时间序列回测生成清除和禁运交叉验证切分，防止普通 k 折交叉验证在金融数据上造成前视泄漏。
使用方法
托管版（推荐）： MCPize——提供免费套餐，以及限制更高的付费 Pro 套餐。
自行托管：
npm install
node server.js
AlgoForge 套件的一部分
面向算法交易员的自营交易公司规则和量化验证工具：prop-rules-mcp、trade-journal-mcp、payout-calc-mcp、econ-calendar-mcp、montecarlo-validator-mcp、walkforward-validator-mcp、pinescript-audit-mcp、backtest-cost-sensitivity-mcp、pinescript-mcp。
许可证
MIT
评论
一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。