Backtest Overfitting Audit

overfitting-audit-mcp

「このエッジは本物か、それとも何百ものバリエーションをテストした結果の産物か？」に答える MCP サーバーです。バックテスト過剰最適化の確率（CSCV 方式）、Deflated Sharpe Ratio、最小バックテスト期間、パージおよびエンバーゴ付き交差検証の分割を実装しています。

解決する問題

同じ過去データに対して十分な数のパラメーターの組み合わせをテストすると、偶然だけで優れたバックテスト結果がいずれ得られます。標準的なバックテスト指標（シャープレシオ、勝率、プロフィットファクター）では、本物のエッジと、ほぼ同一の何百ものバリエーションの中で最も良く見える結果とを区別できません。このツールは、見栄えのよい単一の損益曲線を信頼するのではなく、この特定の失敗モードを直接監査します。

ツール

probability_of_backtest_overfitting

組み合わせ対称交差検証（CSCV）方式です。戦略のサンプル内パフォーマンスの順位がサンプル外でも維持されない確率を推定します。

deflated_sharpe_ratio

実施した試行回数とリターンの非正規性を考慮してシャープレシオを調整するため、バリエーションを追加でテストしただけで数値が水増しされることはありません。

minimum_backtest_length

特定のシャープレシオが統計的に意味を持つために必要な、独立した試行／観測の最小数です。

purged_cv_split

時系列バックテスト向けに、パージおよびエンバーゴ付きの交差検証分割を生成します。これにより、通常の k 分割交差検証が金融データにもたらす先読みリークを防ぎます。

利用方法

ホスト版（推奨）： MCPize — 無料プランがあり、より高い上限の有料 Pro プランも利用できます。

セルフホスト：

npm install
node server.js

AlgoForge スイートの一部

アルゴリズムトレーダー向けのプロップファームおよびクオンツ検証ツールです：prop-rules-mcp、trade-journal-mcp、payout-calc-mcp、econ-calendar-mcp、montecarlo-validator-mcp、walkforward-validator-mcp、pinescript-audit-mcp、backtest-cost-sensitivity-mcp、pinescript-mcp。

ライセンス

MIT