Conkurrence

ConKurrence

AI 評価のための複数モデル評価：モデル評価者間の一致度（Fleiss' κ、Kendall's W）を測定し、専門家によるレビューが必要な意見の分かれる項目を特定します。

一致度からわかること： 評価者と評価基準に一貫性がある箇所と、そうでない箇所です。意見の分かれる項目や、意見の相違が評価基準によるものか、評価者によるものかがわかります。

一致度からはわからないこと： 評価者の判断が正しいかどうかです。一致度は信頼性を示すものであり、妥当性を示すものではありません。モデルは、誤った回答に自信を持って一致することがあります。ConKurrence は、専門家の判断が必要な箇所の特定や評価基準の診断に使用してください。専門家がラベル付けした正解データの代わりとして使用しないでください。

ステータス：メンテナンスモード。 ConKurrence は JE Vectors LLC が Inqura の評価ツールとして開発しています。購入は受け付けておらず、サポートの提供も保証していません。

インストール

npm install -g conkurrence

MCP サーバー

Claude Desktop または MCP 互換クライアントで ConKurrence を MCP サーバーとして使用します。

npx conkurrence mcp

Claude Desktop の設定

claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Claude Code プラグイン

/plugin marketplace add AlligatorC0der/conkurrence

機能

• 複数モデルによる評価 — スキーマを Bedrock、OpenAI、Gemini のモデルに対して同時に実行します
• 一致度統計 — ブートストラップ信頼区間付きの Fleiss のカッパ係数、専門家がラベル付けしたアンカー項目に対する Kendall の W
• 自己一貫性モード — API キーは不要です。MCP Sampling 経由でホストモデルを使用します
• スキーマの提案 — データに基づき、AI がスキーマ設計を提案します
• 傾向の追跡 — 実行結果を時系列で比較し、一致度の低下を検出します
• コストの見積もり — 実行前にコストを確認できます

MCP ツール

ツール	説明
conkurrence_run	複数の AI 評価者を使って評価を実行します
conkurrence_report	詳細な Markdown レポートを生成します
conkurrence_compare	2 つの実行結果を並べて比較します
conkurrence_trend	複数回の実行にわたって一致度を追跡します
conkurrence_suggest	データに基づき、AI がスキーマを提案します
conkurrence_validate_schema	実行前にスキーマを検証します
conkurrence_estimate	コストとトークン使用量を見積もります

リンク

• ホームページ： conkurrence.com
• npm： npmjs.com/package/conkurrence
• 利用規約： app.conkurrence.com/terms
• プライバシーポリシー： app.conkurrence.com/privacy

ライセンス

BUSL-1.1 — Business Source License 1.1