Conkurrence

Name: Conkurrence
Author: AlligatorC0der

本地服务

github.com/AlligatorC0derAI 与智能体04 周前更新

关于 Conkurrence

Conkurrence 用于评估多个 AI 模型评分者在评测任务上的一致性，帮助团队找出需要专家复核的争议项。它衡量可靠性，但不能证明评分正确。

MCP 服务提供执行评测、生成报告、比较运行结果、跟踪趋势、建议和验证架构及估算成本的工具。自一致性模式可通过 MCP Sampling 使用宿主模型。

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": [
        "-y",
        "conkurrence"
      ]
    }
  }
}

启动命令npx -y conkurrence

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npmconkurrence1.0.5stdio

收录的工具列表 · 更新于 2 周前

参数	类型	必填	说明
schema	object	是	要验证的评估架构对象

用于 AI 评估的多模型评分：衡量模型评分者之间的一致性（Fleiss' κ、Kendall's W），以找出有争议、需要专家审核的项目。

**一致性可以告诉你什么：**评分者和评估标准在哪些方面一致，哪些方面不一致——哪些项目存在争议，以及分歧源于评估标准还是评分者。

**一致性不能告诉你什么：**评分者是否正确。一致性衡量的是可靠性，而非有效性。模型可能对错误答案信心十足且意见一致。使用 ConKurrence 来判断哪些地方需要专家评估，并诊断你的评估标准，而不是取代专家标注的真实基准。

**状态：维护模式。**ConKurrence 由 JE Vectors LLC 开发，是 Inqura 背后的评估工具。目前不接受购买，也不提供支持承诺。

npm install -g conkurrence

在 Claude Desktop 或任何兼容 MCP 的客户端中将 ConKurrence 用作 MCP 服务：

npx conkurrence mcp

添加到你的 claude_desktop_config.json：

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

/plugin marketplace add AlligatorC0der/conkurrence

工具	描述
`conkurrence_run`	使用多个 AI 评分者执行评估
`conkurrence_report`	生成详细的 Markdown 报告
`conkurrence_compare`	并排比较两次运行
`conkurrence_trend`	跟踪多次运行中的一致性
`conkurrence_suggest`	根据你的数据，由 AI 辅助提供架构建议
`conkurrence_validate_schema`	运行前验证架构
`conkurrence_estimate`	估算成本和令牌用量