voting-mcp

voting-mcp

基于 MCP 工具的原则性社会选择聚合——并通过基准测试衡量相较于简单多数投票的准确率提升。

几乎所有多 Agent 系统都用 Counter(votes).most_common(1) 来聚合投票，丢弃了偏好顺序和置信度。voting-mcp 将真正的规则（Borda、Copeland、Condorcet、approval、STV、linear opinion pool）作为可调用的 MCP 工具提供——每种规则都具有已知的公理性质和明确记录的平局处理方式——并提供可复现的基准测试：在推理数据集上聚合多样化的大模型集成的结果，并报告准确率及自助法置信区间。

该服务纯粹执行计算：使用 stdio 传输，不联网、不写入文件、不涉及机密——从设计上符合 OWASP MCP Top 10 的要求。

安装

# run the server directly (once published)
uvx voting-mcp

# or from source
git clone https://github.com/HrishiKabra/voting-mcp && cd voting-mcp
uv sync
uv run python -m voting_mcp.server

将其添加到 MCP 客户端（例如 Claude Desktop 的 claude_desktop_config.json）：

{
  "mcpServers": {
    "voting": { "command": "uvx", "args": ["voting-mcp"] }
  }
}

工具

每个工具都接收一个 profile（{candidates, ballots}），并返回一个 Result，其中包含完整的共同获胜者集合（winners，因此平局绝不会被隐藏）、经过单个平局处理后选出的获胜者 winner（如果没有则为 null）、排名 ranking、各候选人的得分 scores，以及说明 note。

工具	选票	说明
borda	排名	位置计分；与 Condorcet 规则不一致，对克隆敏感
copeland	排名	符合 Condorcet 规则的两两比较（胜 +1，平 +0.5）
condorcet	排名	返回两两比较的获胜者，或在出现循环时明确返回无人获胜
approval	认可集合	获得最多认可者获胜
stv	排名	单一获胜者即时决选；抗克隆
opinion_pool	分布	线性池化——保留置信度，而非采用 argmax 投票
plurality	排名	基线（第一选择最多者获胜）
majority	排名	严格超过 50% 才获胜，否则无人获胜
aggregate_rule	任意	根据 rule 枚举值分派

平局处理是显式参数（默认为 lexicographic，也可以设为 none 或带种子的 random）。

基准测试

在 ARC-Challenge 上聚合由 5 个模型组成的集成（通过 OpenRouter 使用一个兼容 OpenAI 的客户端），并将每种规则与简单多数投票进行比较：

uv sync --extra bench
uv run python -m bench.fetch_arc --limit 200
# prints a cost estimate and STOPS; add --yes to actually call the API, --mock for a free dry run
uv run python -m bench.run_ensemble --dataset bench/datasets/arc_challenge.jsonl --limit 200 --yes
uv run python -m bench.compare --dataset bench/datasets/arc_challenge.jsonl --limit 200

每条原始响应都会缓存在 bench/results/raw/ 下；重新运行时不会再次调用 API，因此可以免费调整聚合方式。

结果

5 模型集成（gpt-4o-mini · gemini-2.5-flash-lite · deepseek-v3 · claude-haiku-4.5 · glm-4.7），n = 200，bootstrap 95% 置信区间。两个难度不同的数据集；完整报告和 两张图表见 RESULTS.md。

MMLU-Pro（高难度，基线 73.5%）——最有参考价值的案例：

规则	准确率	95% 置信区间	相对多数投票的配对 Δ	p
opinion_pool	0.755	[0.695, 0.815]	+0.020 [−0.011, +0.052]	0.225
majority_vote (baseline)	0.735	[0.679, 0.788]	—	—
approval	0.701	[0.640, 0.757]	−0.035 [−0.063, −0.006]	0.014
stv	0.693	[0.630, 0.750]	−0.043 [−0.072, −0.015]	0.002
copeland	0.647	[0.580, 0.710]	−0.088 [−0.127, −0.052]	<0.001
condorcet	0.620	[0.550, 0.685]	−0.115 [−0.155, −0.079]	<0.001
majority (strict)	0.590	[0.520, 0.655]	−0.145 [−0.189, −0.105]	<0.001
borda	0.472	[0.405, 0.540]	−0.263 [−0.323, −0.206]	<0.001

Δ 使用逐题准确率差异进行配对 bootstrap检验（题目相同，因此共同难度会相互抵消），而不是通过比较独立置信区间来判断。

发现（如实说明）：关键不在于“复杂投票胜过多数投票”，而在于：当群体不确定时，保留置信度的规则（opinion_pool）表现最好（+2.0 个百分点，是唯一高于基线的规则——结果有参考意义，但在 n=200 时未达显著，配对 p=0.225）；而强行将概率分布转化为完整排名会显著损害表现——所有排名规则的配对 p 值均 ≤0.014，低于基线；borda 更是降至 0.472，因为在 10 个选项中，排名尾部大多是噪声。汇总置信度，不要将其丢弃。在ARC-Challenge 上（基线 96.8%，接近上限），各规则之间没有显著差异。详见 RESULTS.md。

开发

uv run pytest -q
uv run ruff check .
uv run mypy --strict src
# exercise the tools in the MCP Inspector:
npx @modelcontextprotocol/inspector uv run python -m voting_mcp.server

注意：如果将此仓库放在由 iCloud 同步的文件夹中（例如 ~/Desktop），iCloud 可能会生成重复的 .pth 文件，间歇性地导致可编辑安装失败。测试使用 pythonpath=src；如果导入失败，请使用 PYTHONPATH=src 运行服务，或将仓库移出同步文件夹。

相关研究

这里对规则的选择源于作者在投票规则设计方面的研究： Optimizing Voting Rules for Social Welfare and Beyond （AAMAS）。这项研究探讨的是：考虑到选民实际表达偏好的方式，哪些聚合规则能最大化社会福利；本项目将同样的视角应用于 LLM 集成——基准测试给出的答案是，保留置信度的聚合（线性意见池）能够带来收益，而将基数信念强行转化为序数排名则会破坏信号。

许可证

MIT