关于 Laya Typed Decisions
Laya Typed Decisions 将本地 Laya 模型封装为 MCP 服务,用于是非、选项和评分判断。它为 Python 模型部署增加 token 预算预检、结构化错误和健康状态报告。
主要功能
- 01是非、选项和评分判断
- 02预检报告内容截断情况
- 03结构化错误指出问题项
- 04健康检查报告 CPU 降级
- 05通过常驻 sidecar 提供模型服务
适用场景
- 01检查长输入是否会被截断
- 02通过 MCP 执行类型化判断
- 03在多个会话间复用已加载模型
MCP 相关
通过 stdio 提供 MCP 服务,开放 Laya 类型化判断工具。npm 启动器将 MCP 数据流传递给 Python 实现。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
laya-mcp
用于 Laya 类型化决策的 MCP 服务 —
noul(是/否)、choice、score — 经过封装,可在服务器环境中正常运行。
npx -y laya-mcp --help
已在官方 MCP Registry 中注册为 io.github.PerryLink/laya-mcp。
这个 npm 包是启动器,而不是实现本身。 Laya 是一个 PyTorch 模型,因此服务本身使用 Python。安装此包只会获得 Node 入口点,其他内容一概没有;你还需要 Python 端:
pip install "laya-mcp[mcp]"
npx laya-mcp会找到该解释器,将 stdio 交给它处理,并原样传递 MCP 流。它不会替你安装任何东西 —— 运行命令时顺带下载 torch (约 2 GB)和检查点(约 650 MB),不是启动器应该做的事。
如果找不到你的 Python
在 Windows 上,PATH 中的 python 通常是 Microsoft Store 的执行别名,它只是一个存根:无法导入任何内容,而且排在真正的解释器之前。
因此,启动器会报告尝试过的内容,而不是声称缺少此包。无论哪种情况,都可以将它指向正确的解释器:
# name it outright
set LAYA_MCP_PYTHON=C:\path\to\python.exe # Windows
export LAYA_MCP_PYTHON=/path/to/python # macOS, Linux
# or just activate the virtualenv you installed into — VIRTUAL_ENV is honoured
仍会读取
LAYACORE_PYTHON。0.1.0 和 0.1.1 会在错误消息中显示这个名称;如果启动器不再遵循其前一版本告诉你设置的变量,那比保留这个别名还糟。
状态:0.1.5,仍在开发中。 Python 核心已实现,并由 CI 覆盖测试。启动器本身有十项检查,涵盖解释器发现;它以前出错的地方正是这里。1.0 发布前,接口仍可能变更。
它为何存在
Laya 会悄无声息地截断内容,而且不会报告:
- 它会从末尾截去状态内容。 长文档会丢失尾部内容 —— 对于合同或邮件往来,答案往往就在那里 —— 而模型却会对剩下的前缀给出十足信心的回答。
- 它会缩短选项,直到标签无法区分。 每个问题的选项共用固定的 token 预算;超过一定数量后,每个标签都会被缩到约 4 个 token。这正是文档所述的它在高基数选择上表现崩溃的原因。
- 它的
confidence不代表准确率。 它是归一化熵;即使首选项正确,只要概率分布较分散,数值就会偏低;而答错时却可能显示很高的置信度。 - CUDA OOM 时,它会自动切换到 CPU,并永久保持该状态,不设置任何标志 —— 速度大约慢 10–15 倍,响应中也不会说明这一点。
此包增加了预检,用于报告哪些内容会被截断;还增加了能指出问题所在的问题项的结构化错误、诚实的置信度约定,以及如实反映降级情况的健康状态接口。
用法
laya-mcp serve # warm HTTP sidecar on 127.0.0.1:8787 (loads the model once)
laya-mcp mcp # MCP over stdio
laya-mcp doctor # what is installed, and whether the GPU really works
laya-mcp install # register with whichever agent harness you have
install 会处理 MCP 服务缺乏通用注册方式这一问题:Claude Code(mcpServers)、Codex([mcp_servers.<name>])、opencode(mcp,使用数组形式的 command)、OpenClaw(mcp.servers)和 Hermes(mcp_servers)都会将正确格式写入对应文件,并在合并前备份,而不是直接覆盖。pi 没有原生 MCP 支持,因此会报告为不受支持。
与其在每个 stdio 进程中托管模型,不如使用 serve 搭配 --sidecar:每个会话都会启动一个服务进程,而每个会话都加载一个 650 MB 的检查点,正是基于 Python 的 MCP 服务感觉缓慢的主要原因。
诚实说明局限
以下数据来自上游,仅因某些集成声称并非如此,才再次列出:基础检查点在零样本类型化决策上的表现接近随机猜测(0.362,而多数类基线为 0.461);score 是表现最弱的基本功能(独立测量结果为 35%,而非 70%);温度拟合前的原始校准误差为 0.466;并且在一次测试运行中,50 道选择题有 46 道回答了“A”。
校准能让概率更诚实,却无法让模型答对。
许可证
Apache-2.0。Laya 由 Convai Innovations 按 Apache-2.0 许可证发布。本集成是独立项目,与该项目无关联,也未获其认可。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。