mcpField
S
system-one

system-one

github.com/magnus919开发15351 次安装1 天前更新
代码仓库

关于 system-one

用于设计受约束决策系统的技能:系统可使用类型化模型判断,同时由确定性代码或人工掌控权限与副作用。面向评估模型决策的开发者,提供契约、验证、回退和校准方面的指导。

主要功能

  1. 01定义可信状态和类型化问题
  2. 02在策略逻辑前验证模型输出
  3. 03将权限和副作用留在模型之外
  4. 04设定回退与弃答路径
  5. 05使用留出数据评估决策
  6. 06按任务查找参考资料与脚本

适用场景

  1. 01为应用加入范围明确的模型判断
  2. 02设计安全的工具控制边界
  3. 03校准模型驱动的排序或分类
  4. 04审查决策试点或评估

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/magnus919/agent-skills --skill system-one

安装后在 Claude Code 中输入/system-one确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

.dockerignore
.gitignore
README.md
evals/
business-app-rubric-challenges.md
evals.json
jev-release-feature-challenges.md
examples/
batch-request-shape.synthetic.jsonl
cascade.synthetic.jsonl
decision-battery-v1.jsonl
decision-qualification.synthetic.jsonl
jev-atomic-assertion-screen.json
jev-ci-coverage.synthetic.json
jev-eval-benchmark.json
jev-procedure-conflict.synthetic.json
noul.synthetic.jsonl
request.json
response.synthetic.json
references/
cascade-economics.md
clm.md
comparison-design.md
concepts-and-patterns.md
decision-battery.md
decision-qualification-probes.md
devops-decision-patterns.md
devops-escalation-eval-review.md
ecosystem-radar.md
evaluation-and-calibration.md
field-patterns-and-antipatterns.md
gliner25-decide-fine-tuning.md
gliner25-decide.md

详细介绍

System One 决策模型

使用模型进行受约束的判断,而不要将其用于权限控制或副作用:

authorized state + trusted typed questions -> validated model answers
-> deterministic policy -> act / wait / review / abstain -> observed outcome

将硬性业务规则、权限检查、阈值、操作执行、确认和回滚保留在代码或人工控制中。响应格式合法并不意味着判断正确;高概率也不等于获得许可。

从这里开始

  1. 在修改前,检查实际应用的状态来源、操作边界、测试和部署。除非明确将更改纳入范围,否则保留现有的确定性/无密钥行为。
  2. 填写 templates/decision-contract.md:可信状态、问题 ID/类型、允许的答案、未知/审查路径、副作用、负责人、截止时间和回滚。若要控制工具,还需使用 templates/action-control-contract.md。如果刚接触此类模型,请从 references/worked-decision-pilot.md 开始,选择一个边界明确的决策,然后使用 references/concepts-and-patterns.md 了解基本语义和组合方式。
  3. 仅打开下方与任务匹配的参考文档。将确切的问题说明、标准、状态路径和阈值放在可信配置中,而不是用户提供的状态中。ID 供应用代码使用;TypeSafe 文档说明 Jev 不会向模型发送问题 ID,因此应在每条说明中写明完整的判断含义。其他提供商可能使用不同的约定。若要了解问题措辞或候选项提取,请阅读 references/question-design.md。
  4. 在策略代码运行前,验证响应 ID、类型、选项集、分布、评分标准和有限值;记录返回的模型/版本,并强制校验固定的部署身份。将格式错误、不可用、过期或证据不足的结果视为指定的回退情形。
  5. 在具有代表性的留出数据和实际交付边界上进行验证;记录提供商/模型、问题/策略修订版本、结果和失败路径,不记录原始机密或不必要的个人数据。

在扩展跨模型测试集之前,请完成 templates/decision-battery-design-review.md,并审查一个小型且多样化的试点。明确定义测试统计的是不同场景、问题还是请求;在生成更多案例前,固定答案评分标准、比较约定和时序条件。如果这些定义或审查者标注不一致,请停止扩展并修订设计。除非明确要求发布,否则不要将基准测试输出纳入此技能的跟踪语料库。

按任务选择路线

任务接下来阅读
设计问题、选择候选项,或从源文本中提取值references/question-design.md;如需了解更广泛的应用组合,请阅读 references/use-case-patterns.md
Jev 版本/别名选择、实验性镜像/Box、长上下文,或托管 API/SDK 集成references/jev.md;先离线运行 scripts/decision_demo.py
CLM 类型化决策、候选项排序、Qwen3 编码器、微调或私有化服务references/clm.md
Laya 检查点、路由、语言、CPU/GPU/MPSreferences/laya.md
在带有类型化决策标签的数据上微调英文 Laya 检查点references/laya-fine-tuning.md
原生 C++ Laya 推理、CUDA/Vulkan,或兼容 Jev 的 HTTPreferences/laya-cpp.md
本地或私有/VPC Laya 服务先阅读 references/laya-self-hosting.md,再阅读 references/hosting-and-troubleshooting.md
采用渐进式披露的技能推荐,以及无匹配项拒绝references/implementation-audit.md
使用 Score 与成对 Choice 对候选短名单排序、比较图、Bradley–Terry,或解读排序实验结果references/pairwise-ranking.md;评测挑战见 references/ranking-eval-review.md
通过字幕或元数据进行旁白与媒体匹配;目录答案/组件选择references/use-case-patterns.md
浏览器/桌面/语音控制、Agent 路由、排序、护栏、截止时间references/use-case-patterns.md
语义代码 lint 规则设计、本地编辑后检查、图扫描或反馈评估references/semantic-lint-feedback.md;试点前填写 templates/semantic-lint-rule.md 和 templates/feedback-evaluation.md
首个 System One 试点,或决策、QA 运行器、语义 CI 门禁的评估示例references/worked-decision-pilot.md
从 1,305 次构建的实地调查中学习;识别实现模式和反模式references/field-patterns-and-antipatterns.md
审查原始浏览器、技能路由器、监督或审核实现references/implementation-audit.md
生产环境 QA 步骤路由、缓存重放、选择器修复或模型替换references/qa-automation-pattern.md,然后阅读 references/evaluation-and-calibration.md
DevOps 遥测路由、诊断测试排序、修复依据、可选 CI 作业、部署转换或持久化事件决策references/devops-decision-patterns.md 和 templates/decision-execution-record.md;运维流程仍由 SRE/QA/发布及工具技能负责
审查 DevOps/升级评测断言及其满足、矛盾或缺少证据的挑战references/devops-escalation-eval-review.md
基于置信度进行接受,并升级给更强的裁判references/selective-judgment.md 和 templates/cascade-qualification.md
概率、阈值、校准、模型比较references/evaluation-and-calibration.md 和 templates/benchmark-record.md
设计匹配比较、验证适配器、区分固定契约与模型适配赛道,或评估等价性references/comparison-design.md 和 templates/benchmark-record.md
比较单请求与批量请求的质量或校准情况references/request-shape-evaluation.md 和 templates/benchmark-record.md
替换 LLM 评分标准裁判、诊断分级量表偏移,或测试相关的裁判错误references/rubric-judge-research.md,然后阅读 references/evaluation-and-calibration.md
衡量路由器消融实验和完整回退成本references/cascade-economics.md 和 templates/benchmark-record.md
在测试框架中放置类型化决策、定义状态/权限/恢复,或衡量整体任务效果harness-engineering、其 System One 决策放置指南 和 离线往返示例;测试框架工程负责工作流边界,本技能负责类型化问题、响应验证、校准、弃权和模型替换
在 PydanticAI、LangGraph 或 LangChain 中实现契约使用相应框架技能了解其集成接口;本技能的类型化模型契约和校准规则仍为准
确定决策模型是否能改进 Agent 测试框架使用 agent-evals-and-observability 评估成对端到端任务、轨迹、副作用以及成本/延迟;本技能的模型级契约和校准检查仍为准
设计或运行可移植的 v1 标签集,或暂定的 v2 跨领域 Choice/Noul/Score 标签集references/decision-battery.md 和 templates/decision-battery-design-review.md;仅在试点审查之后运行 scripts/decision_battery.py
Jev 合成 QA 试点(失败分类、额外测试选择、语义评分)references/qa-pilot.md;先离线运行 scripts/jev_qa_pilot.py
在 CI 中审计成对评测的语义断言阅读 references/qa-pilot.md,然后运行 scripts/jev_eval_audit.py;将其判定视为参考意见,并保留精确的评分器结果
复现、运行、诊断或回滚此仓库的 Jev CI 部署references/jev-ci-reference-deployment.md;更改密钥或作业前检查当前工作流
根据真实输出筛查 Jev 的参考性评测判断references/qa-pilot.md 和 references/evaluation-and-calibration.md;使用 scripts/jev_eval_calibration.py 生成盲测包,然后使用独立标签或 scripts/jev_teacher_label.py 生成模型教师伪标签
在 Jev、Laya、CLM、GLiNER2.5-Decide 或其他候选项中进行选择references/ecosystem-radar.md;然后阅读所选模型的参考文档
根据一手证据筛查较新的开源类型化决策候选项references/open-decision-candidates.md;然后在基准测试前使用 references/comparison-design.md
实验性 Strands Decider 本地推理、指针头语义、上下文限制或仅使用源输入的视觉能力references/strands-decider.md;比较前验证原生适配器;评测变更见 references/strands-eval-review.md
Fastino GLiNER2.5-Decide 本地分类references/gliner25-decide.md
微调 GLiNER2,以实现 Decide 风格的分类references/gliner25-decide-fine-tuning.md
故障、延迟、设备回退、升级、回滚references/hosting-and-troubleshooting.md
对于托管式提供商集成,请先刷新提供商的实时文档索引,然后在编码前阅读当前 API 或所选 SDK 参考文档,以及最相关的 Cookbook。references/jev.md 包含 Jev 专属的路由和回退流程;其中的端点和契约详情是有日期的快照。

运行 python3 scripts/systemone_probe.py --request examples/request.json 执行离线契约检查。仅当用户已授权传输该状态并承担相应费用时,才添加 --live。对于本地 Laya,scripts/laya_service.py 需要指定固定版本的本地模型目录和运行时密钥;它是私有参考适配器,不是公共互联网服务。

通用限制

  • Jev 仅提供托管式/API 服务;不要编造可自托管的 Jev 权重下载方式。通用示例优先使用 jev-latest,但要验证其解析到的修订版本:截至 2026-10-15,该版本为 1.13.0;新的 1.14.0 是 jev-preview。图像、Box 和长上下文都需要明确选择启用实验功能;参见 references/jev.md。
  • Laya、CLM 和 Jev 可以共用一个类型化应用接口,但不能假定它们的阈值、校准、延迟、语言行为或模型质量相同。
  • 启用 Laya 调用方流量前,请确保入口为私有且经过身份验证;为请求字节数、问题数量、每个 Choice 的选项数量、并发数、队列等待时间和总时限设定有限且符合应用需求的上限。就绪状态检查应等待固定版本的模型、分词器、实际设备以及应用使用的任何校准文件就绪。随附适配器的 /readyz 仅检查设备驻留状态;在将生产流量路由到该适配器前,应扩展检查范围,覆盖所有必需文件。
  • 对于大型 Laya Choice 集合,应针对头部 token 预算检查经过分词的标签,并验证覆盖率和截断情况;传输层的选项数量上限并不能证明质量。如果采用候选项筛选,应测量召回率,并将概率视为仅对精确保留的候选集合有效。当标签并非穷尽所有可能项时,优先使用 other、unknown 或人工审核。参见 references/laya.md。
  • 独立问题可以共用一次调用,但要在冻结的案例上测试完全相同的批处理请求形态。如果后续问题的状态或候选集合会因第一个答案而改变,则需要再次调用。
  • 预先声明比较是固定决策语义,还是比较分别经过适配的模型加适配器系统。评分前,应确认适配器的极性、架构和溢出行为;响应形态兼容并不能证明语义一致。将协议记录在 templates/benchmark-record.md 中。
  • 在基于置信度升级处理之前,应分别验证错误区分能力与概率校准情况。根据选择数据集冻结路由,然后在未触碰的数据单元上测试已接受结果的绝对风险,以及回退机制带来的挽救或退步情况。置信度不能推翻不受支持的证据或已过期的状态。
  • 回退裁判或多提供商一致性并非独立的正确性证据。声称级联能提升质量前,应测量共享错误,并在留出数据上评估挽救或退步情况;参见 references/rubric-judge-research.md。
  • 语义 lint 结果只是模型判断,不能证明代码规则已满足。语法和架构检查应保持确定性,语义发现应可供审核;在独立分组留出集上测量误通过、误拦截、弃答、漂移和完整任务成本之前,门禁应仅作为建议。
  • 模型不能取代精确算术、来源追溯、资格判断、安全反射机制或不可逆审批。文本生成模型可以作为类型化路由后的独立受限阶段,而不应成为隐式权威来源。

只有在集成具备契约、留出评估、故障处理路径、部署/就绪检查和回滚记录后,才算完成。诊断时,找到能确定边界的最少证据,并通过一次复查验证修复;或者在三轮无法收敛的排查后,凭证据交由负责人处理。不要根据单次演示或供应商基准测试得出普遍结论。

不适用场景

通用训练策略请使用 ml-engineering;服务基础设施请使用 docker-compose 或 kubernetes;组织级权限设计请使用 ai-governance。对于散文、开放式规划,或不受类型化决策契约约束的长篇推理,请使用生成式模型技能。

框架交接

该框架提供经过授权且已版本化的状态、候选项/路由范围、任务目标、截止时间,以及待验证的结果。此技能依据固定的问题/评分标准/模型契约使用这些证据,并返回经过验证的类型化答案、模型身份/版本,以及明确的未知或失败路径。PydanticAI、LangGraph 和 LangChain 通过各自文档说明的接口传递和路由结果;确定性策略决定工作流的下一步。该框架返回观测到的效果和已接受任务的结果,用于端到端评估。问题/模型校准证据应保留在此技能中;有关放置、权限、恢复和整体任务证据,请使用 harness-engineering。

权威业务规则

对于业务策略转换,请转到 spec-driven-development 的策略配方和发布契约。经批准的规则应使用确定性代码;检索用于解释条款,范围受限的模型判断则将不确定证据路由至审核。类型化判断和资格认定都不会授予执行权限。

评论

支持 Markdown