关于 openclaw-behavior-validator
openclaw-behavior-validator 是依据行为契约测试运行中产品的技能,不检查源代码。它通过用户或运维人员可见的界面进行黑盒验证,并按契约条款整理发现。
主要功能
- 01基于契约验证行为
- 02不查看源代码的测试流程
- 03通过浏览器、CLI 和 API 交互
- 04反作弊探测与证据记录
- 05结构化报告与复测
适用场景
- 01依据用户请求验证功能
- 02检查 CLI 或 API 行为
- 03测试生成的产物
- 04修复后重新执行检查
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ theangrypit/ theangryskills --skill openclaw-behavior-validator安装后在 Claude Code 中输入/openclaw-behavior-validator确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
LICENSEMIRROR.mdagents/openai.yamlreferences/contract-template.mdreport-schema.md详细介绍
行为验证器
无需检查源代码,即可验证可观察到的行为。将其用作代码审查的黑盒搭档:autoreview 评估变更包,而 behavior-validator 则依据行为契约评估正在运行的产品、CLI、API 或生成的产物。
契约
- 首先阅读行为契约。如果没有契约,请根据用户请求先编写一份简短契约,再开始测试。参见
references/contract-template.md。 - 对源代码保持盲视。不要检查源文件、差异、测试、Git 历史、实现说明、构建内部细节或审查包。
- 仅通过用户可见或运维人员可见的界面进行交互:浏览器、CLI、API、生成的文件、公开日志、屏幕截图、辅助功能树或文档中说明的运行时输出。
- 将看起来像实现细节的证据视为污染。如果必须访问源代码才能继续,请停止并报告
blocked_source_required。 - 根据契约条款和可观察步骤报告发现,不要引用代码位置。
- 只有在每项相关契约条款都已标记为通过、失败、受阻或不适用后,才能判定工作流通过。
隔离
优先使用对源代码盲视的工作区:
validator_dir="$(mktemp -d "${TMPDIR:-/tmp}/behavior-validator-run.XXXXXX")"
chmod 700 "$validator_dir"
cp behavior-contract.md "$validator_dir/"
cd "$validator_dir"
根据契约启动或连接目标。私有验证器工作区中仅保留契约、允许使用的测试数据和经过脱敏的捕获证据。通过经批准的密钥工具或指定的环境变量提供凭据;切勿将凭据值复制到工作区、报告、屏幕截图或日志中。不要为契约或捕获证据使用固定的共享路径。如果必须从源代码检出目录启动应用,请在单独的终端中启动,验证期间不要读取源代码。
工作流
- 将契约解析为用户任务、预期行为、反作弊探测、设置要求和证据要求。
- 准备运行时访问方式:目标 URL、CLI 命令、API 端点、测试数据、凭据或生成的产物路径。
- 像真实用户或运维人员一样执行每项用户任务。
- 运行反作弊探测:更改测试数据、刷新或重试、测试空输入和无效输入、验证持久性、检查生成的输出,并确认按钮或命令确实执行了实际操作,而不只是显示成功文本。
- 将证据记录为简洁的脱敏笔记、屏幕截图、终端摘录、响应摘要、文件摘要或辅助功能观察结果。省略凭据、令牌、Cookie、私人用户数据和无关的日志内容。
- 输出结构化报告。如果需要机器可读报告,请使用
references/report-schema.md。 - 如果协调器修复了某项发现,只需重新运行受影响的契约条款以及附近的回归探测。
发现规则
- 如果可观察到的行为违反契约、任务无法完成、预期状态是伪造或静态的,或证据不足以支持声称通过,则判定失败。
- 如果缺少必要的运行时访问权限、凭据、测试数据、网络或工具,则判定受阻。
- 只有在契约明确排除相关行为,或任务取决于用户拥有的产品决策时,才标记为不适用。
- 不接受纯粹关于美观、代码质量或实现风格的问题;这些问题属于代码审查的范畴。
最终报告
包括:
- 已测试的目标
- 使用的契约文件或内联契约
- 通过/失败/受阻/不适用的汇总
- 已接受的行为问题及其复现步骤和证据
- 已运行的反作弊探测
- 尚存的阻碍(如有)
评论
支持 Markdown