mcpField
D
dual-axis-skill-reviewer

dual-axis-skill-reviewer

github.com/mphinance测试与质量3284 次安装5 天前更新
代码仓库

关于 dual-axis-skill-reviewer

dual-axis-skill-reviewer 是用于评估技能的 Python 工具，面向需要可复现审查和改进建议的开发者。它结合确定性检查与 LLM 内容评审，并按权重合并评分。

主要功能

  1. 01确定性维度评分
  2. 02可选执行测试
  3. 03生成 LLM 评审提示词
  4. 04合并加权评审结果
  5. 05支持跨项目审查

适用场景

  1. 01复核单个技能并生成评分
  2. 02批量审查多个技能
  3. 03定位低于 90 分的改进项

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/mphinance/alpha-skills --skill dual-axis-skill-reviewer

安装后在 Claude Code 中输入/dual-axis-skill-reviewer确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

README.md
references/
llm_review_schema.md
scoring_rubric.md
scripts/
run_dual_axis_review.py
scripts/tests/
conftest.py
test_run_dual_axis_review.py

详细介绍

双轴技能审查器

运行双轴审查脚本，并将报告保存到 reports/。

脚本支持：

  • 随机或固定选择技能
  • 自动轴评分，可选择执行测试
  • 生成 LLM 提示词
  • 合并 LLM JSON 审查结果并计算加权最终分数
  • 通过 --project-root 跨项目审查

适用场景

  • 需要对 skills/*/SKILL.md 中的某个技能进行可复现评分。
  • 最终分数低于 90 时，需要获取改进项。
  • 需要同时进行确定性检查和定性 LLM 代码／内容审查。
  • 需要从命令行审查其他项目中的技能。

前置条件

  • Python 3.9+
  • uv（推荐——通过内联元数据自动解析 pyyaml 依赖）
  • 运行测试：在目标项目中执行 uv sync --extra dev 或等效操作
  • 合并 LLM 轴：符合 LLM 审查架构的 JSON 文件（参见“资源”）

工作流

根据当前环境确定正确的脚本路径：

  • 同一项目：skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py
  • 全局安装：~/.claude/skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py

以下示例使用 REVIEWER 作为占位符。设置一次即可：

# If reviewing from the same project:
REVIEWER=skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py

# If reviewing another project (global install):
REVIEWER=~/.claude/skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py
步骤 1：运行自动轴评分并生成 LLM 提示词
uv run "$REVIEWER" \
  --project-root . \
  --emit-llm-prompt \
  --output-dir reports/

审查其他项目时，将 --project-root 指向该项目：

uv run "$REVIEWER" \
  --project-root /path/to/other/project \
  --emit-llm-prompt \
  --output-dir reports/
步骤 2：运行 LLM 审查
  • 使用生成的提示词文件：reports/skill_review_prompt_<skill>_<timestamp>.md。
  • 要求 LLM 返回严格的 JSON 输出。
  • 在 Claude Code 中运行时，让 Claude 充当协调器：读取生成的提示词，生成 LLM 审查 JSON，并将其保存以供合并步骤使用。
步骤 3：合并自动轴与 LLM 轴
uv run "$REVIEWER" \
  --project-root . \
  --skill <skill-name> \
  --llm-review-json <path-to-llm-review.json> \
  --auto-weight 0.5 \
  --llm-weight 0.5 \
  --output-dir reports/
步骤 4：可选控制项
  • 固定选择以确保结果可复现：--skill <name> 或 --seed <int>
  • 一次审查所有技能：--all
  • 跳过测试以快速初步筛查：--skip-tests
  • 更改报告保存位置：--output-dir <dir>
  • 提高 --auto-weight，以加强确定性门槛。
  • 当定性／代码审查深度更重要时，提高 --llm-weight。

输出

  • reports/skill_review_<skill>_<timestamp>.json
  • reports/skill_review_<skill>_<timestamp>.md
  • reports/skill_review_prompt_<skill>_<timestamp>.md（启用 --emit-llm-prompt 时）

安装（全局）

若要在任何项目中使用此技能，请将其符号链接到 ~/.claude/skills/：

ln -sfn /path/to/claude-trading-skills/skills/dual-axis-skill-reviewer \
  ~/.claude/skills/dual-axis-skill-reviewer

完成后，Claude Code 将在所有项目中发现此技能，并且可通过 ~/.claude/skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py 访问该脚本。

资源

  • 自动轴对元数据、工作流覆盖率、执行安全性、产物是否存在以及测试健康状况进行评分。
  • 自动轴可检测 knowledge_only 技能，并调整对脚本和测试的预期，以避免不公平的扣分。
  • LLM 轴对内容深度质量（正确性、风险、缺失逻辑、可维护性）进行评分。
  • 最终分数为加权平均值。
  • 如果最终分数低于 90，则必须提供改进项，并将其列在 Markdown 报告中。
  • 脚本：skills/dual-axis-skill-reviewer/scripts/run_dual_axis_review.py
  • LLM 架构：references/llm_review_schema.md
  • 评分细则：references/scoring_rubric.md

评论

支持 Markdown