mcpField
E
evals-init

evals-init

github.com/tikalk测试与质量143181 次安装今天更新
代码仓库

关于 evals-init

evals-init 是用于初始化项目级评估目录与配置的技能，适合开始系统化评估的项目团队。它建立 PromptFoo 或 DeepEval 结构，并附带安全基线 grader 和配置模板。

主要功能

  1. 01检测项目技术栈
  2. 02创建 PromptFoo 或 DeepEval 目录结构
  3. 03生成 PII、提示注入等安全 grader
  4. 04创建独立配置与 goldset 模板
  5. 05自动衔接 evals-specify

适用场景

  1. 01为应用建立初始评估框架
  2. 02从传统测试转向评估驱动开发
  3. 03从一开始加入安全基线检查

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/tikalk/adlc-team-skills --skill evals-init

安装后在 Claude Code 中输入/evals-init确认已加载。

附带文件scripts/bash/setup-evals-init.shscripts/powershell/setup-evals-init.ps1

详细介绍

evals-init

此技能的作用

按照 EDD（评估驱动开发）原则初始化项目级评估目录结构，为系统化开发评估做好准备。此技能完全独立，不依赖 spec-kit。

输出：

  1. 目录结构 - evals/{system}/，采用合适的组织方式（promptfoo | deepeval）
  2. 安全基线 - 自动创建用于检测 PII 泄露、提示词注入、幻觉和错误信息的评分器
  3. 配置文件 - 在 .adlc/evals/ 下创建独立的 config.yml 和 goldset 模板
  4. 自动移交到 /evals-specify，开始错误分析

应用的 EDD 核心原则：

  • 原则 I：规范驱动的契约 - 评估用于验证是否符合规范
  • 原则 II：二元通过/失败 - 评分器模板中不使用李克特量表
  • 原则 IV：评估金字塔 - Tier 1（快速）+ Tier 2（goldset）结构
  • 原则 IX：将测试数据作为代码 - 为数据集设置版本控制

适用场景

  • 开始系统化评估：为应用设置初始评估框架
  • 采用 EDD：从传统测试转向评估驱动开发
  • 安全优先的评估：从一开始就自动生成基线安全检查

不适用场景

  • 评估目录已存在：使用 /evals-validate 运行测试，或使用 /evals-specify 添加标准
  • 评估团队指令：此技能用于测试项目级应用行为，不用于检查是否遵循指令

流程

用户输入
$ARGUMENTS

先从参数中解析标志，再将剩余文本作为关注领域：

  • --system SYSTEM — 选择 promptfoo 或 deepeval。如果省略，则根据技术栈交互式选择。
  • 剩余文本 — 系统描述（设置重点）
执行步骤
阶段 1：检测技术栈
  • 扫描项目清单文件（package.json、requirements.txt、Cargo.toml、go.mod 等）
  • 混合/JS 技术栈推荐使用 PromptFoo；Python 原生技术栈推荐使用 DeepEval
阶段 2：创建目录结构

创建：

evals/
├── {system}/                    # promptfoo | deepeval
│   ├── goldset.md              # Published goldset
│   ├── goldset.json            # Auto-generated for system consumption
│   ├── config.yml              # System-specific configuration
│   ├── config.{js,py}          # Generated system config (.js for promptfoo, .py for deepeval)
│   └── graders/                # Binary pass/fail graders
│       ├── check_pii_leakage.py           # Security baseline
│       ├── check_prompt_injection.py     # Security baseline
│       ├── check_hallucination.py        # Security baseline
│       └── check_misinformation.py       # Security baseline
├── results/                    # Git-ignored run outputs
└── .adlc/
    └── drafts/evals/           # Draft eval records (Markdown + YAML)
阶段 3：复制配置
  • 如果 .adlc/evals/ 不存在，则创建该目录。
  • 将 skills/evals/evals-templates/evals-config-template.yml 复制到 .adlc/evals/evals-config.yml。
阶段 4：自动移交

触发 /evals-specify 以开始错误分析。

验证

  • evals/{system}/goldset.md 存在（初始为空）
  • .adlc/evals/evals-config.yml 存在
  • Graders 目录中包含 4 个安全基线 Python 脚本
  • Results 目录包含 .gitignore，以防止跟踪文件被纳入版本控制
  • 已生成移交报告，其中包含推荐的框架和后续步骤

评论

支持 Markdown