phoenix-evals

Phoenix Evals

为 AI/大模型应用构建评估器。优先使用代码，以大模型处理细微差异，并通过人工验证。

快速参考

任务	文件
设置	setup-python, setup-typescript
确定评估内容	evaluators-overview
选择裁判模型	fundamentals-model-selection
使用预构建评估器	evaluators-pre-built
构建代码评估器	evaluators-code-python, evaluators-code-typescript
构建大模型评估器	evaluators-llm-python, evaluators-llm-typescript, evaluators-custom-templates
批量评估 DataFrame	evaluate-dataframe-python
运行实验	experiments-running-python, experiments-running-typescript
在测试运行器中运行评估（CI 门禁）	integrations-pytest, integrations-vitest-jest
创建数据集	experiments-datasets-python, experiments-datasets-typescript
生成合成数据	experiments-synthetic-python, experiments-synthetic-typescript
验证评估器准确性	validation, validation-evaluators-python, validation-evaluators-typescript
导出 spans	observe-tracing-setup
编写 span 过滤器（SpanQuery().where）	filter-expressions
抽样跟踪记录以供审核	observe-sampling-python, observe-sampling-typescript
分析错误	error-analysis, error-analysis-multi-turn, axial-coding
RAG 评估	evaluators-rag
避免常见错误	common-mistakes-python, fundamentals-anti-patterns
生产环境	production-overview, production-guardrails, production-continuous

工作流

从头开始： observe-tracing-setup → error-analysis → axial-coding → evaluators-overview

构建评估器： fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript}

RAG 系统： evaluators-rag → evaluators-code-（检索）→ evaluators-llm-（忠实度）

CI 门禁： evaluators-{code|llm}-{python|typescript} → integrations-{pytest|vitest-jest} → production-continuous

生产环境： production-overview → production-guardrails → production-continuous

参考类别

前缀	描述
fundamentals-*	类型、评分、反模式
observe-*	追踪、采样
error-analysis-*	查找失败
axial-coding-*	对失败进行分类
evaluators-*	代码、大模型、RAG 评估器
experiments-*	数据集、运行实验
integrations-*	将测试运行器（pytest、Vitest、Jest）中的评估作为 CI 门禁运行
validation-*	根据人工标签验证评估器的准确性
production-*	CI/CD、监控

核心原则

原则	行动
先进行错误分析	未观察到的问题无法自动化处理
自定义优于通用	基于自身的失败构建
优先使用代码	先用确定性方法，再用大模型
验证评判器	准确率 >80%，TPR/TNR >70%
二元优于李克特量表	通过/失败，而不是 1-5 分
不变量设门禁，信号看趋势	对硬性不变量使用 assert/expect（CI 标记为失败）；记录大模型评判器质量信号，并对汇总结果（验收标准）设门禁，而不是对每个案例单独设门禁