phoenix-evals

Phoenix Evals

为 AI/LLM 应用构建评估器。代码优先，用 LLM 处理细微之处，并针对人工标注进行验证。

快速参考

任务	文件
设置	setup-python、setup-typescript
确定要评估什么	evaluators-overview
选择评判模型	fundamentals-model-selection
使用预构建的评估器	evaluators-pre-built
构建代码评估器	evaluators-code-python、evaluators-code-typescript
构建 LLM 评估器	evaluators-llm-python、evaluators-llm-typescript、evaluators-custom-templates
批量评估 DataFrame	evaluate-dataframe-python
了解实验	experiments-overview
运行实验	experiments-running-python、experiments-running-typescript
创建数据集	experiments-datasets-python、experiments-datasets-typescript
生成合成数据	experiments-synthetic-python、experiments-synthetic-typescript
验证评估器准确度	validation、validation-evaluators-python、validation-evaluators-typescript
采样追踪以供审查	observe-sampling-python、observe-sampling-typescript
分析错误	error-analysis、error-analysis-multi-turn、axial-coding
RAG 评估	evaluators-rag
避免常见错误	common-mistakes-python、fundamentals-anti-patterns
生产	production-overview、production-guardrails、production-continuous

工作流

从零开始： observe-tracing-setup → error-analysis → axial-coding → evaluators-overview

构建评估器： fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript}

RAG 系统： evaluators-rag → evaluators-code-（检索）→ evaluators-llm-（忠实度）

生产： production-overview → production-guardrails → production-continuous

参考分类

前缀	描述
fundamentals-*	类型、分数、反模式
observe-*	追踪、采样
error-analysis-*	查找失败
axial-coding-*	对失败进行分类
evaluators-*	代码、LLM、RAG 评估器
experiments-*	数据集、运行实验
validation-*	针对人工标注验证评估器准确度
production-*	CI/CD、监控

核心原则

原则	行动
错误分析优先	未经观察的无法自动化
定制 > 通用	从你的失败中构建
代码优先	在 LLM 之前先求确定性
验证评判器	>80% TPR/TNR
二元 > 李克特	通过/失败，而非 1-5