phoenix-evals

Phoenix Evals

AI／LLM アプリケーション向けの評価器を構築します。まずコードで実装し、ニュアンスの判断には LLM を使い、人間の評価と照らして検証します。

クイックリファレンス

タスク	ファイル
セットアップ	setup-python, setup-typescript
評価対象を決める	evaluators-overview
評価モデルを選ぶ	fundamentals-model-selection
既成の評価器を使う	evaluators-pre-built
コード評価器を構築する	evaluators-code-python, evaluators-code-typescript
LLM 評価器を構築する	evaluators-llm-python, evaluators-llm-typescript, evaluators-custom-templates
DataFrame を一括評価する	evaluate-dataframe-python
実験を実行する	experiments-running-python, experiments-running-typescript
テストランナーで評価を実行する（CI ゲート）	integrations-pytest, integrations-vitest-jest
データセットを作成する	experiments-datasets-python, experiments-datasets-typescript
合成データを生成する	experiments-synthetic-python, experiments-synthetic-typescript
評価器の精度を検証する	validation, validation-evaluators-python, validation-evaluators-typescript
スパンをエクスポートする	observe-tracing-setup
スパンフィルターを記述する（SpanQuery().where）	filter-expressions
レビュー用にトレースをサンプリングする	observe-sampling-python, observe-sampling-typescript
エラーを分析する	error-analysis, error-analysis-multi-turn, axial-coding
RAG 評価	evaluators-rag
よくある間違いを避ける	common-mistakes-python, fundamentals-anti-patterns
本番環境	production-overview, production-guardrails, production-continuous

ワークフロー

新規に始める場合： observe-tracing-setup → error-analysis → axial-coding → evaluators-overview

評価器を構築する場合： fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript}

RAG システムの場合： evaluators-rag → evaluators-code-（検索）→ evaluators-llm-（忠実性）

CI でゲートを設定する場合： evaluators-{code|llm}-{python|typescript} → integrations-{pytest|vitest-jest} → production-continuous

本番環境の場合： production-overview → production-guardrails → production-continuous

リファレンスのカテゴリ

プレフィックス	説明
fundamentals-*	種類、スコア、アンチパターン
observe-*	トレーシング、サンプリング
error-analysis-*	失敗の特定
axial-coding-*	失敗の分類
evaluators-*	コード、LLM、RAG の評価器
experiments-*	データセット、実験の実行
integrations-*	テストランナー（pytest、Vitest、Jest）から評価を実行し、CI ゲートとして使用
validation-*	人間によるラベルを基準に評価器の精度を検証
production-*	CI/CD、モニタリング

主要な原則

原則	アクション
まずエラー分析	観測していないものは自動化できません
汎用よりカスタム	自分たちの失敗を基に構築します
まずコード	LLM より決定論的な方法を優先します
判定器を検証	精度 80% 超、TPR/TNR 70% 超
リッカート尺度より二値	1〜5 ではなく、合格／不合格
不変条件でゲートし、シグナルで傾向を追う	assert／expect で厳密な不変条件を設定します（CI を失敗させます）。LLM 判定による品質シグナルを記録し、個々のケースではなく集計値（受け入れ基準）でゲートします