phoenix-evals

Phoenix 評価

AI／LLM アプリケーション向けの評価器を構築します。まずコードで実装し、細かなニュアンスには LLM を使い、人間の評価と照らし合わせて検証します。

クイックリファレンス

タスク	ファイル
セットアップ	setup-python, setup-typescript
評価対象を決める	evaluators-overview
評価者モデルを選ぶ	fundamentals-model-selection
事前構築済みの評価器を使う	evaluators-pre-built
コード評価器を構築する	evaluators-code-python, evaluators-code-typescript
LLM 評価器を構築する	evaluators-llm-python, evaluators-llm-typescript, evaluators-custom-templates
DataFrame を一括評価する	evaluate-dataframe-python
実験について理解する	experiments-overview
実験を実行する	experiments-running-python, experiments-running-typescript
データセットを作成する	experiments-datasets-python, experiments-datasets-typescript
合成データを生成する	experiments-synthetic-python, experiments-synthetic-typescript
評価器の精度を検証する	validation, validation-evaluators-python, validation-evaluators-typescript
レビュー用にトレースをサンプリングする	observe-sampling-python, observe-sampling-typescript
エラーを分析する	error-analysis, error-analysis-multi-turn, axial-coding
RAG 評価	evaluators-rag
よくある間違いを避ける	common-mistakes-python, fundamentals-anti-patterns
本番環境	production-overview, production-guardrails, production-continuous

ワークフロー

新規に始める場合： observe-tracing-setup → error-analysis → axial-coding → evaluators-overview

評価器を構築する場合： fundamentals → common-mistakes-python → evaluators-{code|llm}-{python|typescript} → validation-evaluators-{python|typescript}

RAG システム： evaluators-rag → evaluators-code-（検索） → evaluators-llm-（忠実性）

本番環境： production-overview → production-guardrails → production-continuous

リファレンスのカテゴリ

プレフィックス	説明
fundamentals-*	種類、スコア、アンチパターン
observe-*	トレーシング、サンプリング
error-analysis-*	失敗の特定
axial-coding-*	失敗の分類
evaluators-*	コード、LLM、RAG の評価器
experiments-*	データセット、実験の実行
validation-*	人間によるラベルと照らし合わせた評価器の精度検証
production-*	CI/CD、モニタリング

重要な原則

原則	アクション
まずエラーを分析する	観察していないものは自動化できません
汎用よりカスタム	失敗から構築します
まずコードを書く	LLM より決定論的な処理を優先します
評価者を検証する	TPR/TNR が 80% 超
リッカート尺度より二値評価	1～5 ではなく、合格／不合格