nemo-evaluator-sdk

NeMo Evaluator SDK - エンタープライズ LLM ベンチマーク

クイックスタート

NeMo Evaluator SDK は、コンテナ化された再現可能な評価をマルチバックエンド実行（ローカル Docker、Slurm HPC、Lepton クラウド）で行い、18 以上のハーネスによる 100 以上のベンチマークで LLM を評価します。

インストール：

pip install nemo-evaluator-launcher

API キーを設定して評価を実行：

export NGC_API_KEY=nvapi-your-key-here

# Create minimal config
cat > config.yaml << 'EOF'
defaults:
  - execution: local
  - deployment: none
  - _self_

execution:
  output_dir: ./results

target:
  api_endpoint:
    model_id: meta/llama-3.1-8b-instruct
    url: https://integrate.api.nvidia.com/v1/chat/completions
    api_key_name: NGC_API_KEY

evaluation:
  tasks:
    - name: ifeval
EOF

# Run evaluation
nemo-evaluator-launcher run --config-dir . --config-name config

利用可能なタスクを表示：

nemo-evaluator-launcher ls tasks

よくあるワークフロー

ワークフロー 1：標準ベンチマークでモデルを評価

OpenAI 互換エンドポイントで、主要な学術ベンチマーク（MMLU、GSM8K、IFEval）を実行します。

チェックリスト：

Standard Evaluation:
- [ ] Step 1: Configure API endpoint
- [ ] Step 2: Select benchmarks
- [ ] Step 3: Run evaluation
- [ ] Step 4: Check results

手順 1：API エンドポイントを設定

# config.yaml
defaults:
  - execution: local
  - deployment: none
  - _self_

execution:
  output_dir: ./results

target:
  api_endpoint:
    model_id: meta/llama-3.1-8b-instruct
    url: https://integrate.api.nvidia.com/v1/chat/completions
    api_key_name: NGC_API_KEY

セルフホストのエンドポイント（vLLM、TRT-LLM）の場合：

target:
  api_endpoint:
    model_id: my-model
    url: http://localhost:8000/v1/chat/completions
    api_key_name: ""  # No key needed for local

手順 2：ベンチマークを選択

設定にタスクを追加します：

evaluation:
  tasks:
    - name: ifeval           # Instruction following
    - name: gpqa_diamond     # Graduate-level QA
      env_vars:
        HF_TOKEN: HF_TOKEN   # Some tasks need HF token
    - name: gsm8k_cot_instruct  # Math reasoning
    - name: humaneval        # Code generation

手順 3：評価を実行

# Run with config file
nemo-evaluator-launcher run \
  --config-dir . \
  --config-name config

# Override output directory
nemo-evaluator-launcher run \
  --config-dir . \
  --config-name config \
  -o execution.output_dir=./my_results

# Limit samples for quick testing
nemo-evaluator-launcher run \
  --config-dir . \
  --config-name config \
  -o +evaluation.nemo_evaluator_config.config.params.limit_samples=10

手順 4：結果を確認

# Check job status
nemo-evaluator-launcher status <invocation_id>

# List all runs
nemo-evaluator-launcher ls runs

# View results
cat results/<invocation_id>/<task>/artifacts/results.yml

ワークフロー 2：Slurm HPC クラスターで評価を実行

HPC インフラストラクチャで大規模な評価を実行します。

チェックリスト：

Slurm Evaluation:
- [ ] Step 1: Configure Slurm settings
- [ ] Step 2: Set up model deployment
- [ ] Step 3: Launch evaluation
- [ ] Step 4: Monitor job status

手順 1：Slurm 設定を構成

# slurm_config.yaml
defaults:
  - execution: slurm
  - deployment: vllm
  - _self_

execution:
  hostname: cluster.example.com
  account: my_slurm_account
  partition: gpu
  output_dir: /shared/results
  walltime: "04:00:00"
  nodes: 1
  gpus_per_node: 8

手順 2：モデルのデプロイを設定

deployment:
  checkpoint_path: /shared/models/llama-3.1-8b
  tensor_parallel_size: 2
  data_parallel_size: 4
  max_model_len: 4096

target:
  api_endpoint:
    model_id: llama-3.1-8b
    # URL auto-generated by deployment

手順 3：評価を開始

nemo-evaluator-launcher run \
  --config-dir . \
  --config-name slurm_config

手順 4：ジョブのステータスを監視

# Check status (queries sacct)
nemo-evaluator-launcher status <invocation_id>

# View detailed info
nemo-evaluator-launcher info <invocation_id>

# Kill if needed
nemo-evaluator-launcher kill <invocation_id>

ワークフロー 3：複数のモデルを比較

同じタスクで複数のモデルをベンチマークし、比較します。

チェックリスト：

Model Comparison:
- [ ] Step 1: Create base config
- [ ] Step 2: Run evaluations with overrides
- [ ] Step 3: Export and compare results

手順 1：ベース設定を作成

# base_eval.yaml
defaults:
  - execution: local
  - deployment: none
  - _self_

execution:
  output_dir: ./comparison_results

evaluation:
  nemo_evaluator_config:
    config:
      params:
        temperature: 0.01
        parallelism: 4
  tasks:
    - name: mmlu_pro
    - name: gsm8k_cot_instruct
    - name: ifeval

手順 2：モデルのオーバーライドを指定して評価を実行

# Evaluate Llama 3.1 8B
nemo-evaluator-launcher run \
  --config-dir . \
  --config-name base_eval \
  -o target.api_endpoint.model_id=meta/llama-3.1-8b-instruct \
  -o target.api_endpoint.url=https://integrate.api.nvidia.com/v1/chat/completions

# Evaluate Mistral 7B
nemo-evaluator-launcher run \
  --config-dir . \
  --config-name base_eval \
  -o target.api_endpoint.model_id=mistralai/mistral-7b-instruct-v0.3 \
  -o target.api_endpoint.url=https://integrate.api.nvidia.com/v1/chat/completions

手順 3：エクスポートして比較

# Export to MLflow
nemo-evaluator-launcher export <invocation_id_1> --dest mlflow
nemo-evaluator-launcher export <invocation_id_2> --dest mlflow

# Export to local JSON
nemo-evaluator-launcher export <invocation_id> --dest local --format json

# Export to Weights & Biases
nemo-evaluator-launcher export <invocation_id> --dest wandb

ワークフロー 4：安全性と言語・視覚評価

安全性ベンチマークと VLM タスクでモデルを評価します。

チェックリスト：

Safety/VLM Evaluation:
- [ ] Step 1: Configure safety tasks
- [ ] Step 2: Set up VLM tasks (if applicable)
- [ ] Step 3: Run evaluation

手順 1：安全性タスクを設定

evaluation:
  tasks:
    - name: aegis              # Safety harness
    - name: wildguard          # Safety classification
    - name: garak              # Security probing

手順 2：VLM タスクを設定

# For vision-language models
target:
  api_endpoint:
    type: vlm  # Vision-language endpoint
    model_id: nvidia/llama-3.2-90b-vision-instruct
    url: https://integrate.api.nvidia.com/v1/chat/completions

evaluation:
  tasks:
    - name: ocrbench           # OCR evaluation
    - name: chartqa            # Chart understanding
    - name: mmmu               # Multimodal understanding

利用するケースと代替手段

NeMo Evaluator を利用するケース：

• 1 つのプラットフォームで、18 以上のハーネスによる100 以上のベンチマークが必要な場合
• Slurm HPC クラスターまたはクラウドで評価を実行する場合
• 再現可能なコンテナ化評価が必要な場合
• OpenAI 互換 API（vLLM、TRT-LLM、NIMs）を対象に評価する場合
• 結果のエクスポート（MLflow、W&B）が可能なエンタープライズグレードの評価が必要な場合

代わりに別の手段を利用するケース：

• lm-evaluation-harness：手早くローカル評価を行うための、より簡単なセットアップ
• bigcode-evaluation-harness：コードベンチマークのみに特化
• HELM：より幅広い評価（公平性、効率性）を行う Stanford のフレームワーク
• カスタムスクリプト：高度に専門化された分野の評価

対応するハーネスとタスク

ハーネス	タスク数	カテゴリ
lm-evaluation-harness	60+	MMLU, GSM8K, HellaSwag, ARC
simple-evals	20+	GPQA, MATH, AIME
bigcode-evaluation-harness	25+	HumanEval, MBPP, MultiPL-E
safety-harness	3	Aegis, WildGuard
garak	1	セキュリティプロービング
vlmevalkit	6+	OCRBench, ChartQA, MMMU
bfcl	6	関数呼び出し v2/v3
mtbench	2	マルチターン会話
livecodebench	10+	ライブコーディング評価
helm	15	医療分野
nemo-skills	8	数学、科学、エージェント型

よくある問題

問題：コンテナのプルに失敗する

NGC の認証情報が設定されていることを確認します：

docker login nvcr.io -u '$oauthtoken' -p $NGC_API_KEY

問題：タスクに環境変数が必要

一部のタスクでは HF_TOKEN または JUDGE_API_KEY が必要です：

evaluation:
  tasks:
    - name: gpqa_diamond
      env_vars:
        HF_TOKEN: HF_TOKEN  # Maps env var name to env var

問題：評価がタイムアウトする

並列度を上げるか、サンプル数を減らします：

-o +evaluation.nemo_evaluator_config.config.params.parallelism=8
-o +evaluation.nemo_evaluator_config.config.params.limit_samples=100

問題：Slurm ジョブが開始しない

Slurm のアカウントとパーティションを確認します：

execution:
  account: correct_account
  partition: gpu
  qos: normal  # May need specific QOS

問題：予想と異なる結果になる

設定が報告された設定と一致していることを確認します：

evaluation:
  nemo_evaluator_config:
    config:
      params:
        temperature: 0.0  # Deterministic
        num_fewshot: 5    # Check paper's fewshot count

CLI リファレンス

コマンド	説明
run	設定を使用して評価を実行
status <id>	ジョブのステータスを確認
info <id>	ジョブの詳細情報を表示
ls tasks	利用可能なベンチマークを一覧表示
ls runs	すべての実行を一覧表示
export <id>	結果をエクスポート（mlflow/wandb/local）
kill <id>	実行中のジョブを終了

設定のオーバーライド例

# Override model endpoint
-o target.api_endpoint.model_id=my-model
-o target.api_endpoint.url=http://localhost:8000/v1/chat/completions

# Add evaluation parameters
-o +evaluation.nemo_evaluator_config.config.params.temperature=0.5
-o +evaluation.nemo_evaluator_config.config.params.parallelism=8
-o +evaluation.nemo_evaluator_config.config.params.limit_samples=50

# Change execution settings
-o execution.output_dir=/custom/path
-o execution.mode=parallel

# Dynamically set tasks
-o 'evaluation.tasks=[{name: ifeval}, {name: gsm8k}]'

Python API の使用方法

詳細、コード例、パラメーター表については、references/python-api-usage.md を参照してください。この手順が該当する場合にお読みください。

高度なトピック

マルチバックエンド実行：references/execution-backends.mdを参照してください。 設定の詳細：references/configuration.mdを参照してください。 アダプターとインターセプターのシステム：references/adapter-system.mdを参照してください。 カスタムベンチマークの統合：references/custom-benchmarks.mdを参照してください。

要件

• Python：3.10-3.13
• Docker：ローカル実行に必要です
• NGC API Key：コンテナのプルと NVIDIA Build の使用に必要です
• HF_TOKEN：一部のベンチマーク（GPQA、MMLU）に必要です

リソース

• GitHub：https://github.com/NVIDIA-NeMo/Evaluator
• NGC Containers：nvcr.io/nvidia/eval-factory/
• NVIDIA Build：https://build.nvidia.com（無料のホストモデル）
• ドキュメント：https://github.com/NVIDIA-NeMo/Evaluator/tree/main/docs

エージェントの操作手順

1. 環境を確認します。 モデル、チェックポイント、ベンチマークのバージョン、評価ハーネスのバージョンを確認します。
2. 入力を特定します。 データまたはユーザーから、形式、識別子、パラメーターを確認します。結果に影響する値は推測せず、質問してください。
3. まず小規模に実行します。 小さなサブセットで評価し、プロンプト、解析、スコアリングを検証します。
4. 上記の手順と参考資料を使用して、タスク全体を実行します。
5. 結果を検証します。 ベンチマークの公式分割と指標を使用し、データ汚染を確認し、シードまたはプロンプト間の分散を報告します。
6. 報告します。 実行内容（バージョン、コマンド、パラメーター）、確認内容、不確かな点を明記します。

このような場合	対応
スコアが公開値と異なる	結論を出す前に、プロンプト形式、少数例設定、ハーネスのバージョンを確認します。
インストール済みバージョンに、これらの手順で指定されている関数、フラグ、エンドポイントがない	インストール済みバージョンのドキュメント（help()、--help、公式ドキュメント）を確認し、適宜対応してユーザーに伝えます。APIを決して捏造しないでください。
必須の入力、識別子、パラメーターが曖昧	ユーザーに質問するか、実行前に仮定を明示します。

インテグリティに関するルール

• 結果、パラメーター、識別子、引用、統計を決して捏造しないでください。実行または検証できない場合は、その旨を明確に伝えてください。
• 評価設定をすべて報告し、プロンプト、シード、サブセットを都合よく選ばないでください。
• ここに記載されているバージョン固有の情報は古くなっている可能性があるものとして扱い、インストール済みバージョンの公式ドキュメントで確認してください。
• 金銭が発生する、共有 GPU やクラウドクォータを消費する、個人データや患者データを扱う、または元に戻せない操作を行う場合は、事前に確認してください。

関連スキル

• evaluating-llms-harness：MMLU、HumanEval、GSM8K、TruthfulQA、HellaSwag など、60 以上の学術ベンチマークで LLM を評価します。
• evaluating-code-models：HumanEval、MBPP、MultiPL-E、および pass@k 指標を用いる 15 以上のベンチマークで、コード生成モデルを評価します。
• nextflow：Nextflow データパイプラインと nf-core ワークフローを最初から最後まで構築、実行、デバッグします。