arize-ai-provider-integration について
ax CLIを使ってArizeのLLMプロバイダー連携を管理するスキルです。評価器などLLMを利用する機能に向け、認証情報やモデル、連携範囲の設定とトラブルシューティングを案内します。
主な機能
- 01LLM連携の作成・確認・更新
- 02複数のLLMプロバイダー設定
- 03モデルと認証方式の指定
- 04連携の可視範囲の管理
- 05認証情報の安全管理と問題解決
活用シーン
- 01評価器向け判定モデルの設定
- 02プロバイダー認証情報の確認や更新
- 03連携で利用可能なモデルの変更
- 04LLM呼び出し失敗の原因調査
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ arize-ai/ arize-skills --skill arize-ai-provider-integrationインストール後、Claude Code で/arize-ai-provider-integrationを入力して読み込まれたか確認します。
同梱ファイル
SKILL.md と一緒にインストールされる参考資料やスクリプト。
references/ax-profiles.mdax-setup.mdprovider-anthropic.mdprovider-aws-bedrock.mdprovider-azure-openai.mdprovider-custom.mdprovider-fireworks.mdprovider-gemini.mdprovider-litellm.mdprovider-nvidia-nim.mdprovider-openai.mdprovider-together-ai.mdprovider-vertex-ai.md詳細
Arize AI 統合スキル
SPACE—--spaceフラグには、スペースの名前(例:my-workspace)または base64 形式のスペースID(例:U3BhY2U6...)を指定します。既知の名前はax spaces get NAMEで解決します。名前が不明な場合に一覧を確認するにはax spaces listを使用します。 注意:ai-integrations createは--spaceを受け付けません。AI 統合はアカウント単位です。--spaceはlist、get、update、deleteでのみ使用してください。
概念
- AI 統合 = Arize に登録された LLM プロバイダーの認証情報。評価器が判定モデルを呼び出すときや、ユーザーに代わって LLM を呼び出す必要があるその他の Arize 機能で使用されます
- プロバイダー = 統合の基盤となる LLM サービス(例:
OPEN_AI、ANTHROPIC、AWS_BEDROCK) - 統合 ID = 統合を識別する base64 エンコード済みのグローバル ID(例:
TGxtSW50ZWdyYXRpb246MTI6YUJjRA==)。評価器の作成やその他の後続処理で必要です - スコープ設定 = 統合を使用できるスペースまたはユーザーを定める可視性ルール
- 認証タイプ = Arize がプロバイダーに対して認証する方法:
DEFAULT(プロバイダー API キー)、PROXY_WITH_HEADERS(カスタムヘッダー経由のプロキシ)、BEARER_TOKEN(ベアラートークン認証)、またはOAUTH2_CLIENT_CREDENTIALS
前提条件
タスクに直接取りかかり、必要な ax コマンドを実行してください。事前にバージョン、環境変数、プロファイルを確認しないでください。
ax コマンドが失敗した場合は、エラーに応じてトラブルシューティングしてください。
command not foundまたはバージョンエラー → references/ax-setup.md を参照してください401 Unauthorized/API キーがない →ax profiles showを実行して、現在のプロファイルを確認してください。プロファイルがない場合や API キーが正しくない場合は、references/ax-profiles.md に従って作成または更新してください。ユーザーが自分のキーを持っていない場合は、https://app.arize.com/admin > API Keys に案内してください- スペースが不明 → Space を参照してください
- LLM プロバイダーの呼び出しに失敗(プロバイダーの認証情報がない)→
ax ai-integrations list --space SPACEを実行し、プラットフォーム管理の認証情報があるか確認してください。ない場合:- 推奨: 以下の「サポート対象プロバイダー」にある正確な
ax ai-integrations createコマンドをユーザーに伝えてください($OPENAI_API_KEYのような環境変数名を示し、値そのものは絶対に示さないでください)。ユーザー自身のターミナルでプロバイダーキーをエクスポートして、そこでコマンドを実行するよう依頼してください。キーをチャットに貼り付けてはいけません。このターミナルセッションですでに変数がエクスポートされている場合を除き、自分で create コマンドを実行しないでください。 - Bedrock/Vertex:
--api-keyではなく--provider-metadataを使用してください(以下の「サポート対象プロバイダー」を参照)。
- 推奨: 以下の「サポート対象プロバイダー」にある正確な
- セキュリティ:
.envファイルを読み込んだり、認証情報を探してファイルシステムを検索したりしないでください。例外は、シークレットではないARIZE_SPACE_IDの行です(Space を参照)。Arize の認証情報にはax profilesを、LLM プロバイダーのキーにはax ai-integrationsを使用してください。ユーザーにシークレットをチャットに貼り付けるよう求めてはいけません。認証情報がない場合は、references/ax-profiles.md を参照してください。
AI 統合の一覧表示
スペースでアクセスできるすべての統合を一覧表示します。
ax ai-integrations list --space SPACE
名前で絞り込みます(大文字と小文字を区別しない部分一致)。
ax ai-integrations list --space SPACE --name "openai"
大量の結果をページ分割します。
# Get first page
ax ai-integrations list --space SPACE --limit 20 -o json
# Get next page using cursor from previous response
ax ai-integrations list --space SPACE --limit 20 --cursor CURSOR_TOKEN -o json
フラグについては ax ai-integrations list --help を実行してください。統合名または ID がわかっている場合は、一覧をページ分割する代わりに、以下の ax ai-integrations get を使用してください。list は一覧の確認に使用します。
レスポンスフィールド:
| フィールド | 説明 |
|---|---|
id | Base64 形式の統合 ID — 後続のコマンドで使用するためにコピーしてください |
name | 人が読める名前 |
provider | LLM プロバイダーの列挙値(以下の「サポート対象プロバイダー」を参照) |
has_api_key | 認証情報が保存されている場合は true |
model_names | 許可されたモデルの一覧。すべてのモデルが有効な場合は null |
enable_default_models | このプロバイダーのデフォルトモデルを許可するかどうか |
function_calling_enabled | ツール/関数呼び出しが有効かどうか |
auth_type | 認証方法:DEFAULT、PROXY_WITH_HEADERS、BEARER_TOKEN、または OAUTH2_CLIENT_CREDENTIALS |
特定のインテグレーションを取得する
ax ai-integrations get NAME_OR_ID
ax ai-integrations get NAME_OR_ID -o json
ax ai-integrations get NAME_OR_ID --space SPACE # required when using name instead of ID
インテグレーションの全設定を確認したり、作成後に ID を確認したりする場合に使用します。
AI インテグレーションを作成する
作成する前に、必ず最初にインテグレーションを一覧表示してください。ユーザーに適したものがすでにある可能性があります。
ax ai-integrations list --space SPACE
適したインテグレーションがない場合は、作成します。必須フラグはプロバイダーによって異なります。
すべての作成コマンドは次の形式です。プロバイダー固有のフラグは、以下の表を参照してください。
ax ai-integrations create \
--name "My OpenAI Integration" \
--provider OPEN_AI \
--api-key $OPENAI_API_KEY \
--enable-default-models
LiteLLM、Fireworks AI、Together AI を除くすべてのインテグレーションには、モデルソースが必要です。--enable-default-models(そのプロバイダー向けの Arize のデフォルトモデル一覧)および/または 1 つ以上の --model-name フラグを渡してください。どちらも指定しないと、サーバーは 400: An integration must have at least one model available というエラーで作成を拒否します。
プロバイダーごとの完全な例と注意事項(Bedrock/Vertex のメタデータ、ベース URL、使用を避けるフラグ)については、以下の Details 列から該当するプロバイダーのファイルのみを開いてください。
サポート対象のプロバイダー
| プロバイダー | 必須の追加フラグ(「モデルソース」= --enable-default-models または --model-name) | キー環境変数 | 詳細 |
|---|---|---|---|
OPEN_AI | --api-key <key>、モデルソース | $OPENAI_API_KEY | provider-openai.md |
ANTHROPIC | --api-key <key>、モデルソース | $ANTHROPIC_API_KEY | provider-anthropic.md |
AZURE_OPEN_AI | --api-key <key>、--base-url <azure-endpoint>、--model-name <deployment> | $AZURE_OPENAI_API_KEY | provider-azure-openai.md |
AWS_BEDROCK | --provider-metadata '{"role_arn": "<arn>"}'(API キー不要)、モデルソース | — | provider-aws-bedrock.md |
VERTEX_AI | --provider-metadata '{"project_id": "<gcp-project>", "location": "<region>", "project_access_label": "<label>"}'(API キー不要)、モデルソース | — | provider-vertex-ai.md |
GEMINI | --api-key <key>、モデルソース | $GEMINI_API_KEY | provider-gemini.md |
NVIDIA_NIM | モデルソース。--api-key と --base-url は任意(デフォルト:NVIDIA ホスト型) | $NVIDIA_API_KEY | provider-nvidia-nim.md |
CUSTOM | --base-url <endpoint>、モデルソース | $CUSTOM_LLM_API_KEY | provider-custom.md |
LITELLM | --base-url <endpoint>、--api-key <key> | $LITELLM_API_KEY | provider-litellm.md |
FIREWORKS | --api-key <key> のみ。--base-url または --headers は指定しないでください | $FIREWORKS_API_KEY | provider-fireworks.md |
TOGETHER_AI | --api-key <key> のみ。--base-url または --headers は指定しないでください | $TOGETHER_API_KEY | provider-together-ai.md |
任意のフラグについては、ax ai-integrations create --help を実行してください。プロバイダーがプロキシの背後にある場合は、--headers と --auth-type PROXY_WITH_HEADERS を併せて指定してください。
作成後
返されたインテグレーション ID(例:TGxtSW50ZWdyYXRpb246MTI6YUJjRA==)を控えてください。エバリュエーターの作成や後続のコマンドで必要になります。見逃した場合は、次のコマンドで取得できます。
ax ai-integrations get NAME_OR_ID --space SPACE -o json
AI インテグレーションを更新する
update は部分更新です。指定したフラグのみが変更されます。省略したフィールドはそのまま維持されます。
# Rename
ax ai-integrations update NAME_OR_ID --name "New Name"
# Rotate the API key
ax ai-integrations update NAME_OR_ID --api-key $OPENAI_API_KEY
# Change the model list (replaces all existing model names)
ax ai-integrations update NAME_OR_ID --model-name gpt-4o --model-name gpt-4o-mini
# Update base URL (for Azure, custom, or NIM)
ax ai-integrations update NAME_OR_ID --base-url "https://new-endpoint.example.com/v1"
# Restrict visibility to specific spaces (full replace — lists all spaces that should have access)
ax ai-integrations update NAME_OR_ID \
--scopings '[{"space_id": "SPACE_GLOBAL_ID", "scoping_type": "include"}]'
ID の代わりに名前を使用する場合は、--space SPACE を追加してください。create で使用できるフラグはすべて update にも渡せます。
--scopings フラグ: このインテグレーションを使用できるスペースを指定します。スコーピングルールの JSON 配列を受け取ります。更新時には既存のスコーピングがすべて置き換えられます。スペースのグローバル ID を確認するには、ax spaces list -o json を使用してください。
AI インテグレーションを削除する
警告: 削除すると元に戻せません。このインテグレーションを参照するエバリュエーターは実行できなくなります。
ax ai-integrations delete NAME_OR_ID --force
ax ai-integrations delete NAME_OR_ID --space SPACE --force # required when using name instead of ID
すぐに削除せず確認プロンプトを表示するには、--force を省略してください。
ax integrations(LLM とエージェントの統合)
ax integrations は、LLM とエージェントの統合を 1 つのグループ(list、get、delete、create llm|agent、update llm|agent)で管理します。フラグについては、ax integrations <sub> --help を実行してください。
- 作成コマンドの選択:
AZURE_OPEN_AIの場合、または--auth-typeが必要な場合は、ax ai-integrations create(上記の例)を使用してください。ax integrations create llmはどちらも受け付けません。作成時にスコープを設定する必要がある場合は(--scopings)、ax integrations create llmを使用してください。 create llmのプロバイダーフラグは、ax ai-integrations createとは異なります。Bedrock と Vertex AI には--provider-metadataではなく、専用のフラグを指定します。プロバイダーごとの一覧は、ax integrations create llm --helpを実行して確認してください。- エージェントのエンドポイント:
ax integrations create agentを使用してエージェントのエンドポイントを登録してください。フラグについては、同コマンドの--helpを実行してください。 - プロバイダーは変更できません。
ax integrations update llmで変更する場合は、削除して作り直してください。 --type:listはすべてのタイプを統合して返します。--type LLMまたは--type AGENTで絞り込んでください。名前はタイプごとにしか一意でないため、名前を指定してgetやdeleteを実行するには--typeが必要です。ID の場合は不要です。
トラブルシューティング
| 問題 | 解決方法 |
|---|---|
ax: command not found | references/ax-setup.md を参照してください |
401 Unauthorized | API キーにこのスペースへのアクセス権がない可能性があります。https://app.arize.com/admin > API Keys でキーとスペース ID を確認してください |
No profile found | ax profiles show --expand を実行してください。ARIZE_API_KEY 環境変数を設定するか、~/.arize/config.toml に書き込んでください |
Integration not found | ax ai-integrations get NAME_OR_ID --space SPACE で名前または ID を確認してください。正しい名前を探す場合に限り、ax ai-integrations list --space SPACE --name TEXT を使用してください |
作成後に has_api_key: false と表示される | 認証情報が保存されていません。正しい --api-key または --provider-metadata を指定して、再度 update を実行してください |
| 評価器の実行が LLM エラーで失敗する | ax ai-integrations get INT_ID で統合の認証情報を確認してください。必要に応じて API キーをローテーションしてください |
FIREWORKS または TOGETHER_AI で Invalid value for '--provider' と表示される | インストールされている ax CLI はこれらのプロバイダーが追加される前のものです。ax CLI をアップグレードしてください(references/ax-setup.md を参照) |
An integration must have at least one model available | --enable-default-models または 1 つ以上の --model-name を追加してください(LiteLLM、Fireworks AI、Together AI 以外のすべてのプロバイダーで必須です) |
統合の provider が正しくない | ax ai-integrations update NAME_OR_ID --provider NEW_PROVIDER で変更できますが、他のフィールドはそのまま保持されます。同じ呼び出しで、新しいプロバイダーに必要なフラグ(API キー、ベース URL、モデルソース)を指定してください。2 つのプロバイダーで必要な設定が大きく異なる場合は、削除して作り直す方が簡潔です |
関連スキル
- arize-evaluator:AI 統合を使用する LLM-as-judge 評価器を作成します →
arize-evaluatorを使用 - arize-experiment:AI 統合を基盤とする評価器を使用して実験を実行します →
arize-experimentを使用
今後の使用に備えて認証情報を保存する
references/ax-profiles.md の § 今後の使用に備えて認証情報を保存する を参照してください。