mcpField
A
arize-ai-provider-integration

arize-ai-provider-integration

github.com/arize-ai開発673.1k 回インストール6 日前に更新
リポジトリ

arize-ai-provider-integration について

ax CLIを使ってArizeのLLMプロバイダー連携を管理するスキルです。評価器などLLMを利用する機能に向け、認証情報やモデル、連携範囲の設定とトラブルシューティングを案内します。

主な機能

  1. 01LLM連携の作成・確認・更新
  2. 02複数のLLMプロバイダー設定
  3. 03モデルと認証方式の指定
  4. 04連携の可視範囲の管理
  5. 05認証情報の安全管理と問題解決

活用シーン

  1. 01評価器向け判定モデルの設定
  2. 02プロバイダー認証情報の確認や更新
  3. 03連携で利用可能なモデルの変更
  4. 04LLM呼び出し失敗の原因調査

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/arize-ai/arize-skills --skill arize-ai-provider-integration

インストール後、Claude Code で/arize-ai-provider-integrationを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
ax-profiles.md
ax-setup.md
provider-anthropic.md
provider-aws-bedrock.md
provider-azure-openai.md
provider-custom.md
provider-fireworks.md
provider-gemini.md
provider-litellm.md
provider-nvidia-nim.md
provider-openai.md
provider-together-ai.md
provider-vertex-ai.md

詳細

Arize AI 統合スキル

SPACE — --space フラグには、スペースの名前(例:my-workspace)または base64 形式のスペースID(例:U3BhY2U6...)を指定します。既知の名前は ax spaces get NAME で解決します。名前が不明な場合に一覧を確認するには ax spaces list を使用します。 注意: ai-integrations create は --space を受け付けません。AI 統合はアカウント単位です。--space は list、get、update、delete でのみ使用してください。

概念

  • AI 統合 = Arize に登録された LLM プロバイダーの認証情報。評価器が判定モデルを呼び出すときや、ユーザーに代わって LLM を呼び出す必要があるその他の Arize 機能で使用されます
  • プロバイダー = 統合の基盤となる LLM サービス(例:OPEN_AI、ANTHROPIC、AWS_BEDROCK)
  • 統合 ID = 統合を識別する base64 エンコード済みのグローバル ID(例:TGxtSW50ZWdyYXRpb246MTI6YUJjRA==)。評価器の作成やその他の後続処理で必要です
  • スコープ設定 = 統合を使用できるスペースまたはユーザーを定める可視性ルール
  • 認証タイプ = Arize がプロバイダーに対して認証する方法:DEFAULT(プロバイダー API キー)、PROXY_WITH_HEADERS(カスタムヘッダー経由のプロキシ)、BEARER_TOKEN(ベアラートークン認証)、または OAUTH2_CLIENT_CREDENTIALS

前提条件

タスクに直接取りかかり、必要な ax コマンドを実行してください。事前にバージョン、環境変数、プロファイルを確認しないでください。

ax コマンドが失敗した場合は、エラーに応じてトラブルシューティングしてください。

  • command not found またはバージョンエラー → references/ax-setup.md を参照してください
  • 401 Unauthorized/API キーがない → ax profiles show を実行して、現在のプロファイルを確認してください。プロファイルがない場合や API キーが正しくない場合は、references/ax-profiles.md に従って作成または更新してください。ユーザーが自分のキーを持っていない場合は、https://app.arize.com/admin > API Keys に案内してください
  • スペースが不明 → Space を参照してください
  • LLM プロバイダーの呼び出しに失敗(プロバイダーの認証情報がない)→ ax ai-integrations list --space SPACE を実行し、プラットフォーム管理の認証情報があるか確認してください。ない場合:
    • 推奨: 以下の「サポート対象プロバイダー」にある正確な ax ai-integrations create コマンドをユーザーに伝えてください($OPENAI_API_KEY のような環境変数名を示し、値そのものは絶対に示さないでください)。ユーザー自身のターミナルでプロバイダーキーをエクスポートして、そこでコマンドを実行するよう依頼してください。キーをチャットに貼り付けてはいけません。このターミナルセッションですでに変数がエクスポートされている場合を除き、自分で create コマンドを実行しないでください。
    • Bedrock/Vertex: --api-key ではなく --provider-metadata を使用してください(以下の「サポート対象プロバイダー」を参照)。
  • セキュリティ: .env ファイルを読み込んだり、認証情報を探してファイルシステムを検索したりしないでください。例外は、シークレットではない ARIZE_SPACE_ID の行です(Space を参照)。Arize の認証情報には ax profiles を、LLM プロバイダーのキーには ax ai-integrations を使用してください。ユーザーにシークレットをチャットに貼り付けるよう求めてはいけません。認証情報がない場合は、references/ax-profiles.md を参照してください。

AI 統合の一覧表示

スペースでアクセスできるすべての統合を一覧表示します。

ax ai-integrations list --space SPACE

名前で絞り込みます(大文字と小文字を区別しない部分一致)。

ax ai-integrations list --space SPACE --name "openai"

大量の結果をページ分割します。

# Get first page
ax ai-integrations list --space SPACE --limit 20 -o json

# Get next page using cursor from previous response
ax ai-integrations list --space SPACE --limit 20 --cursor CURSOR_TOKEN -o json

フラグについては ax ai-integrations list --help を実行してください。統合名または ID がわかっている場合は、一覧をページ分割する代わりに、以下の ax ai-integrations get を使用してください。list は一覧の確認に使用します。

レスポンスフィールド:

フィールド説明
idBase64 形式の統合 ID — 後続のコマンドで使用するためにコピーしてください
name人が読める名前
providerLLM プロバイダーの列挙値(以下の「サポート対象プロバイダー」を参照)
has_api_key認証情報が保存されている場合は true
model_names許可されたモデルの一覧。すべてのモデルが有効な場合は null
enable_default_modelsこのプロバイダーのデフォルトモデルを許可するかどうか
function_calling_enabledツール/関数呼び出しが有効かどうか
auth_type認証方法:DEFAULT、PROXY_WITH_HEADERS、BEARER_TOKEN、または OAUTH2_CLIENT_CREDENTIALS

特定のインテグレーションを取得する

ax ai-integrations get NAME_OR_ID
ax ai-integrations get NAME_OR_ID -o json
ax ai-integrations get NAME_OR_ID --space SPACE   # required when using name instead of ID

インテグレーションの全設定を確認したり、作成後に ID を確認したりする場合に使用します。


AI インテグレーションを作成する

作成する前に、必ず最初にインテグレーションを一覧表示してください。ユーザーに適したものがすでにある可能性があります。

ax ai-integrations list --space SPACE

適したインテグレーションがない場合は、作成します。必須フラグはプロバイダーによって異なります。

すべての作成コマンドは次の形式です。プロバイダー固有のフラグは、以下の表を参照してください。

ax ai-integrations create \
  --name "My OpenAI Integration" \
  --provider OPEN_AI \
  --api-key $OPENAI_API_KEY \
  --enable-default-models

LiteLLM、Fireworks AI、Together AI を除くすべてのインテグレーションには、モデルソースが必要です。--enable-default-models(そのプロバイダー向けの Arize のデフォルトモデル一覧)および/または 1 つ以上の --model-name フラグを渡してください。どちらも指定しないと、サーバーは 400: An integration must have at least one model available というエラーで作成を拒否します。

プロバイダーごとの完全な例と注意事項(Bedrock/Vertex のメタデータ、ベース URL、使用を避けるフラグ)については、以下の Details 列から該当するプロバイダーのファイルのみを開いてください。

サポート対象のプロバイダー
プロバイダー必須の追加フラグ(「モデルソース」= --enable-default-models または --model-name)キー環境変数詳細
OPEN_AI--api-key <key>、モデルソース$OPENAI_API_KEYprovider-openai.md
ANTHROPIC--api-key <key>、モデルソース$ANTHROPIC_API_KEYprovider-anthropic.md
AZURE_OPEN_AI--api-key <key>、--base-url <azure-endpoint>、--model-name <deployment>$AZURE_OPENAI_API_KEYprovider-azure-openai.md
AWS_BEDROCK--provider-metadata '{"role_arn": "<arn>"}'(API キー不要)、モデルソース—provider-aws-bedrock.md
VERTEX_AI--provider-metadata '{"project_id": "<gcp-project>", "location": "<region>", "project_access_label": "<label>"}'(API キー不要)、モデルソース—provider-vertex-ai.md
GEMINI--api-key <key>、モデルソース$GEMINI_API_KEYprovider-gemini.md
NVIDIA_NIMモデルソース。--api-key と --base-url は任意(デフォルト:NVIDIA ホスト型)$NVIDIA_API_KEYprovider-nvidia-nim.md
CUSTOM--base-url <endpoint>、モデルソース$CUSTOM_LLM_API_KEYprovider-custom.md
LITELLM--base-url <endpoint>、--api-key <key>$LITELLM_API_KEYprovider-litellm.md
FIREWORKS--api-key <key> のみ。--base-url または --headers は指定しないでください$FIREWORKS_API_KEYprovider-fireworks.md
TOGETHER_AI--api-key <key> のみ。--base-url または --headers は指定しないでください$TOGETHER_API_KEYprovider-together-ai.md

任意のフラグについては、ax ai-integrations create --help を実行してください。プロバイダーがプロキシの背後にある場合は、--headers と --auth-type PROXY_WITH_HEADERS を併せて指定してください。

作成後

返されたインテグレーション ID(例:TGxtSW50ZWdyYXRpb246MTI6YUJjRA==)を控えてください。エバリュエーターの作成や後続のコマンドで必要になります。見逃した場合は、次のコマンドで取得できます。

ax ai-integrations get NAME_OR_ID --space SPACE -o json

AI インテグレーションを更新する

update は部分更新です。指定したフラグのみが変更されます。省略したフィールドはそのまま維持されます。

# Rename
ax ai-integrations update NAME_OR_ID --name "New Name"

# Rotate the API key
ax ai-integrations update NAME_OR_ID --api-key $OPENAI_API_KEY

# Change the model list (replaces all existing model names)
ax ai-integrations update NAME_OR_ID --model-name gpt-4o --model-name gpt-4o-mini

# Update base URL (for Azure, custom, or NIM)
ax ai-integrations update NAME_OR_ID --base-url "https://new-endpoint.example.com/v1"

# Restrict visibility to specific spaces (full replace — lists all spaces that should have access)
ax ai-integrations update NAME_OR_ID \
  --scopings '[{"space_id": "SPACE_GLOBAL_ID", "scoping_type": "include"}]'

ID の代わりに名前を使用する場合は、--space SPACE を追加してください。create で使用できるフラグはすべて update にも渡せます。

--scopings フラグ: このインテグレーションを使用できるスペースを指定します。スコーピングルールの JSON 配列を受け取ります。更新時には既存のスコーピングがすべて置き換えられます。スペースのグローバル ID を確認するには、ax spaces list -o json を使用してください。


AI インテグレーションを削除する

警告: 削除すると元に戻せません。このインテグレーションを参照するエバリュエーターは実行できなくなります。

ax ai-integrations delete NAME_OR_ID --force
ax ai-integrations delete NAME_OR_ID --space SPACE --force   # required when using name instead of ID

すぐに削除せず確認プロンプトを表示するには、--force を省略してください。


ax integrations(LLM とエージェントの統合)

ax integrations は、LLM とエージェントの統合を 1 つのグループ(list、get、delete、create llm|agent、update llm|agent)で管理します。フラグについては、ax integrations <sub> --help を実行してください。

  • 作成コマンドの選択: AZURE_OPEN_AI の場合、または --auth-type が必要な場合は、ax ai-integrations create(上記の例)を使用してください。ax integrations create llm はどちらも受け付けません。作成時にスコープを設定する必要がある場合は(--scopings)、ax integrations create llm を使用してください。
  • create llm のプロバイダーフラグは、 ax ai-integrations create とは異なります。Bedrock と Vertex AI には --provider-metadata ではなく、専用のフラグを指定します。プロバイダーごとの一覧は、ax integrations create llm --help を実行して確認してください。
  • エージェントのエンドポイント: ax integrations create agent を使用してエージェントのエンドポイントを登録してください。フラグについては、同コマンドの --help を実行してください。
  • プロバイダーは変更できません。 ax integrations update llm で変更する場合は、削除して作り直してください。
  • --type: list はすべてのタイプを統合して返します。--type LLM または --type AGENT で絞り込んでください。名前はタイプごとにしか一意でないため、名前を指定して get や delete を実行するには --type が必要です。ID の場合は不要です。

トラブルシューティング

問題解決方法
ax: command not foundreferences/ax-setup.md を参照してください
401 UnauthorizedAPI キーにこのスペースへのアクセス権がない可能性があります。https://app.arize.com/admin > API Keys でキーとスペース ID を確認してください
No profile foundax profiles show --expand を実行してください。ARIZE_API_KEY 環境変数を設定するか、~/.arize/config.toml に書き込んでください
Integration not foundax ai-integrations get NAME_OR_ID --space SPACE で名前または ID を確認してください。正しい名前を探す場合に限り、ax ai-integrations list --space SPACE --name TEXT を使用してください
作成後に has_api_key: false と表示される認証情報が保存されていません。正しい --api-key または --provider-metadata を指定して、再度 update を実行してください
評価器の実行が LLM エラーで失敗するax ai-integrations get INT_ID で統合の認証情報を確認してください。必要に応じて API キーをローテーションしてください
FIREWORKS または TOGETHER_AI で Invalid value for '--provider' と表示されるインストールされている ax CLI はこれらのプロバイダーが追加される前のものです。ax CLI をアップグレードしてください(references/ax-setup.md を参照)
An integration must have at least one model available--enable-default-models または 1 つ以上の --model-name を追加してください(LiteLLM、Fireworks AI、Together AI 以外のすべてのプロバイダーで必須です)
統合の provider が正しくないax ai-integrations update NAME_OR_ID --provider NEW_PROVIDER で変更できますが、他のフィールドはそのまま保持されます。同じ呼び出しで、新しいプロバイダーに必要なフラグ(API キー、ベース URL、モデルソース)を指定してください。2 つのプロバイダーで必要な設定が大きく異なる場合は、削除して作り直す方が簡潔です

関連スキル

  • arize-evaluator:AI 統合を使用する LLM-as-judge 評価器を作成します → arize-evaluator を使用
  • arize-experiment:AI 統合を基盤とする評価器を使用して実験を実行します → arize-experiment を使用

今後の使用に備えて認証情報を保存する

references/ax-profiles.md の § 今後の使用に備えて認証情報を保存する を参照してください。

コメント