baseten

Baseten 製品概要

本番環境向け AI 推論プラットフォームです。最速のランタイム、クラウド間の高可用性、シームレスな開発者ワークフローにより、オープンソースモデル、カスタムモデル、ファインチューニング済みモデルをサービングし、スケールできます。

• 専用推論 - あらゆるモデルをデプロイでき、パフォーマンスに最適化され、水平方向にスケールします。自動ラップされた Truss サーバー、カスタム Docker サーバー、または Chains による複合／オーケストレーション型デプロイとして作成できます。
• モデル API - 人気モデル向けの最適化済みホスト API です。専用環境への移行も可能です。
• トレーニング - どちらも baseten train / baseten loops から実行できる 2 つの方法があります。Truss Train（BYO コンテナ、あらゆるフレームワーク、ハードウェアを完全に制御）と Loops（SFT と非同期 RL 向けの Tinker 互換マネージド SDK。トレーナーとサンプリングサーバーのペア、ライブの重み転送、ワンクリックでのチェックポイントデプロイに対応）です。マルチノード、1T+ パラメーター、10TB+ のデータセット、H100/H200/B200 に対応します。リモートアクセス：コンテナへの SSH および VS Code/Cursor トンネル。
• Frontier Gateway - 独自の基盤モデル B2C を運用できます。

エージェント DX ツールキット

コンポーネント	提供機能	インストール
baseten CLI	モデルのデプロイと運用（baseten model push、開発ループ向けの --watch）、ワークスペース管理、モデル API、トレーニング、Loops。ヘッドレス環境に安全に対応：TTY 以外ではプロンプトを表示せず、自動化には --output json / --jq を使用できます。	references/baseten-cli.md を参照してください
baseten MCP	バックエンド（~REST API、CRUD）との連携：モデル、デプロイ、トレーニング、環境、シークレット、チェーン。OAuth サインイン。	npx add-mcp https://api.baseten.co/mcp -g -y
baseten_docs MCP	docs.baseten.co のセマンティック検索とファイルシステム。認証不要。	npx add-mcp https://docs.baseten.co/mcp -n "baseten_docs" -g -y
truss CLI	Chains の作成（truss chains）に加え、既存の truss プロジェクト向けの Truss 設定ツール。トレーニングと Loops は Baseten CLI のコマンド（baseten train / baseten loops）です。	uv tool install truss（または pip install truss --upgrade。ユーザーのパッケージマネージャー（uv、poetry など）に従ってください）
llms.txt	baseten.co/llms.txt（製品とブログ）、docs.baseten.co/llms.txt（ドキュメント）。	HTTP 経由でアクセス可能
このスキル	必要に応じて読み込まれる SKILL.md + references/*.md。	npx skills add basetenlabs/baseten-skills -g -y

セットアップ

• どの組み合わせでも動作しますが、すべてインストールすることをおすすめします。
• 現在のタスクに追加のインストールが有効、または必要な場合は、追加でインストールするよう提案します。インストールを支援しますが、まずユーザーの希望を確認してください。
• Chains 以外では、すべての操作に truss CLI ではなく baseten CLI を使用してください。 baseten model push はヘッドレス環境でも安全に使用でき（TTY がない場合にプロンプトを表示しません）、--wait はデプロイが有効になるまで処理をブロックし、最終的に失敗した場合はゼロ以外の値で終了します。また、すべてのコマンドが --output json / --jq に対応しています。baseten version で確認してください。認証には BASETEN_API_KEY または baseten auth login を使用します。デフォルト以外のワークスペースを指定するには --profile を使用してください。
• truss CLI はChains の作成専用です（truss --version で確認してください）。Training と Loops は Baseten CLI のコマンド（baseten train / baseten loops）です。そのうちいくつかは内部で truss に処理を委譲しますが、これはスクリプトから直接利用するものではありません。baseten truss chains … を実行すると、この CLI の認証情報が引き継がれるため、別途 truss にログインする必要はありません（複数のワークスペースを使用する場合は --remote <name> を指定してください）。truss [subcommand] --help で確認できます。
• バックエンド MCP は OAuth を使用します。Authorization ヘッダーを付けずにインストールしてください。初回接続時に、ユーザーはブラウザーで Baseten にサインインします（Claude Code では、/mcp → baseten → Authenticate）。トークンはクライアントが自動的に更新します。サーバーは、サインインしたユーザーとして、そのユーザーのワークスペース内で、そのユーザーの権限を使って動作します。
• ヘッドレスエージェント（CI など、ブラウザーを使わない環境）ではサインインを完了できません。代わりに API キーを使ってバックエンド MCP を追加してください。app.baseten.co/settings/api_keys で管理権限のあるキーを取得し、--header "Authorization: Bearer ${BASETEN_MCP_KEY}" を使用します。API キーのインスタンスは、そのキーのワークスペースに紐付けられます。複数のワークスペースを使用する場合は、異なるキーを使い、名前を変えてインスタンスを追加してください。
• Docs MCP が見つからない場合は、llms.txt を grep するか、取得してください。

デプロイの作成に使うオーサリング方法を選ぶ

最初に行う判断です。実際のワークロードでは複数の行にまたがることも多いため、ルールではなく出発点としてお使いください。迷った場合は、選択する前に IO の形状と各ステップで必要なハードウェアを整理してください。

各方法は、単に作成者の使いやすさではなく、意見の強さに応じて並んでいます。エンジン（TRT-LLM、BEI、BIS-LLM）は、特定のアーキテクチャ向けにパフォーマンスを調整して提供されており、要件に合う場合は最も迅速に導入できます。カスタム Docker サーバーは、成熟した推論サーバー（vLLM、SGLang、TGI、Triton、NIM）をラップします。Python Trussは、リクエスト処理内で任意のコードを実行するための柔軟な選択肢です。Chainsは、型付きのステップ間通信に加え、組み込みのレート制限、接続管理、構造化されたエラー伝播、バイナリ IO を提供します。これらは、N 個の Truss を使って構築する場合に別途用意する必要がある機能です。Python Truss と Chains はライブパッチによる反復（baseten model push --watch）に対応しています。すべての方式で、レプリカ単位の自動スケーリング、ゼロへのスケール、環境／プロモーションが利用できます。

実現したいこと…	方式	詳細	選択しない場合
ホスト型 LLM。デプロイ手順不要	Model APIs	model-apis.md	モデルがカタログにない場合、カスタムハードウェアや要件、安定性などが必要な場合…
既製サーバー（vLLM／SGLang／TGI／Triton／NIM）上の LLM	カスタム Docker サーバー	truss-custom-servers.md	該当するサーバーがない場合、またはリクエスト処理内で Python が必要な場合
Baseten エンジン（TRT-LLM／BEI／BIS-LLM）による LLM／埋め込み。最小限の設定で Python 不要	エンジンのみの config.yaml	truss-config.md（エンジンのセクション）	エンジンが対応していないアーキテクチャの場合、またはカスタムロジックが必要な場合
リクエスト処理内のカスタム Python（前処理／後処理、カスタムアーキテクチャ、特殊な IO）	Python クラスの Truss（model.py）	truss-model-py.md + truss-config.md	エンジンまたは既製サーバーで要件を満たせる場合は、そちらを選んでください。より迅速に導入できます
異種ハードウェア／ステップ単位のスケーリングを使う複数ステップのパイプライン（RAG、ASR→LLM→TTS、ファンアウト、チャンク分割）	Chains	truss-chains.md	1 ステージのみ、または同種の構成の場合は、単一の Truss のほうがシンプルです

直交する運用方法（上記のどの方式を選ぶかに関係なく利用できます）：

• デプロイを反復／パッチ適用する → model-dev-loop.md
• プロモーション、環境、自動スケーリング → deployment-lifecycle.md
• 新しいデプロイへのトラフィックを段階的に切り替える（停止／再開／キャンセル）→ ローリングデプロイ： deployment/rolling-deployments.mdx
• デプロイを呼び出す → inference-api.md（カスタム）または model-apis.md（ホスト型）
• 高スループットのバッチ呼び出し（埋め込み、リランキング）→ パフォーマンスクライアント（Rust、1200+ req/s）： inference/performance-client.mdx
• プログラムによるコントロールプレーンの操作 → management-api.md

表では説明しきれない実際の運用上の注意点：

• 組み合わせも可能です。 model.py でエンジンをラップし、前処理／後処理を行えます。Chain のエントリポイントを Python クラスにし、内部の Chainlet でエンジンを使うこともできます。
• 既存の Truss モデルを Chains に組み込めます。 HTTP または WebSocket の呼び出しには TrussChainlet と TrussHandle を使います。この統合を設定する前に https://docs.baseten.co/development/chain/truss-chainlets をお読みください。
• エンジンのパフォーマンスと柔軟性。 TRT-LLM は多くの LLM で最も迅速に導入できますが、設定項目が分かりにくくなっています。レイテンシー／スループットが実際の制約となる場合にのみ、柔軟性を犠牲にする価値があります。

ルーティング

スキルのリファレンス（スキルディレクトリで ls references/ を実行して確認できます。ホストされているドキュメントを補完するものです）。ユーザーが該当するトピックに触れたら、含まれているリファレンスファイルを積極的に確認してください。

• references/baseten-cli.md：デプロイと運用 — baseten model push / --watch、ワークスペース操作、ホスト型推論、機械可読な出力。最もよく使います。
• references/truss-cli.md：Chains の作成と、従来の truss コマンド。詳しくは references/truss-config.md を参照してください。
• references/truss-model-py.md：Python クラス形式（カスタムの前処理／後処理、エンジン以外のアーキテクチャ）。
• references/truss-custom-servers.md：docker_server 形式（vLLM / TGI / SGLang / Triton。現代的な LLM で最も一般的な方法）。
• references/truss-chains.md：マルチステップのパイプライン（RAG、ASR→LLM→TTS、チャンク化された音声／動画）と、ステップごとの HW および自動スケーリング。
• references/model-apis.md：共有の事前ホスト型エンドポイント（DeepSeek、GLM、Kimi など）。適合するものがあれば最速です。
• references/inference-api.md：カスタムデプロイの呼び出し。接続の再利用（requests / httpx / OpenAI SDK）、非同期／ストリーミング／ウェイク／OpenAI 互換の同期ルート。
• references/management-api.md：プログラムによるコントロールプレーン（モデル、デプロイ、環境、シークレット）。baseten CLI と truss CLI が内部で使用します。
• references/deployment-lifecycle.md：モデル／デプロイ／環境のセマンティクス、およびプロモーションと自動スケーリング。
• references/model-dev-loop.md：初回デプロイ後のイテレーション。再ビルド／パッチ／ホットリロードのコスト階層、エージェント対人間の監視ループ。

注意点

推測せず、確認する

パフォーマンス／ステータス／エラーに関する主張には、必ず先にツールを使用してください。推定や憶測はしないでください。

• 処理時間 → デプロイ／chainlet のログツール（タイムスタンプ付きで、Pulling image、model_cache: Fetch took、Completed model.load() execution in N ms、リクエストごとのマーカーが含まれます）。
• ステータス → 実行前にデプロイ取得ツールを使用してください。
• ビルド／デプロイの失敗 → すぐにログを取得し、仮説を立てないでください。

学習データの事前知識から数値を捏造すると、ユーザーの信頼を損ないます。正確な情報源はログです。

情報源のばらつきと乖離

情報は、明確には重ならず、それぞれ独立して乖離する複数のシステムに分散しています。完全に信頼できる、権威ある情報源はひとつもありません。重要な主張（「サポート対象」、パフォーマンス数値、推奨アプローチなど）については、2 つ以上の情報源を照合してください。矛盾があればユーザーに伝え、取り繕わないでください。

情報源	強み	不足／注意点
baseten_docs MCP / docs.baseten.co	API 仕様、プロトコルの詳細、調整可能な設定	製品の最新情報に遅れることがあり、パフォーマンス数値はありません
baseten.co/library/<id>（マーケティング）	主力のマネージドモデル、パフォーマンスに関する主張	一部の項目は営業への問い合わせが必要で、セルフサービスでは利用できません
baseten MCP list_library_models	実際にワンクリックで API デプロイできるもの	マーケティング用ライブラリの全項目は含まれず、タグも不足しています
baseten.co/blog/	具体的なレイテンシ／コスト／競合比較の数値、技術的な詳細解説	構造化されておらず、docs MCP には含まれていません。baseten.co/llms.txt から見つけてください
baseten.co/solutions/...	概要レベルの紹介	Baseten への問い合わせが必要な主力機能について説明している場合があります
truss-examples GitHub リポジトリ	動作するコードのパターン	古い／壊れている／乖離していることがよくあります。 注意して参照し、最後の手段として使用してください。デプロイを成功させるには修正が必要な場合があります。

• ライブラリのページは存在するのに、モデルが list_library_models にない場合 → マネージド／主力モデルである可能性が高いため、Baseten サポートへの問い合わせが必要な場合があるとユーザーに伝えてください。
• パフォーマンス数値がブログにしか見つからない場合 → ブログでの主張として引用してください。
• docs MCP で情報が見つからない場合 → インデックスとして baseten.co/llms.txt または docs.baseten.co/llms.txt を取得し、その後、ページを直接取得してください。最後の手段として、ウェブ検索を使用してください。

references/ 内の分かりにくい配置

• エンジンのみのデプロイ（TensorRT-LLM、BEI、BIS-LLM）→ truss-config.md のエンジンのセクション（model_cache、シークレット、リソース、BDN の weights も扱います）。
• 作成方法の選択：単一のデプロイ → truss-config.md の冒頭、複数のデプロイを連携させる場合 → truss-chains.md。
• トレーニングと Frontier Gateway：最新のドキュメントを使用してください。baseten MCP と baseten_docs MCP を使用します。トレーニングパスの選択については training/index.mdx、Loops（マネージド SFT/RL SDK）については loops/overview.mdx、トレーニングコンテナへの SSH／VS Code トンネルについては training/ssh.mdx と training/remote-access.mdx を参照してください。

ツールの注意点

• baseten_docs MCP の検索はセマンティック検索（埋め込みベース）です。結果は概ね意図を考慮していますが、ニッチな表現では見落とすことがあります。検索語を言い換えるか、結果が不十分な場合はインデックスとして docs.baseten.co/llms.txt を取得してみてください。
• ドキュメントページ全体を読む場合：query_docs_filesystem_baseten 経由で .mdx パスに対して cat／head を実行します。別の方法として、単一ページを読む場合は docs.baseten.co/<path>.md も使え、より高速です。
• 推論 SSH（実行中のコンテナ内のターミナル。組織による有効化が必要）→ model-dev-loop.md § Inference SSH。
• list_library_models は baseten が厳選したカタログ（数十種類ほどの最適化済みホストモデル。主に人気のオープンソース LLM／埋め込みモデル）です。試してみるための入門モデルとして適していますが、カスタム作成、特定のパフォーマンス要件、ファインチューニング、プライベートな HF モデルなどには適していません。有用なタグ（モダリティなど）はありません。display_name／hf_repo_id の部分文字列で絞り込んでください。
• ブログのコンテンツは docs MCP に含まれていません。baseten.co/llms.txt を取得して、関連する記事を検索してください。

MCP のイントロスペクションと呼び出し

バックエンドの MCP ツール（get_deployment、get_deployment_logs、get_deployment_config、list_* など）は状態を説明します。正確な ID／スキーマ／設定値が必要な場合に特に有効ですが、ユーザーの不満が実行時の動作に関する場合にはあまり有効ではありません。MCP が利用できるからといって、調査の範囲を狭めないでください。

• 参照タスク（パッチを書く前に ID、現在の設定、スキーマが必要な場合）：MCP の get/list が適切な出発点です。推測するより、実際の設定を読むほうが確実です。
• 動作タスク（応答の不具合／遅さ／形式の誤りなど、ユーザーが_実際に観測した_問題）：MCP は補足には使えますが、エンドポイントを自分で実行する代わりにはほとんどなりません。代表的なペイロードを指定して予測 URL に対して curl を実行すると、ユーザーと同じコードパスを実行できます。MCP で取得したログに最近のエラーがないからといって、バグが解消した証拠にはなりません。ログの対象期間には上限があり、ユーザーが 5 分前に報告した問題が、デフォルトの末尾表示ではすでに対象外になっている可能性があります。再現できない特定の過去のインシデントについては、ログツールで保持期間内のカスタム時間範囲を指定できます。それらを使用してください。
• 安価なイントロスペクションで節約できた時間は、より深い検証（修正後の再 curl、PATCH 前後の設定の差分確認、候補の truss のプッシュとプローブ）に充ててください。早めに調査を切り上げる理由にしてはいけません。