ito-inference

ito-inference について

完了した Itô compute の予約についてモデルサービングの利用可否を確認し、標準バックエンドが利用できるようになったら、明示的に確認されたサービングマニフェストを引き渡します。ito-compute が GPU ノードを予約済みで、ユーザーに OpenAI 互換エンドポイント、ito-serve、ホスト型 Kimi、またはセルフホスト可能なオープンウェイト推論が求められた後に使用します。ECC は独自のサービングスタックを実装していません。