UI-TARS Desktop

はじめに

英語 | 简体中文

TARS^* はマルチモーダル AI エージェントのスタックで、現在、Agent TARS と UI-TARS-desktop の 2 つのプロジェクトを提供しています。

Agent TARS	UI-TARS-desktop
Agent TARS は汎用マルチモーダル AI エージェントのスタックです。GUI エージェントとビジョンの力を、ターミナル、コンピューター、ブラウザー、そして製品に取り込みます。 主に、利用向けの CLI と Web UI を提供しています。 最先端のマルチモーダル LLM と、さまざまな実環境の MCP ツールとのシームレスな統合を通じて、人間に近いタスク完了を実現するワークフローの提供を目指しています。	UI-TARS Desktop は、UI-TARS モデルをベースにしたネイティブ GUI エージェントを提供するデスクトップアプリケーションです。 主に、コンピューターとブラウザーのオペレーターとして、 ローカルと リモートの両方を提供しています。

目次

• ニュース
• Agent TARS
  • ショーケース
  • 主な機能
  • クイックスタート
  • ドキュメント
• UI-TARS Desktop
  • ショーケース
  • 機能
  • クイックスタート
• コントリビューション
• ライセンス
• 引用

ニュース

• [2025-11-05] 🎉 Agent TARS CLI v0.3.0 のリリースをお知らせします！このバージョンでは、複数のツール（シェルコマンド、複数ファイルの構造化表示）のストリーミング対応、ツール呼び出しや深い思考に関するタイミング統計を含むランタイム設定、データフローの追跡とデバッグを行うイベントストリームビューアーが追加されました。さらに、分離されたオールインワンのツール実行環境として、AIO agent Sandbox 専用のサポートも導入されています。
• [2025-06-25] Agent TARS Beta と Agent TARS CLI をリリースしました。Agent TARS Beta のご紹介。GUI エージェントやビジョンなどの豊富なマルチモーダル機能と、さまざまな実世界のツールとのシームレスな統合を通じて、人間に近いタスク完了のあり方を探求するマルチモーダル AI エージェントです。
• [2025-06-12] - 🎁 UI-TARS Desktop v0.2.0 のリリースをお知らせします！このアップデートでは、リモートコンピューターオペレーターとリモートブラウザーオペレーターという、強力な 2 つの新機能を導入しました。どちらも完全無料です。設定は不要です。クリックするだけで、あらゆるコンピューターやブラウザーをリモート操作でき、これまでにない利便性と知能を体験できます。
• [2025-04-17] - 🎉 新しい UI-TARS Desktop アプリケーション v0.1.0 のリリースをお知らせします。エージェント UI を再設計し、コンピューター利用時の操作性を向上させたほか、新しいブラウザー操作機能を導入し、パフォーマンスと精密な制御を向上させる高度な UI-TARS-1.5 モデルに対応しました。
• [2025-02-20] - 📦 GUI 自動化エージェントを構築するための強力なクロスプラットフォームツールキット、UI TARS SDK を導入しました。
• [2025-01-23] - 🚀 中文版 の クラウドデプロイ セクションを更新し、ModelScope プラットフォームに関する新しい情報を追加しました：GUI模型部署教程。ModelScope プラットフォームを使ってデプロイできるようになりました。

## Agent TARS

Agent TARSは汎用マルチモーダル AI エージェントスタックです。GUI エージェントとビジョンの力を、ターミナル、コンピューター、ブラウザー、製品で活用できます。

主に、利用者向けにCLIとWeb UIを提供しています。 最先端のマルチモーダル LLM と、さまざまな実環境のMCPツールとのシームレスな統合により、人間に近いタスク完了を実現するワークフローの提供を目指しています。

ショーケース

Please help me book the earliest flight from San Jose to New York on September 1st and the last return flight on September 6th on Priceline

https://github.com/user-attachments/assets/772b0eef-aef7-4ab9-8cb0-9611820539d8

ホテルを予約する	追加の MCP サーバーを使ってグラフを作成する
指示： 9月1日から9月6日までロサンゼルスに滞在します。予算は5,000ドルです。booking.comで空港に最も近いリッツ・カールトンのホテルを予約し、交通案内をまとめてください	指示： 杭州の1か月間の天気をグラフにしてください

その他のユースケースについては、#842をご覧ください。

主な機能

• 🖱️ ワンクリックで使えるCLI - ヘッドフルなWeb UIと、ヘッドレスなサーバーの実行の両方をサポートします。
• 🌐 ハイブリッドブラウザーエージェント - GUI エージェント、DOM、またはハイブリッド戦略を使用してブラウザーを操作します。
• 🔄 イベントストリーム - プロトコル駆動のイベントストリームが、コンテキストエンジニアリングとエージェント UIを実現します。
• 🧰 MCP 統合 - カーネルは MCP を基盤として構築されており、MCP サーバーをマウントして実世界のツールに接続することもできます。

クイックスタート

# Launch with `npx`.
npx @agent-tars/cli@latest

# Install globally, required Node.js >= 22
npm install @agent-tars/cli@latest -g

# Run with your preferred model provider
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key

詳しいセットアップ手順については、包括的なクイックスタートガイドをご覧ください。

ドキュメント

🌟 Agent TARS の世界を探索しましょう 🌟

カテゴリ	リソースへのリンク	説明
🏠 総合ハブ		Agent TARS エコシステムへの入り口です
📚 クイックスタート		5 分で初心者からエキスパートへ
🚀 最新情報		最先端の機能とビジョンをご覧ください
🛠️ 開発者向け情報		すべてのコマンドと機能を習得できます
🎯 ショーケース		公式およびコミュニティが作成したユースケースをご覧ください
🔧 リファレンス		技術情報を網羅したリファレンスです

## UI-TARS Desktop

UI-TARS Desktop は、UI-TARS と Seed-1.5-VL/1.6 シリーズのモデルを利用する、ローカルコンピューター向けのネイティブ GUI エージェントです。

ショーケース

指示	ローカルオペレーター	リモートオペレーター
VS Code の設定で自動保存機能を有効にし、自動保存の実行を 500 ミリ秒遅らせてもらえますか？
GitHub で UI-TARS-Desktop プロジェクトの最新の未解決 Issue を確認してもらえますか？

主な機能

• 🤖 視覚言語モデルを活用した自然言語による操作
• 🖥️ スクリーンショットと視覚認識に対応
• 🎯 マウスとキーボードを正確に操作
• 💻 クロスプラットフォーム対応（Windows/MacOS/ブラウザー）
• 🔄 リアルタイムのフィードバックとステータス表示
• 🔐 プライベートで安全 — すべてローカルで処理

クイックスタート

クイックスタートをご覧ください。

コントリビュート

CONTRIBUTING.mdをご覧ください。

ライセンス

このプロジェクトは Apache License 2.0 の下でライセンスされています。

引用

研究でこの論文とコードが役に立った場合は、スター :star: と引用 :pencil: をぜひお願いします。

@article{qin2025ui,
  title={UI-TARS: Pioneering Automated GUI Interaction with Native Agents},
  author={Qin, Yujia and Ye, Yining and Fang, Junjie and Wang, Haoming and Liang, Shihao and Tian, Shizuo and Zhang, Junda and Li, Jiahao and Li, Yunxin and Huang, Shijue and others},
  journal={arXiv preprint arXiv:2501.12326},
  year={2025}
}