turix-cua

TuriX-CUA スキル

このスキルを使うと、TuriX Computer Use Agent（CUA）を通じて、OpenClaw から macOS のデスクトップを視覚的に操作できます。TuriX はマルチモデルアーキテクチャ（Brain、Actor、Planner、Memory）を使用してタスクを理解し、手順を計画し、正確な UI 操作を実行します。

📋 使用する場面

次のような場合に TuriX-CUA を使用してください。

• デスクトップ GUI の自動化：「Spotify を開いて、いいねした曲を再生する」
• CLI/API がないアプリ：コマンドラインインターフェースを備えていないアプリケーションを操作する
• 複数ステップの視覚的なワークフロー：「メールから最新の請求書を見つけて、会社のポータルにアップロードする」
• 複雑な UI 操作：視覚的な理解や計画が必要なタスク
• 複数のアプリにまたがるワークフロー：「iPhone の価格を検索し、Pages の書類を作成して、連絡先に送信する」

次の用途には使用しないでください。

• CLI で実行できるタスク（代わりに exec を使用）
• 単純なファイル操作（ファイルツールを使用）
• ウェブスクレイピング（web_fetch または browser ツールを使用）
• 警告なしではシステムレベルの権限が必要なタスク

🚀 クイックスタート

前提条件

1. TuriX-CUA をインストールする：

   git clone https://github.com/TurixAI/TuriX-CUA.git
   cd TuriX-CUA
   conda create -n turix_env python=3.12
   conda activate turix_env
   pip install -r requirements.txt
   

2. macOS の権限を付与する：

   • アクセシビリティ：システム設定 → プライバシーとセキュリティ → アクセシビリティ → Terminal/VSCode を追加
   • Safari の自動化：Safari → 設定 → 詳細 → Web デベロッパー向け機能を表示
     • 「開発」メニュー → リモートオートメーションを許可
     • 「開発」メニュー → Apple Events からの JavaScript を許可

3. examples/config.json で API を設定する：

   {
     "brain_llm": {
       "provider": "turix",
       "model_name": "turix-brain-model",
       "api_key": "YOUR_API_KEY",
       "base_url": "https://llm.turixapi.io/v1"
     },
     "actor_llm": {
       "provider": "turix",
       "model_name": "turix-actor-model",
       "api_key": "YOUR_API_KEY",
       "base_url": "https://llm.turixapi.io/v1"
     },
     "memory_llm": {
       "provider": "turix",
       "model_name": "turix-memory-model",
       "api_key": "YOUR_API_KEY",
       "base_url": "https://llm.turixapi.io/v1"
     },
     "planner_llm": {
       "provider": "turix",
       "model_name": "turix-planner-model",
       "api_key": "YOUR_API_KEY",
       "base_url": "https://llm.turixapi.io/v1"
     }
   }
   

   または、Ollama を使用する（ローカルモデル）：

   {
     "brain_llm": {
       "provider": "ollama",
       "model_name": "llama3.2-vision",
       "base_url": "http://localhost:11434"
     }
     // ... same for actor, memory, planner
   }
   

基本的な使い方

# Run a simple task
skills/turix-cua/scripts/run_turix.sh "Open Chrome and go to github.com"

# Run with planning enabled (for complex tasks)
skills/turix-cua/scripts/run_turix.sh "Search AI news and create summary" --use-plan

# Resume an interrupted task
skills/turix-cua/scripts/run_turix.sh --resume my-task-001

📁 ファイル構成

skills/turix-cua/
├── SKILL.md              # This file
├── README.md             # Detailed documentation
├── scripts/
│   └── run_turix.sh      # Main execution script
└── examples/
    └── config.json       # TuriX configuration (managed by script)

⚙️ 設定オプション

オプション	説明	デフォルト
use_plan	複雑なタスクの計画を有効にする	false
use_skills	スキル選択を有効にする	false
resume	前回中断したところから再開する	false
agent_id	タスク再開用の固定 ID	自動生成
max_steps	ステップの合計数を制限する	100
max_actions_per_step	1 ステップあたりの操作数	5

📋 タスク例

✅ 適したタスク

シンプルなタスク：

• 「Safari を開き、google.com に移動して、『TuriX AI』を検索し、最初の検索結果をクリックする」
• 「システム設定を開き、ダークモードをクリックして、システム設定に戻る」
• 「Finder を開き、書類に移動して、『Project X』フォルダを作成する」

複雑なタスク（--use-plan を使用）：

• 「Apple Store で iPhone 17 の価格を検索し、見つけた情報をまとめた Pages の書類を作成して、John に送信する」
• 「Discord を開き、上司から届いた Excel ファイル付きのメッセージを見つけてダウンロードし、Numbers でグラフを作成して、PowerPoint に挿入する」
• 「36kr と Huxiu で AI 関連ニュースを検索し、上位 5 件を要約して、Word の書類に保存する」

❌ 避けるタスク

• 曖昧な指示：「手伝って」や「これを直して」
• 実行不可能な指示：「すべてのファイルを削除する」
• 文脈がない指示：「それをやって」（「それ」が何を指すか不明）
• システムレベルの指示：「ソフトウェアをインストールする」（権限が必要）

🔧 スクリプトの使い方

run_turix.sh

# Basic usage
./run_turix.sh "Your task description"

# With options
./run_turix.sh "Task" --use-plan --use-skills --background

# Resume task
./run_turix.sh --resume my-task-001

# Set custom agent ID
./run_turix.sh "Task" --agent-id custom-id-123

オプション：

• --use-plan：計画を有効にする（複雑な複数ステップのタスク向け）
• --use-skills：スキル選択を有効にする
• --background：バックグラウンドで実行する（ブロックしない）
• --agent-id <id>：再開用のカスタムエージェント ID を設定する
• --resume：中断したタスクを再開する

仕組み

スクリプトは次の処理を行います。

1. タスクとオプションを使って examples/config.json を更新する
2. PATH を適切に設定する（screencapture 用に /usr/sbin を含める）
3. conda 環境を有効にする
4. TuriX エージェントを実行する
5. Python を使って UTF-8/中国語のテキストを適切に処理する

📊 監視とデバッグ

ステータスの確認

# Check if TuriX is running
ps aux | grep "python.*main.py" | grep -v grep

# View logs
tail -f TuriX-CUA/.turix_tmp/logging.log

# List step files
ls -lt TuriX-CUA/examples/.turix_tmp/brain_llm_interactions.log_brain_*.txt

ログファイル

ファイル	説明
.turix_tmp/logging.log	メインの実行ログ
brain_llm_interactions.log_brain_N.txt	ステップ N の Brain の推論
actor_llm_interactions.log_actor_N.txt	ステップ N の Actor の操作

主なログマーカー

• 📍 Step N - 新しいステップを開始
• ✅ Eval: Success/Failed - ステップの評価
• 🎯 Goal to achieve this step - 現在の目標
• 🛠️ Action - 実行した操作
• ✅ Task completed successfully - タスク完了

強制停止

ホットキー：Cmd+Shift+2（実行中のターミナルで使用）

コマンド：

pkill -f "python examples/main.py"

🧩 スキルシステム

TuriX は スキル に対応しています。スキルとは、特定の分野向けの Markdown プレイブックです。

組み込みスキル

• github-web-actions：GitHub のナビゲーション、リポジトリの検索、スター付け
• browser-tasks：一般的なウェブブラウザー操作

カスタムスキルの作成

TuriX-CUA/skills/ に .md ファイルを作成します。

---
name: my-skill-name
description: When to use this skill (Planner matches on this)
---
# Skill Instructions

## Guidelines
- Step 1: Do this first
- Step 2: Then do that
- Step 3: Verify result

## Safety
- Confirm before important actions

スキルを有効にする

examples/config.json で設定します。

{
  "agent": {
    "use_plan": true,
    "use_skills": true,
    "skills_dir": "skills",
    "skills_max_chars": 4000
  }
}

📝 ベストプラクティス

1. ワークフローの設計

推奨パターン：

1. web_fetch を使用して情報を収集します
2. Python を使用してドキュメントを作成します（より高速で、信頼性も高くなります）
3. TuriX は、得意とする GUI タスク（ファイルの送信、アプリのナビゲーション）にのみ使用します

例：

# 1. Fetch news (OpenClaw)
news = web_fetch("https://36kr.com")

# 2. Create Word doc (OpenClaw)
doc = Document()
doc.add_heading('AI News')
doc.save('news.docx')

# 3. Send via Messages (TuriX)
run_turix.sh "Open Messages, send news.docx to contact John"

2. タスクの指示

具体的に記述します：

• ✅ 「Safari を開き、google.com に移動して、『AI news』を検索する」
• ❌ 「ウェブを検索する」

複雑なタスクは分解します：

• ✅ 「Finder を開き、Documents に移動して、『Projects』フォルダーを作成する」
• ❌ 「ファイルを整理する」

座標は指定しないでください：

• ✅ 「Settings ボタンをクリックする」
• ❌ 「x=100、y=200 をクリックする」

3. パフォーマンスのヒント

• 初回実行：AI モデルの読み込みに 2～5 分かかります
• 2 回目以降の実行：モデルがキャッシュされるため、はるかに高速です
• 複雑なタスク：成功率を高めるには --use-plan を使用します
• 長時間のタスク：--background を使用し、ログを監視します

4. 中国語テキストのサポート

スクリプトは UTF-8 を正しく処理します：

• 設定の更新にはシェルの文字列展開ではなく Python を使用します
• encoding='utf-8' を指定して読み書きします
• JSON では ensure_ascii=False を使用します

⚠️ トラブルシューティング

エラー	解決策
NoneType has no attribute 'save'	画面収録のアクセス許可を付与します
Screen recording access denied	Safari のトリガーコマンドを実行し、「許可」をクリックします
Conda environment not found	conda create -n turix_env python=3.12
モジュールのインポートエラー	conda activate turix_env && pip install -r requirements.txt
キーボードリスナーのエラー	ターミナルにアクセシビリティのアクセス許可を付与します
タスクがステップ 1 で停止する	.turix_tmp/ ディレクトリが存在することを確認します
ログが出力されない	config.json の logging_level を確認します

🔐 セキュリティに関する注意事項

• TuriX はローカルで実行されます。クラウド API を使用する場合を除き、データが外部に送信されることはありません
• 必要最小限のアクセス許可を付与してください
• 実行前にタスクを確認してください
• 長時間実行するタスクでは --background を使用し、監視してください

📚 リソース

• GitHub：https://github.com/TurixAI/TuriX-CUA
• ClawHub：https://clawhub.ai/Tongyu-Yan/turix-cua
• Discord：https://discord.gg/yaYrNAckb5
• ウェブサイト：https://turix.ai
• API プラットフォーム：https://turixapi.io

🎯 OpenClaw との連携例

# In OpenClaw skill or workflow:

# 1. Simple task
exec('skills/turix-cua/scripts/run_turix.sh "Open Safari"')

# 2. Complex task with planning
exec('skills/turix-cua/scripts/run_turix.sh "Search AI news and summarize" --use-plan')

# 3. Monitor progress
exec('tail -f TuriX-CUA/.turix_tmp/logging.log')

# 4. Check completion
exec('ps aux | grep "python.*main.py" | grep -v grep')

---

バージョン：1.0.0
最終更新日：2026-02-23
互換性：OpenClaw + TuriX-CUA v0.3+
プラットフォーム：macOS 15+