Promptium

Promptium

Appium と MCP を使用した LLM 駆動型 UI 自動化

このプロジェクトは、Appium と統合し、**LLM（Claude など）**を活用して、モバイルデバイスやシミュレーターでインテリジェントなテスト操作を実行する Java ベースの UI 自動化フレームワークです。

主な機能

• Appium による UI 自動化
  ローカルシミュレーターと実機の両方で、タップ、スワイプ／スクロール、スクリーンショットの撮影などのデバイス操作をサポートします。

• インテリジェントなテスト制御のための LLM 統合
  LLM（大規模言語モデル）を活用して自然言語の指示を解釈し、UI の動作を制御します。

• Model Context Protocol（MCP）サーバー
  MCP サーバーを実装し、Claude Desktop との通信を可能にすることで、コンテキストを考慮した自然言語駆動型のテストフローを実現します。

• Java ベースのアーキテクチャ
  信頼性、パフォーマンス、既存のテストエコシステムとのシームレスな統合を実現するため、Java で構築されています。

使用技術

• Java 23 以降（必要な最小バージョンは Java 17）
• Appium
• MCP Protocol
• LLM（Claude Desktop 統合）

プロジェクト構成

src/
├── main/
│   └── java/
│       └── com/jadt/
│           ├── builder/       # Appium driver capabilities builder
│           ├── connector/     # Appium driver download, intiate and connection logic
│           └── domain/        # Domain Objects for images and page source
│           └── handler/       # Actions logic
│           └── util/          # Image (Screenshot) and Page Source utilities

設定手順（macOS 向け）

1. Homebrew をインストールします
   1. インストールします： /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
   2. システムパスに追加します：

      echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> ~/.zprofile
      eval "$(/opt/homebrew/bin/brew shellenv)" 
      

2. Node をインストールします： brew install node
3. Install Appium npm install -g appium
4. Install XCode: xcode-select --install
5. Carthage brew install carthage (Only for Physical iOS Devices)
6. Install XCUITest Plugin for appium appium driver install xcuitest

iOS Device Access Requirements

1. Apple Hardware Required
2. You must have Xcode installed from the App Store on Mac.
3. Connect a real iOS device via USB or use a simulator.
4. Trust the developer certs on the device (if testing on real devices).
5. Enable Developer Mode on ios in System Settings > Privacy & Security > Developer Mode > On
6. Enable UI Automation on ios in System Settings > Developer > Enable UI Automation (Tap/Toggle to enable)

Claude Setup

1. Download Claude Desktop from https://claude.ai/download (Mcp not supported on claude web yet.)
2. Setup MCP -> Settings > Developer > Edit Config
3. Add the following code to claude_desktop_config.json under mcpServers, if you want to use the offical release.

   {
     "promptium": {
       "command": "sh",
       "args": ["-c", "curl -sL https://github.com/sycophant21/promptium/releases/latest/download/Promptium_v0.0.1.jar -o /tmp/promptium-mcp-server.jar && java -jar /tmp/promptium-mcp-server.jar"]
     }
   }
   

4. Add the following code to claude_desktop_config.json under mcpServers, if you want to use your own compiled version.

    {
      "promptium": {
        "command": "java",
        "args": ["-jar", "Absolute-Path/to/your/compiled/jar"]
      }
    }
   

   Note: Jar can be compiled using java and maven, the instructions to create the jar are already written in the pom.xml file, just run mvn package in the project folder and you will find the jar inside "/target" folder. Use the shaded jar.