mobile-automation

Mobile MCP によるモバイル自動化

実機、エミュレーター、シミュレーターを操作するツールです。すべてのツール名には mobile_ が接頭辞として付きます。

ワークフロー

1. デバイスを選択します。 mobile_list_available_devices を呼び出し、以降のすべての呼び出しで、返されたデバイスのいずれかを使用します。使用可能なデバイスがない場合は、ユーザーに接続を依頼します（Android の場合：adb devices にデバイスが表示されていること。iOS の場合：シミュレーターが起動しているか、デバイスがペアリングされていること）。
2. 画面を確認します。 mobile_list_elements_on_screen を優先してください。要素のラベルと座標を含むアクセシビリティツリーが返されます。スクリーンショットよりも高速で、低コストかつ信頼性に優れています。要素が見つからない場合や、視覚的な確認が必要な場合（ゲーム、キャンバス描画の UI、画像コンテンツなど）に限り、mobile_take_screenshot に切り替えてください。
3. 操作します。 mobile_click_on_screen_at_coordinates、mobile_swipe_on_screen、mobile_type_keys、mobile_press_button（HOME、BACK、VOLUME、ENTER）、mobile_launch_app / mobile_terminate_app / mobile_list_apps、mobile_open_url を使用します。
4. 操作のたびに確認します。 次の手順に進む前に、要素一覧を再取得（またはスクリーンショットを再撮影）し、UI が期待どおりに変化したことを確認します。モバイル UI はアニメーションするため、期待する要素がまだ表示されていない場合は、見当でタップせず、少し待ってからもう一度確認してください。

ヒント

• 要素の左上ではなく、境界の中央をクリックしてください。
• テキストを入力するには、まず入力フィールドをタップし、フォーカスされていることを確認してから mobile_type_keys を使用します。
• ユーザーが画像をファイルとして必要としている場合は mobile_save_screenshot を使用します。動画の場合は mobile_start_screen_recording / mobile_stop_screen_recording を使用します。
• アプリがクラッシュしましたか？ mobile_list_crashes と mobile_get_crash でクラッシュログを取得できます。
• 画面サイズは mobile_get_screen_size で取得できます。座標はそのサイズの範囲内で指定します。
• クラウド上の実機（ローカルハードウェアなし）を使用する場合は、mobile_login_to_cloud_provider を呼び出してから、mobile_list_remote_devices / mobile_allocate_remote_device を使用します。使用が終わったら mobile_release_remote_device で解放してください。詳しくは https://mobilenext.ai/docs をご覧ください。