WorkflowLearner

ワークフロー記録ツール WorkflowLearner

プロジェクト概要

本プロジェクトは、PSR.exeで記録したMHTファイルを使用して、大規模言語モデル（LLM）にワークフローを学習させることを目的としています。PSR.exeはWindowsオペレーティングシステムに搭載されている問題手順記録ツールで、ユーザーの操作を記録してMHTファイルを生成できます。これらのMHTファイルを解析することで、LLMはユーザーのワークフローを学習し、理解できます。

PSR.exeのMHTファイルの扱い方をLLMエージェントに教えるため、本プロジェクトではPSR.exeで記録したMHTファイルを使用し、大規模言語モデル（LLM）にワークフローを学習させます。PSR.exeはWindowsオペレーティングシステムに搭載されている問題手順記録ツールで、ユーザーの操作を記録してMHTファイルを生成できます。これらのMHTファイルを解析することで、LLMはユーザーのワークフローを学習し、理解できます。

オンラインデモ： https://deepnote.com/app/skedge-d0bd/-9355fadf-b8e7-4dfb-acf1-7c56103d1360?utm_source=app-settings&utm_medium=product-shared-content&utm_campaign=data-app&utm_content=9355fadf-b8e7-4dfb-acf1-7c56103d1360

機能

• PSR.exeを使用してユーザーの操作を記録し、MHTファイルを生成します。
• MHTファイルを解析し、ワークフロー情報を抽出します。
• LLMを使用してワークフローを学習し、理解します。

インストール

前提条件

• Windowsオペレーティングシステム
• Python 3.x
• PSR.exe（問題手順記録ツール、Windowsに付属）

インストール手順

リポジトリをクローンします：

git clone https://github.com/u3588064/WorkflowLearner
cd llm-workflow-learning

依存関係をインストールします：

pip install -r requirements.txt

使用方法

PSR.exeでユーザーの操作を記録する

1. PSR.exe（問題手順記録ツール）を開きます。Win7/Win8/Win10の検索バーから検索できます。
2. 「記録の開始」ボタンをクリックして、作業を開始します。PSR.exeは、マウス操作（クリック、ドラッグ、スクロールなど）とキーボード操作（操作のみで、入力した内容は記録されません）を自動的に記録します。
3. 操作が完了したら、「記録の停止」ボタンをクリックします。ソフトウェアによって保存ウィンドウが自動的に表示されます。
4. 結果はZipファイルとして保存されます。Zipファイルには、手順とスクリーンショットを含むMHT形式のウェブページが格納されています。

---

MHTファイルを解析する：

python parse_mht.py path/to/your/file.mht

LLMを使用してワークフローを学習する：

python learn_workflow.py path/to/parsed/data.json

ファイル構造：

llm-workflow-learning/
│
├── parse_mht.py          # 解析MHT文件的脚本
├── learn_workflow.py     # 使用LLM学习工作流的脚本
├── requirements.txt      # 项目依赖
├── README.md             # 项目说明文档
└── data/                 # 存放解析后的数据文件

llm-workflow-learning/
│
├── parse_mht.py          # Script to parse MHT files
├── learn_workflow.py     # Script to use LLM to learn workflows
├── requirements.txt      # Project dependencies
├── README.md             # Project documentation
└── data/                 # Directory to store parsed data files

貢献

貢献を歓迎します！IssueまたはPull Requestを送信してください。

ライセンス

本プロジェクトはMITライセンスのもとで公開されています。詳細については、LICENSEファイルをご覧ください。

お問い合わせ

ご質問や詳細情報が必要な場合は、プロジェクトメンテナーまでお問い合わせください：[email protected]。