WorkflowLearner

工作流录制通 WorkflowLearner

项目概述

本项目旨在通过使用 PSR.exe 录制的 MHT 文件，让大语言模型（LLM）学习工作流。PSR.exe 是 Windows 操作系统中的问题步骤记录器，可以记录用户操作并生成 MHT 文件。通过解析这些 MHT 文件，LLM 可以学习和理解用户的工作流程。

为了教会 LLM Agent 如何处理 PSR.exe 的 MHT 文件，本项目旨在使用 PSR.exe 录制的 MHT 文件，让大语言模型（LLM）学习工作流。PSR.exe 是 Windows 操作系统中的问题步骤记录器，可以记录用户操作并生成 MHT 文件。通过解析这些 MHT 文件，LLM 可以学习和理解用户的工作流程。

在线演示： https://deepnote.com/app/skedge-d0bd/-9355fadf-b8e7-4dfb-acf1-7c56103d1360?utm_source=app-settings&utm_medium=product-shared-content&utm_campaign=data-app&utm_content=9355fadf-b8e7-4dfb-acf1-7c56103d1360

功能

• 使用 PSR.exe 录制用户操作并生成 MHT 文件。

• 解析 MHT 文件并提取工作流信息。

• 使用 LLM 学习和理解工作流。

• 使用 PSR.exe 录制用户操作并生成 MHT 文件。

• 解析 MHT 文件并提取工作流信息。

• 使用 LLM 学习和理解工作流。

安装

前提条件

• Windows 操作系统
• Python 3.x
• PSR.exe（问题步骤记录器，Windows 自带）

安装步骤

克隆仓库：

git clone https://github.com/u3588064/WorkflowLearner
cd llm-workflow-learning

安装依赖：

pip install -r requirements.txt

使用方法

使用 PSR.exe 录制用户操作

1. 打开 PSR.exe（问题步骤记录器），可通过 Win7/Win8/Win10 的搜索栏搜索找到。
2. 点击“开始记录”按钮，然后开始你的工作。PSR.exe 会自动记录鼠标动作（如点击、拖动、滚动等）以及键盘动作（仅记录动作，不会记录键入的内容）。
3. 完成操作后，点击“停止记录”按钮。软件会自动弹出保存窗口。
4. 结果会以 Zip 压缩包的形式保存，压缩包内包含一个 MHT 格式的网页，其中包括分步操作和屏幕截图。

---

1. 打开 PSR.exe（问题步骤记录器），可通过 Win7/Win8/Win10 的搜索栏找到。
2. 点击“开始记录”按钮，然后开始你的工作。PSR.exe 会自动记录鼠标动作（例如点击、拖动、滚动）和键盘动作（仅记录动作，不记录键入的内容）。
3. 操作完成后，点击“停止记录”按钮。软件会自动弹出保存窗口。
4. 结果会保存为一个 Zip 文件，其中包含一个 MHT 文件，该文件包含分步操作和屏幕截图。

解析 MHT 文件：

python parse_mht.py path/to/your/file.mht

使用 LLM 学习工作流：

python learn_workflow.py path/to/parsed/data.json

文件结构：

llm-workflow-learning/
│
├── parse_mht.py          # 解析MHT文件的脚本
├── learn_workflow.py     # 使用LLM学习工作流的脚本
├── requirements.txt      # 项目依赖
├── README.md             # 项目说明文档
└── data/                 # 存放解析后的数据文件

llm-workflow-learning/
│
├── parse_mht.py          # Script to parse MHT files
├── learn_workflow.py     # Script to use LLM to learn workflows
├── requirements.txt      # Project dependencies
├── README.md             # Project documentation
└── data/                 # Directory to store parsed data files

贡献

欢迎贡献！请提交 Issue 或 Pull Request。

欢迎贡献！请提交 Issue 或 Pull Request。

许可证

本项目采用 MIT 许可证，详见 LICENSE 文件。

本项目采用 MIT 许可证。详情请参阅 LICENSE 文件。

联系方式

如果您有任何问题或需要进一步的信息，请联系项目维护者：[email protected]。