SingularGPT

项目概述

SingularGPT 是一个开源项目，旨在通过结合 ChatGPT 和 GPT-4 自动化设备操作。这个项目允许用户通过输入简单的文本查询来指挥设备执行自动化任务。

使用方法

您可以通过 Google Colab 配置并运行 SingularGPT。具体步骤如下：

1. 安装依赖： 在项目所在的目录中运行以下命令安装所需的所有依赖：

   pip install -r requirements.txt
   

2. 安装系统库（针对 Linux 用户）： Linux 用户需要安装以下库：

   sudo apt-get install xvfb xorg xserver-xorg scrot imagemagick x11-utils xdotool
   

3. 配置环境：

   • 创建 .env 文件并配置您的 OPENAI_API。
   • 修改 config/CONFIG.py 中的平台名称。如果您使用 Linux，需将 _PLATFORM 设置为 linux（默认是 windows）。

4. 运行项目： 使用以下命令运行 main.py 文件：

   python main.py
   

5. 使用 SingularGPT bot： 如遇到问题，可以使用 SingularGPT bot 或提交问题。

6. 编写指令： 确保您的指令被写入 script.py 文件中。

自动化功能

SingularGPT 通过识别和定位屏幕的元素来自动化任务。它不仅能够按照传统的 HTML 元素选择方式（如 X_PATH 或 CSS 选择器）操作，还可以通过 GUI 元素检测技术进行更高级的操作。

例如：

• 使用 text() 方法可以定位网页上的文本元素。
• 使用 image() 方法可以定位网页上的图像元素。
• findLeftOf() 和 findRightOf() 方法用于定位目标元素的左侧或右侧元素。

这些功能使得 SingularGPT 能够根据用户的自然语言查询生成并执行自动化脚本。

项目亮点

• 元素识别：无需爬虫机制，能够检测和识别屏幕文本和组件。
• 设备自动化：通过自然语言处理（NLP）指令实现设备自动化。
• 跨平台支持：即使在无头服务器上（通过 x11）也能运行。

项目实现

SingularGPT 结合了许多计算机科学领域的知识和技术，如人工智能的计算机视觉、定制库、设备自动化和结合最新的 ChatGPT 与 GPT-4 的内部逻辑处理。

SingularGPT 是一款创新项目，其目标是通过将自然语言查询转换为自动化脚本来简化设备的操作。期待大家的支持与参与，希望能够更多人造福于此技术。