什么是Self-Operating Computer?
Self-Operating Computer是由OthersideAI开发的一个开源框架,它允许多模态AI模型通过视觉输入和鼠标键盘操作来控制计算机,就像人类操作电脑一样。该框架使用与人类操作员相同的输入和输出,模型通过查看屏幕并决定一系列鼠标和键盘动作来达成目标。
核心特性
- 兼容性: 设计用于支持各种多模态模型
- 集成: 目前已集成GPT-4、Gemini Pro Vision、Claude 3和LLaVA等模型
- 跨平台: 支持Mac OS、Windows和Linux(需安装X server)
- 多种操作模式: 支持OCR、语音输入、Set-of-Mark等多种操作模式
快速上手
- 安装项目:
pip install self-operating-computer
- 运行项目:
operate
-
输入OpenAI API密钥(如果没有,可以在这里获取)
-
授予终端应用必要的权限(屏幕录制和辅助功能)
更多详细使用说明,请参考官方文档。
高级使用
多模态模型选择
可以使用-m参数选择不同的模型:
- GPT-4 Vision:
operate -m gpt-4-with-ocr(默认) - Gemini Pro Vision:
operate -m gemini-pro-vision - Claude 3:
operate -m claude-3 - LLaVA:
operate -m llava
语音模式
使用--voice参数启用语音输入模式:
operate --voice
OCR模式
OCR模式是默认模式,它为GPT-4提供了一个可点击元素的坐标哈希表:
operate -m gpt-4-with-ocr
Set-of-Mark提示模式
使用-m gpt-4-with-som命令启用Set-of-Mark(SoM)提示模式:
operate -m gpt-4-with-som
学习资源
- 官方GitHub仓库 - 包含完整源码和详细文档
- HyperwriteAI官网 - 了解更多关于开发团队的信息
- Discord社区 - 加入讨论,获取实时支持
- 项目Twitter - 关注最新动态
- 项目LinkedIn - 了解更多业界动态
贡献指南
如果您想为项目做出贡献,请查看CONTRIBUTING.md文件。
Self-Operating Computer是一个充满潜力的开源项目,它为AI自主操作计算机开辟了新的可能性。无论您是AI研究者、开发者还是对此感兴趣的爱好者,都可以通过上述资源深入了解并参与到这个激动人心的项目中来。让我们一起探索AI操控计算机的未来吧!
