ScreenAgent

由视觉语言大模型驱动的电脑控制工具

ScreenAgent VLM Agent IJCAI 2024 自动控制数据集 Github 开源项目

ScreenAgent项目创建了一个由视觉语言模型驱动的电脑控制环境，允许代理通过截图与真实屏幕互动并操作GUI。自动控制流程分为规划、执行和反思三个阶段，使代理能够完成多步骤任务。项目包含丰富的截图和操作序列数据集，支持包括GPT-4V、LLaVA-1.5、CogAgent和ScreenAgent在内的多种模型，并提供简化体验的网页版客户端。

Github

Huggingface

介绍相关项目

micro-agent - 微型AI代理用于代码编写和修复

API密钥GithubMicro AgentNode.js代码生成开源项目测试驱动开发

一个专注于代码生成和修复的AI工具，通过自动生成测试用例并迭代代码，确保所有测试通过。支持OpenAI和Anthropic API集成，提供视觉匹配和Figma集成功能，为开发者提供高效和精确的代码编写体验。

midscene - AI支持的自然语言网页控制和数据提取

AI自动化GithubJSON格式Midscene.js开源项目断言功能自然语言交互

Midscene.js 是一款基于 AI 的自动化 SDK，能够使用自然语言控制网页、执行断言，并提取 JSON 格式的数据。它提供了直观的 UI 交互、数据格式提示和 AI 理解的断言功能，无需自定义训练，同时支持常用的多模态 LLM，如 GPT-4 等。还配备了可视化工具，便于调试和理解整个过程，为开发者提供全新的自动化开发体验。

generativeAgent_LLM - 交互式人类行为模拟框架

AI模拟Generative AgentsGithubLangchain人工智能开源项目本地LLM

generativeAgent_LLM是一个基于Guidance、Langchain和本地LLM的生成式智能体框架。该项目支持记忆检索、反思、规划和对话生成等功能，能够模拟人类行为并实现交互。它在Langchain基础上进行了改进和扩展，添加了更多特性，更贴近原始论文的设计。除了支持本地LLM，项目还提供代理总结和采访等功能。同时包含详细使用说明和示例代码，便于快速上手和定制开发。

Open-Interface - 利用LLM实现计算机自驱动操作

GPT-4VGithubOpen Interface开源项目机器学习自动化自驾电脑软件

Open Interface通过向LLM后端（如GPT-4V）发送用户请求来实现计算机的全自动驾驶功能。系统通过模拟键盘和鼠标输入自动执行任务，并在必要时发送当前屏幕截图进行调整。此项目支持MacOS、Linux和Windows，并允许连接不同的LLM后端进行自定义配置，带来了提高效率和自动化的新选择。

awesome-autonomous-gpt - 收集和分享GPT自主AI代理项目

AGIGithubKwaiAgents应用程序开发者工具开源项目自主AI

收集和分享与GPT自主AI代理相关的开源项目和资源，提供代码、模型和数据，促进在多领域应用的LLM代理的发展。涵盖开发工具、应用实例和基准测试，助力高效任务解决和复杂问题处理。自研的KwaiAgents系统现已开源并被Auto-GPT Wiki收录，是AI研究和开发者的宝贵参考。

OpenAdapt - 具有大型多模态模型（LMM）的 AI 优先流程自动化

AI-First Process AutomationGUI AutomationGithubLarge Multimodal ModelsOpenAdaptPython开源项目

OpenAdapt项目利用大型多模态模型（LMMs）实现与桌面和网页图形用户界面的无缝集成。这个开源Python库通过录制和分析用户操作，自动生成任务提示并执行任务回放，减少重复性工作，提高效率。项目特点包括模型无关性、自动提示生成和广泛的系统兼容性，支持所有类型的GUI，包括虚拟化和网页。项目遵守MIT开源许可证。了解更多关于安装、使用和贡献的信息，并加入开发者社区优化流程自动化技术。

llama-agentic-system - 基于Llama 3.1的多功能智能系统

Githubllama-agentic-system代理任务分布式系统大语言模型安全评估开源项目

llama-agentic-system是基于Llama 3.1构建的智能系统,具备任务分解、多步推理和工具使用能力。系统集成了模型推理、安全检查和代码执行环境,并通过Llama Guard进行内容过滤,为开发者提供了构建生成式AI应用的完整工具链。

LLaVA - 提升大型语言与视觉模型的视觉指令调优

GPT-4GithubLLaVA多模态交互大型语言与视觉模型开源项目视觉指令调优

LLaVA项目通过视觉指令调优提升大型语言与视觉模型的性能，达到了GPT-4级别。最新更新包括增强版LLaVA-NeXT模型及其在视频任务上的迁移能力，以及高效的LMMs-Eval评估管道。这些更新提升了模型的多任务和像素处理能力，支持LLama-3和Qwen等不同规模的模型，并提供丰富的示例代码、模型库和数据集，方便用户快速上手和深度研究。

skyvern - 自动化浏览器工作流，集成大语言模型与计算机视觉

GithubLLMSkyvern开源项目浏览器工作流自动化计算机视觉

Skyvern结合大语言模型（LLMs）和计算机视觉，提供简单的API端点，实现大量网站的工作流自动化，解决传统方法的不稳定性。无需定制代码即可操作新网站，对布局变化具有抗性，并能在多个网站上应用相同工作流。Skyvern云版本让用户无需管理基础设施即可运行多个实例，并提供反机器人检测、代理网络和验证码解决方案。

AGENT - 智能聊天机器人优化企业运营与客户服务

AGENTAI工具AI聊天机器人CRM集成客户服务销售线索

AGENT是I Need Leads Ltd开发的AI聊天机器人解决方案,通过自动化客户互动、销售线索筛选和预约管理等功能提高企业效率。它运用自然语言处理和机器学习技术,智能理解需求并提供个性化服务。AGENT可集成CRM系统,优化数据流转和业务流程。该产品为企业提供全天候智能客户服务,助力提升数字化竞争力。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号