wren-engine

专为大型语言模型（LLM）设计的语义引擎

Wren Engine 语义引擎 LLM 可组合数据系统 AI代理 Github 开源项目

Wren Engine是专为大型语言模型（LLM）设计的语义引擎，是Wren AI项目的核心。它注重可嵌入性和互操作性，实现跨AI代理的语义上下文重用，并与各类数据源无缝连接。支持可组合数据系统，提供API接口，兼容云端和本地数据栈，促进AI应用开发。目前为alpha版本，持续更新中。

aphrodite-engine - 开源高性能语言模型推理引擎

AI加速AphroditeGithub开源项目推理引擎语言模型量化技术

Aphrodite是一个开源的语言模型推理引擎，采用vLLM的分页注意力机制实现高效推理。它支持连续批处理、多种量化方法和分布式推理，可为大规模用户提供快速服务。该引擎还具备多种采样方法和8位KV缓存，能够处理更长的上下文并提高吞吐量。Aphrodite目前作为PygmalionAI的官方后端引擎使用。

Avian - 提供先进LLM推理和广泛数据连接的企业AI平台

AI工具APIAvian企业数据生成式AI语言模型

Avian是一个企业级生成式AI平台，基于Meta的Llama 3.1 405B模型提供先进语言处理。平台支持100多种数据连接器的RAG技术，实现强大的自然语言理解和生成。Avian API具备原生工具调用、流式处理和OpenAI兼容性，注重数据隐私和安全。Google、Salesforce等大型企业采用该平台，获得可靠、安全和高效的LLM数据集成解决方案。

Qwen2.5-72B-Instruct-AWQ - 高性能量化开源大模型支持多语言及长文本处理的人工智能助手

GithubHuggingfaceQwen2.5transformers大语言模型开源项目模型自然语言处理量化模型

Qwen2.5-72B-Instruct-AWQ是一款采用4位量化技术的大规模语言模型，具备29种语言处理能力。模型支持128K tokens的上下文理解和8K tokens的文本生成，搭载80层神经网络及64/8注意力头架构。该模型在代码生成、数学计算、结构化数据处理等方面展现出稳定性能，并可进行长文本处理和JSON格式输出。

llm.js - JavaScript实现浏览器直接运行大语言模型

GithubJavaScriptLLM.jsWebAssembly大语言模型开源项目浏览器推理

llm.js是一个JavaScript库，实现了在浏览器中直接运行大语言模型。该项目支持TinyLLaMA、GPT-2和Qwen等多种模型，利用WebAssembly技术在浏览器端进行高效推理，可在智能手机等设备上运行。llm.js提供结构化响应、Web Worker支持和模型缓存等功能，方便开发者将AI能力整合到Web应用中。

llm-workflow-engine - 功能强大的命令行界面和工作流管理工具，兼容多种大语言模型

ChatGPTGPT4GithubLLM Workflow Engine命令行开源项目插件架构

LLM Workflow Engine（LWE）是一款功能强大的命令行界面和工作流管理工具，专为大语言模型（LLM）设计。它支持通过终端与ChatGPT/GPT-4交互，兼容OpenAI官方API，并提供多种插件扩展功能。用户可以轻松构建Ansible Playbooks工作流，支持Docker镜像和Python库，适用于多种LLM供应商如GPT-3、Cohere等。

PraisonAI - 多智能体系统框架简化大语言模型应用开发

AI框架GithubLLM应用PraisonAI多智能体系统开源软件开源项目

PraisonAI是一个集中式框架，用于简化多智能体系统的创建和编排。该框架支持100多种大语言模型，提供多智能体UI、AI代理聊天和代码库交互等多种界面。PraisonAI强调易用性和定制化，适用于各种大语言模型应用场景。框架特点包括自动AI代理创建、YAML配置和自定义工具集成。

Qwen2.5-7B-Instruct-AWQ - 优化的大规模语言模型，支持长文本处理与多语言生成

GithubHuggingfaceQwenQwen2.5多语言支持开源项目指令跟随模型长文本处理

Qwen2.5 增强版在知识获取、编程和数学能力上有显著提升，支持最大128K的长文本处理及29种语言，优化用于指令追踪和生成结构化数据，尤其适合聊天机器人应用。

Qwen2-1.5B-Instruct-GGUF - Qwen2提供出色的多语言支持与兼容性

GithubHuggingfaceQwen2Transformer架构多语言能力大语言模型开源项目指令调优模型

Qwen2系列涵盖基础及指令微调语言模型，参数规模从0.5亿到72亿，具有优秀的多语言、编码及推理能力。1.5B版本展示了卓越的语言理解与生成能力，可媲美专有模型。本地可通过llama.cpp运行，并兼容OpenAI API以简便方式访问。多种模式与量化选项，适应不同需求与应用场景。

mistral.rs - 支持多种设备、模型量化的大型语言模型(LLM)推理平台，配备与Open-AI API兼容的HTTP服务器和Python绑定

GithubHTTP服务器LLM推理Python APImistral.rs开源项目模型量化

mistral.rs是一款支持多种设备、模型量化的大型语言模型(LLM)推理平台，配备与Open-AI API兼容的HTTP服务器和Python绑定，提供快速、精确的模型推理服务。平台支持文本和视觉模型，如AnyMoE、Llama等，采用LoRA技术和动态适配器，提高推理效率。用户可通过API在多种加速器上部署模型，实现快速计算和灵活应用。

skyvern - 自动化浏览器工作流，集成大语言模型与计算机视觉

GithubLLMSkyvern开源项目浏览器工作流自动化计算机视觉

Skyvern结合大语言模型（LLMs）和计算机视觉，提供简单的API端点，实现大量网站的工作流自动化，解决传统方法的不稳定性。无需定制代码即可操作新网站，对布局变化具有抗性，并能在多个网站上应用相同工作流。Skyvern云版本让用户无需管理基础设施即可运行多个实例，并提供反机器人检测、代理网络和验证码解决方案。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com