Project Icon

aphrodite-engine

开源高性能语言模型推理引擎

Aphrodite是一个开源的语言模型推理引擎,采用vLLM的分页注意力机制实现高效推理。它支持连续批处理、多种量化方法和分布式推理,可为大规模用户提供快速服务。该引擎还具备多种采样方法和8位KV缓存,能够处理更长的上下文并提高吞吐量。Aphrodite目前作为PygmalionAI的官方后端引擎使用。

Hermes-3-Llama-3.1-8B-GGUF - 新一代高性能开源语言模型的量化版本
GithubHermes 3HuggingfaceJSON模式人工智能函数调用开源项目模型语言模型
Hermes-3-Llama-3.1-8B-GGUF是Nous Research开发的Hermes系列语言模型最新版本的量化版本。这个通用型模型在代理能力、角色扮演、推理、多轮对话和长上下文理解方面有显著提升。它采用ChatML作为提示格式,支持函数调用和结构化输出,并在多项基准测试中表现优异。研究者和开发者可以通过HuggingFace Transformers或vLLM框架便捷地使用该模型。
petals - 本地运行大型语言模型,BitTorrent 风格
GPU共享GithubLlama 3.1Petals分布式推理大模型微调开源项目
Petals项目让用户能够在家中或通过Google Colab运行Llama 3.1、Mixtral、Falcon和BLOOM等大型语言模型。通过分布式网络托管模型层,推理速度可提升至10倍。用户可以微调模型以满足特定任务需求,并且支持隐私保护和私人群组设置。该项目依赖社区共享GPU资源,提供详细的教程和支持,帮助用户快速上手并充分利用其功能。
symbolicai - 将神经网络和符号推理融合的大语言模型框架
GithubLLMPythonSymbolicAI开源项目框架神经符号
SymbolicAI是一个创新框架,融合大语言模型与任务特定提示,通过分治方法解决复杂问题。该框架实现可微分编程和经典编程的无缝集成,支持神经符号、语音、OCR和搜索等多种引擎。它为开发者提供交互式shell、聊天机器人和包管理工具,简化了基于LLM应用的开发和管理过程。
Medusa - 使用多个解码头加速 LLM 生成的简单框架
GithubLLM生成Medusa加速多解码头开源项目性能优化
Medusa框架通过多解码头技术加速大型语言模型(LLM)的生成,解决了草稿模型需求、系统复杂性和采样生成效率低的问题。在保持原模型性能的基础上,Medusa通过添加新解码头预测多个未来词,显著提升生成速度。最新的Medusa-2版本支持全模型训练和自我蒸馏,使任何微调后的LLM都能利用Medusa,无需原始训练数据。测试显示在不同LLM上提升了2.2-3.6倍的速度。
Aria - 轻量级多模态原生混合专家模型实现高性能AI推理
AriaGithubHuggingface人工智能多模态模型开源项目机器学习模型模型训练
Aria是一个多模态原生MoE模型,集成了视觉、文本和视频处理能力。模型采用3.9B参数进行推理,支持64K长度的多模态输入,具备高效的视频处理性能。在文档理解、图表分析、视频理解等领域展现出稳定表现,能够满足多样化的AI应用需求。
Prompt-Engineering-Toolkit - 多模型AI对话提示优化工具
API集成GithubPrompt Engineering Tool大语言模型开源项目提示词优化用户界面
Prompt-Engineering-Toolkit是一个用于优化AI语言模型对话提示的Web应用。支持OpenAI和Anthropic等多个LLM提供商,可同时测试多个模型并比较输出结果。具备变量管理、提示模板保存加载、模型配置管理等功能。适用于开发者、研究人员和内容创作者,有助于提升AI对话效果。界面采用响应式设计,支持调整面板大小和模型温度参数。
TextSynth - 大型AI模型API访问与推理优化服务平台
AI工具API服务TextSynth人工智能文本生成语言模型
TextSynth作为人工智能服务平台,提供Mistral、Mixtral、Llama2和Stable Diffusion等大型AI模型的API访问。平台通过REST API和交互式playground支持文本处理、图像生成和语音转文本等多种功能。采用自定义推理技术,TextSynth在标准硬件上实现更快速度和更低成本。自2020年成立以来,平台一直是GPT-2模型访问的先行者。TextSynth提供免费基础服务和按需付费选项,满足不同用户需求。
sglang - 大语言模型和视觉语言模型高效服务框架
GithubSGLang前端语言后端运行时大语言模型开源项目服务框架
SGLang是一款为大语言模型和视觉语言模型设计的服务框架。该框架通过协同优化后端运行时和前端语言,提高了模型交互的速度和可控性。其后端运行时采用前缀缓存、约束解码和连续批处理等技术提升效率。前端语言支持链式生成调用、高级提示、控制流和多模态等功能,增强了灵活性。SGLang适用于各类LLM应用的快速开发和部署。
simulatrex-engine - 基于大语言模型的模拟决策引擎
API服务GithubLLM模拟Simulatrex决策支持开源项目
Simulatrex-engine是一个基于大语言模型(LLM)的模拟决策引擎,用于生成和分析复杂场景。它提供playground环境用于运行和可视化模拟结果,支持Docker快速部署。项目包含RESTful API接口,方便开发者集成,并通过GitHub平台支持开源社区贡献。Simulatrex-engine具有安装使用指南,支持各种模拟场景的运行和功能扩展。
LitServe - 基于FastAPI的高性能AI模型部署引擎 支持批处理和GPU自动扩展
AI模型部署FastAPIGPU自动缩放GithubLitServe开源项目高性能服务
LitServe是一个基于FastAPI构建的AI模型部署引擎,具有高吞吐量和可扩展性。它提供批处理、流式传输和GPU自动扩展功能,支持多模态和多框架,适用于嵌入、LLM服务、音频处理等多种AI任务。基准测试显示,LitServe在并发请求处理方面表现优于FastAPI和TorchServe。该引擎还提供完全控制权和内置认证功能,无需为每个模型重新构建服务器。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号