willow-inference-server

高性能语言推理的开源自托管解决方案

Willow Inference Server ASR TTS CUDA WebRTC Github 开源项目

Willow Inference Server (WIS) 是一个高效的开源语言推理服务器，支持自托管并优化了CUDA和低端设备的使用。在减少内存和显存占用的前提下，能够同时加载多种语言模型。WIS 支持语音识别 (ASR)、文本到语音合成 (TTS) 以及大语言模型 (LLM)，并通过 REST、WebRTC 和 WebSockets 等多种传输方式，实现实时、低延迟的语音与语言处理，适用于各类助理任务和视障用户。

访问官网

Github

Huggingface

介绍相关项目

RuntimeSpeechRecognizer - 基于OpenAI的Whisper的语音识别项目

GithubOpenAI's WhisperRuntime Speech RecognizerUnreal Engine开源项目语音识别高性能

RuntimeSpeechRecognizer是一个高效的语音识别项目，基于OpenAI的Whisper技术，提供快速且准确的识别。支持英语和多语言（多达100种语言），提供从75 MB到2.9 GB多种模型尺寸。自动下载语言模型，支持将识别的语音翻译成英语，特性可定制，无需静态库或外部依赖，兼容多个平台（Windows、Mac、Linux、Android、iOS等）。

silero-models - 提供预训练的企业级语音识别和合成模型

GithubONNXPyTorchSilero Models开源项目文本转语音语音识别

silero-models展示高质量预训练语音识别与合成模型，提供简化的企业级语音技术解决方案，性能匹敌谷歌STT。模型即用、支持多语言、语音合成自然，将企业和开发者的部署流程简化至极致。

LitServe - 基于FastAPI的高性能AI模型部署引擎支持批处理和GPU自动扩展

AI模型部署FastAPIGPU自动缩放GithubLitServe开源项目高性能服务

LitServe是一个基于FastAPI构建的AI模型部署引擎，具有高吞吐量和可扩展性。它提供批处理、流式传输和GPU自动扩展功能，支持多模态和多框架，适用于嵌入、LLM服务、音频处理等多种AI任务。基准测试显示，LitServe在并发请求处理方面表现优于FastAPI和TorchServe。该引擎还提供完全控制权和内置认证功能，无需为每个模型重新构建服务器。

wren-engine - 专为大型语言模型（LLM）设计的语义引擎

AI代理GithubLLMWren Engine可组合数据系统开源项目语义引擎

Wren Engine是专为大型语言模型（LLM）设计的语义引擎，是Wren AI项目的核心。它注重可嵌入性和互操作性，实现跨AI代理的语义上下文重用，并与各类数据源无缝连接。支持可组合数据系统，提供API接口，兼容云端和本地数据栈，促进AI应用开发。目前为alpha版本，持续更新中。

whisper.cpp - 跨平台自动语音识别模型推理工具

Apple SiliconGithubOpenAI Whisperwhisper.cpp开源项目语音识别高性能

whisper.cpp是基于OpenAI Whisper的C/C++自动语音识别（ASR）模型实施，针对Apple Silicon经过优化，并支持多平台部署。该项目以极低的内存消耗和CPU/GPU推理能力，覆盖Mac OS、iOS、Android等主流平台，提供灵活的API与多样的定制模型，使开发者能够轻松地融合语音功能。

wekws - 端到端关键词检测的开源工具包

GithubWeKws关键词识别唤醒词检测开源项目深度学习物联网设备

WeKws是一个面向生产环境的端到端关键词检测工具包。它支持多种应用场景，包括单一唤醒词、多唤醒词、可定制唤醒词和个性化唤醒词。该工具包针对物联网设备优化，具有低功耗、参数少、计算复杂度低和流式检测等特点。WeKws兼容多种开源唤醒词数据集和硬件平台，如Web浏览器、x86、Android和树莓派。

vllm - 高性能与易用性的LLM推理与服务平台

GithubLLM服务PagedAttentionvLLM开源项目量化高吞吐量

vLLM是一个高性能且易用的LLM推理与服务平台，具备PagedAttention内存管理、CUDA/HIP图形加速、量化支持、并行解码算法及流式输出等技术优势。vLLM无缝集成Hugging Face模型，兼容多种硬件设备，支持分布式推理和OpenAI API。最新版本支持Llama 3.1和FP8量化。用户可通过pip安装并参考详细文档快速入门。

xtts-streaming-server - Docker化流式文本转语音服务支持GPU加速与模型定制

DockerGPUGithubXTTS开源项目流式服务器语音合成

xtts-streaming-server是一个开源的Docker化流式文本转语音服务。该项目支持GPU加速，提供预构建镜像和自定义构建选项，并可加载微调模型。项目包含简易部署方法和测试工具，适合快速构建演示环境。需注意，当前版本不支持并发流式请求，主要用于演示目的。使用前需同意CPML许可协议。

PaddlePaddle-DeepSpeech - 基于PaddlePaddle的开源中文语音识别系统

DeepSpeech2GithubPaddlePaddle开源项目深度学习端到端ASR语音识别

PaddlePaddle-DeepSpeech是一个基于PaddlePaddle框架的中文语音识别项目。该系统支持自定义数据集训练和多种数据增强方法，适用于多样化场景。项目提供预训练模型，兼容Windows和Linux平台，并支持Nvidia Jetson等开发板推理。系统集成了GUI界面、Web部署和长语音识别功能，为开发者提供完整的语音识别工具链。

whisper.api - 开源自托管语音转文字API项目

API密钥GithubWhisper API开源项目自托管语音转文本

whisper.api是一个开源的自托管语音转文字API项目，基于微调的Whisper ASR模型。项目提供HTTP API接口，支持用户级API密钥管理，并采用量化模型优化，实现高效推理。其开源特性便于自定义和私有部署，适用于各类需要语音识别功能的应用场景。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号