Project Icon

nllb-serve

开源多语言翻译服务器与API实现

nllb-serve是一个开源项目,为Meta的NLLB翻译模型提供web界面和REST API。该项目支持200种语言间的翻译,具有便捷的部署流程。它提供服务器配置、命令行工具、API文档和批量翻译功能,支持GPU加速和自定义模型,适用于需要大规模多语言翻译能力的场景。

nllb-200-1.3B - 支持200种语言互译的机器翻译开源模型
GithubHuggingfaceNLLB-200人工智能研究多语言模型开源项目机器翻译模型算法训练
nllb-200-1.3B是一个1.3B参数规模的开源机器翻译模型,支持200种语言之间的互相翻译。模型基于Flores-200数据集训练,特别关注低资源语言的翻译效果,支持最大512个token的单句翻译。经BLEU、spBLEU和chrF++等指标评估,该模型主要用于机器翻译研究,不适用于医疗、法律等专业领域的生产环境。
llm-api - 灵活易用的跨平台大语言模型API框架
API接口Docker容器GPU加速GithubLLM API大语言模型开源项目
LLM-API是一个灵活的大语言模型API框架,支持在多种硬件平台上运行各类LLM模型。通过简单的YAML配置,它能自动下载模型并提供统一的API接口。支持Docker容器和本地运行,兼容Llama、GPT等多种模型。项目还包含Python客户端和LangChain集成,大大简化了LLM的应用开发过程,使其强大功能更易于开发者使用。
ppl.llm.serving - 基于ppl.nn的大型语言模型服务框架
CUDAGithubPPL LLM ServinggRPC大型语言模型开源项目推理服务
ppl.llm.serving是基于ppl.nn的大型语言模型服务框架,提供gRPC服务器支持LLaMA等模型推理。该项目支持多GPU、离线推理,并具备模型导出、服务部署和性能测试功能。适用于x86_64和arm64平台,可用于构建和部署大规模语言模型服务。
mlc-llm - 通用大语言模型高性能部署引擎
AI模型优化GithubMLC LLMMLCEngine开源项目机器学习编译器高性能部署
MLC LLM是一款用于大语言模型的高性能部署引擎,支持用户在各种平台上开发、优化和部署AI模型。核心组件MLCEngine通过REST服务器、Python、JavaScript、iOS和Android等接口提供OpenAI兼容的API,支持AMD、NVIDIA、Apple和Intel等多种硬件平台。项目持续优化编译器和引擎,与社区共同发展。
LiteLLM - 多语言模型的统一API管理和负载均衡解决方案
AI工具API统一LLM代理LiteLLM企业级服务开源
LiteLLM是一个代理服务器,为100多种大型语言模型提供统一API接口。它支持负载均衡、故障转移和支出跟踪,采用OpenAI格式。该工具简化了认证、资源分配和成本控制。LiteLLM提供开源和企业级解决方案,适用于不同规模组织。它拥有大量Docker下载量和请求服务量,得到众多贡献者支持。
llama-api-server - 开源RESTful API服务器,兼容OpenAI API
AIAPIGithubllama-api-server安装开源项目模型
llama-api-server是一个开源RESTful API服务器,兼容OpenAI API并支持llama和llama2等后端。用户可以通过PyPI下载、配置模型和安全令牌文件后启动服务器。该项目支持广泛的GPT工具和框架,提供详尽的安装及使用指南。其主要功能包括文本完成、嵌入和聊天,并支持参数设置如温度和顶级概率。项目正处于积极开发阶段,未来将添加更多功能和文档。
modelz-llm - 开源大语言模型推理服务器,支持本地和云端部署并兼容OpenAI API
GithubModelz LLMOpenAI兼容 API云原生开源LLMs开源项目自托管
Modelz LLM 是一款推理服务器,支持在本地或云端环境中运行开源大语言模型(LLM),如FastChat、LLaMA和ChatGLM,并兼容OpenAI API。用户可以通过OpenAI Python SDK或LangChain与模型交互,支持将不同LLM的Docker镜像部署在Kubernetes等云原生环境,便于开发者快速上手和灵活部署各种AI应用。
LiteLLM - 集成多种大语言模型的统一API代理平台
AI工具API统一LiteLLM代理服务器大语言模型开源项目
LiteLLM是一个统一的API代理平台,集成了100多种大语言模型,提供认证管理、负载均衡和支出跟踪功能。采用OpenAI格式,简化了多个LLM提供商的接入流程。LiteLLM具有开源和企业版本,支持高可用性,拥有活跃的社区。核心功能涵盖模型添加、负载均衡、密钥创建和支出监控,适合需要灵活管理多个LLM资源的开发团队和企业。
Easy-Translate - 高效多语言文本翻译工具支持多种模型
Easy-TranslateGithub多语言翻译大规模语言模型开源项目机器翻译自然语言处理
Easy-Translate是一款适合各级用户的文本翻译工具,支持M2M100、NLLB200和SeamlessM4T等多种翻译模型。该工具可在不同硬件环境下运行,具备自动调整批处理大小、多种解码策略和加载大型模型等功能。此外,Easy-Translate还提供了翻译质量评估功能,可计算多种评估指标。
LibreTranslate - 自托管开源机器翻译API
APIGithubLibreTranslate开源开源项目机器翻译自托管
LibreTranslate是一款开源自托管的机器翻译API,无需依赖第三方服务。其翻译引擎基于Argos Translate开源库,支持多语言互译。提供API接口和网页界面,具备自动语言检测、HTML翻译等功能。部署简便,支持Docker,可与多种编程语言集成。适合需要自主控制翻译服务的用户和开发者。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号