Project Icon

model_server

高性能AI模型部署系统 支持多框架和多设备

OpenVINO Model Server是一个高性能AI模型部署系统,针对Intel架构优化。支持TensorFlow、PaddlePaddle和ONNX等多种框架,可在不同AI加速器上运行。系统通过gRPC和REST API提供服务,具备模型版本控制、动态输入和DAG调度等功能。适用于边缘计算和云环境,可提高资源利用率和推理效率。该系统还支持Python代码执行、gRPC流式传输和MediaPipe图形服务。OpenVINO Model Server适合微服务架构应用和Kubernetes环境部署,可实现水平和垂直推理扩展。

nllb-serve - 开源多语言翻译服务器与API实现
GithubNLLBREST API人工智能多语言开源项目机器翻译
nllb-serve是一个开源项目,为Meta的NLLB翻译模型提供web界面和REST API。该项目支持200种语言间的翻译,具有便捷的部署流程。它提供服务器配置、命令行工具、API文档和批量翻译功能,支持GPU加速和自定义模型,适用于需要大规模多语言翻译能力的场景。
MindSpore - 深度学习框架优化AI处理器性能
AI工具
MindSpore是一款开放的AI架构,为开发者提供高效的深度学习框架。它支持多种处理器,并针对特定AI处理器进行了优化。该框架适用于云、边缘和移动设备,支持大模型训练、AI+HPC编程和动静统一编程。MindSpore致力于推动AI生态系统发展,促进创新。
selfhostedAI - 兼容OpenAI接口的自托管AI项目,支持多种模型与应用
APIChatGLMGithubSelf-Hosted AIllama.cppstable-diffusion-webui开源项目
selfhostedAI是兼容OpenAI接口的自托管AI项目,支持多种开源模型如RWKV、ChatGLM 6B和llama.cpp,以及绘画模型stable-diffusion-webui。项目提供一键安装程序和详细教程,可在本地或云端运行,实现文本生成、对话及绘画功能。此外,还集成了text-generation-webui和Wenda,简化安装和配置流程。
cloudflare-ai-web - 基于Cloudflare Workers AI的轻量多模态AI平台,支持Serverless部署
ChatGPTCloudflare WorkersGemini ProGithubServerlessStable Diffusion开源项目
Cloudflare Workers AI支持快速搭建轻量化多模态AI平台,提供Serverless部署,无需服务器。支持ChatGPT、Gemini Pro、Stable Diffusion、llama-3和通义千问等模型,具备访问密码和本地存储聊天记录功能。详细的部署说明和环境变量设置指南,支持Docker、Deno Deploy和Vercel等多种部署方式。
ai-hub-models - 一系列性能优化的机器学习模型
GithubPythonQualcomm AI Hub开源项目性能优化机器学习模型设备部署
Qualcomm® AI Hub Models提供了一系列性能优化的机器学习模型,适用于视觉、语音、文本和生成式AI。这些模型可以在Qualcomm设备上高效部署,并提供开源的量化、优化和部署指南。用户可以通过Hugging Face访问模型,并通过示例应用程序在本地设备上部署。支持多种操作系统和计算单元,兼容多款Snapdragon芯片,并提供详细的性能指标和文档。
openinference - 开放式AI应用程序追踪标准和工具集
AI应用GithubOpenInferenceOpenTelemetry开源规范开源项目插件
OpenInference是一套用于AI应用程序追踪的开放标准和工具集,与OpenTelemetry相辅相成。它能深入洞察LLM调用过程及其应用环境,包括向量存储检索和外部工具的使用情况。该项目提供了技术规范和多语言支持的机器学习SDK与框架检测库,可无缝对接各类OpenTelemetry兼容后端。OpenInference致力于为AI应用提供全方位的可观测性方案。
obico-server - 智能3D打印监控平台实现AI故障检测
3D打印AI检测GithubObico开源开源项目服务器
Obico Server是开源的智能3D打印监控平台,通过深度学习模型实现AI故障检测。该平台支持自托管安装,提供详细的安装指南,包括硬件要求、软件依赖和配置步骤。使用者可以连接OctoPrint或Klipper,并通过移动应用程序进行远程监控。Obico Server为3D打印爱好者和专业人士提供了强大、灵活的监控解决方案,满足制造商、爱好者和工匠的需求。
seldon-core - Kubernetes上的机器学习模型部署与管理平台
GithubKubernetesSeldon Core开源项目微服务机器学习模型部署
Seldon Core是专为Kubernetes环境设计的机器学习模型部署平台。支持主流框架,提供REST/GRPC接口,可扩展至数千模型。内置监控、日志、解释器、异常检测等功能,支持A/B测试和金丝雀发布。简化模型从开发到生产流程,适合企业级机器学习部署需求。
llama.onnx - LLaMa和RWKV模型的ONNX实现及独立演示,支持多设备部署
GithubLLaMaRWKVonnx模型开源项目推理量化
此项目提供LLaMa-7B和RWKV-400M的ONNX模型与独立演示,无需torch或transformers,适用于2GB内存设备。项目包括内存池支持、温度与topk logits调整,并提供导出混合精度和TVM转换的详细步骤,适用于嵌入式设备和分布式系统的大语言模型部署和推理。
caffe - 一个用于深度学习的快速开放框架
BAIRBVLCCaffeGithub开源项目模型动物园深度学习框架
Caffe是由伯克利AI研究中心和社区贡献者开发的深度学习框架,强调高效表达、速度和模块化。用户可以通过项目网站获取详细信息,包括DIY深度学习教程、文档、参考模型和社区模型库。Caffe提供多种自定义版本,例如优化CPU和多节点支持的Intel Caffe、适用于AMD和Intel设备的OpenCL Caffe,以及Windows Caffe。社区用户可通过Gitter聊天和Google论坛进行交流,提交问题和建议。项目遵循BSD 2-Clause许可证,鼓励在研究中引用。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号