Project Icon

model_server

高性能AI模型部署系统 支持多框架和多设备

OpenVINO Model Server是一个高性能AI模型部署系统,针对Intel架构优化。支持TensorFlow、PaddlePaddle和ONNX等多种框架,可在不同AI加速器上运行。系统通过gRPC和REST API提供服务,具备模型版本控制、动态输入和DAG调度等功能。适用于边缘计算和云环境,可提高资源利用率和推理效率。该系统还支持Python代码执行、gRPC流式传输和MediaPipe图形服务。OpenVINO Model Server适合微服务架构应用和Kubernetes环境部署,可实现水平和垂直推理扩展。

ppl.llm.serving - 基于ppl.nn的大型语言模型服务框架
CUDAGithubPPL LLM ServinggRPC大型语言模型开源项目推理服务
ppl.llm.serving是基于ppl.nn的大型语言模型服务框架,提供gRPC服务器支持LLaMA等模型推理。该项目支持多GPU、离线推理,并具备模型导出、服务部署和性能测试功能。适用于x86_64和arm64平台,可用于构建和部署大规模语言模型服务。
modelmesh - 高扩展性分布式模型服务管理框架
GithubKubernetesModelMesh分布式缓存开源项目模型服务管理高规模服务
ModelMesh是一个通用的模型服务管理框架,适用于大规模、高密度和动态变化的模型部署环境。它作为分布式LRU缓存,与各种模型服务器协同工作,优化运行时模型的服务。支持Kubernetes部署,提供自定义资源管理,并能无缝集成多种开源模型服务器。
training_extensions - OpenVINO框架助力快速训练和部署计算机视觉模型
GithubOpenVINO开源项目模型训练深度学习计算机视觉迁移学习
OpenVINO Training Extensions是一个专注计算机视觉的低代码迁移学习框架。它基于PyTorch和OpenVINO工具包开发,提供简洁API和CLI命令,支持分类、检测、分割等多种任务的模型训练、推理和部署。该框架具备自动配置、分布式训练、混合精度等功能,可快速构建高效准确的视觉AI模型。
UbiOps - AI模型部署与编排的简化解决方案
AI基础设施AI工具UbiOps云计算机器学习模型部署
UbiOps是一个AI模型部署和编排平台,专为简化AI和机器学习项目而设计。该平台使数据科学团队能够将AI工作负载快速转化为可靠的微服务,无需深厚的DevOps经验。支持LLM和计算机视觉等多种AI模型,提供自动扩展、混合云部署和工作流管理功能。UbiOps致力于优化AI产品的开发流程,同时提高计算资源利用效率,降低运营成本。
serve - 提高PyTorch模型服务效率和安全性的关键技术
GithubPyTorchTorchServe大规模模型安全性开源项目模型服务
TorchServe是一款高效灵活的平台,用于生产环境中PyTorch模型的部署和扩展。最新版本通过默认启用的令牌授权机制和增强的模型API控制,有效预防未授权API调用和恶意代码风险。此外,该平台还支持在不同环境(包括本地、云服务及各类硬件)中快速部署模型。
website - KServe简化机器学习模型部署和管理
GithubKServe开源项目文档社区网站贡献
KServe是开源机器学习模型服务平台,旨在简化AI模型部署和管理。项目网站提供全面文档、代码示例和社区资源。支持版本化文档,欢迎社区参与改进。平台为企业级AI部署提供灵活解决方案,包括最新文档、博客和贡献指南。
HyperMink - 简化AI推理部署的开源服务器平台
AIAI工具HyperMinkSystem-1开源推理服务器
HyperMink是一个开源AI推理服务器平台,核心服务Inferenceable基于Node.js构建,简单易用且适合生产环境。平台整合了llama.cpp和llamafile的C/C++核心,提供强大的AI推理能力。除支持本地部署外,HyperMink还推出了便携式System-1 USB产品。该平台支持网页阅读和自然语言处理等功能,为开发者和企业提供灵活高效的AI应用开发解决方案。HyperMink适用于各种AI应用场景,如智能客服、内容生成和数据分析,显著提高了AI部署效率和可访问性。
onnx - 跨平台开源机器学习模型交换格式
GithubGlobal Corporation人工智能企业安全开源项目社交媒体跨平台应用
ONNX是一种开放的机器学习模型表示格式,支持跨框架模型互操作。它定义了统一的模型表示方式,实现不同AI框架间的模型转换。ONNX简化模型部署过程,提升AI应用效率。作为行业标准,ONNX促进AI生态系统发展,为开发者和企业带来更多可能性。
aidea-server - 集成主流AI语言模型和绘图功能的开源服务端
AIdeaAI绘图GithubGolangOpenAI开源开源项目
该开源服务端由Golang开发,集成了多种主流AI语言模型和绘图模型,包括OpenAI GPT-3.5、GPT-4等。支持文生图、图生图、超分辨率等功能。用户可以通过Docker自助部署或寻求协助进行私有化部署,并享受持续的技术交流与支持。项目框架采用Glacier和Eloquent ORM,提供模块化的依赖注入和数据库操作,适用于多种AI应用场景。
openvino_notebooks - 深度学习推理优化的交互式Jupyter Notebooks
API优化GithubJupyter NotebooksOpenVINOPython开源项目深度学习推理
本项目提供了一系列可执行的Jupyter Notebooks,用于学习和实验OpenVINO™工具包。用户可以通过这些Notebooks了解OpenVINO的基础知识,并学习如何使用API进行优化的深度学习推理。支持多平台运行,包括本地、云端和Docker容器,提供详细的安装指南、系统需求及常见问题解答,全面辅助开发者使用OpenVINO™。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号