modelmesh

高扩展性分布式模型服务管理框架

ModelMesh 模型服务管理分布式缓存 Kubernetes 高规模服务 Github 开源项目

ModelMesh是一个通用的模型服务管理框架，适用于大规模、高密度和动态变化的模型部署环境。它作为分布式LRU缓存，与各种模型服务器协同工作，优化运行时模型的服务。支持Kubernetes部署，提供自定义资源管理，并能无缝集成多种开源模型服务器。

bisheng - 开源大模型应用开发平台

BishengGithub大模型应用开源开源项目数据治理智能应用热门

Bisheng是一款开源大模型应用开发平台，旨在加速大模型技术在多种业务场景下的应用落地，通过提供灵活、可靠的开发组件和流程编排能力，支持包括文档摘要、知识库问答和对话等智能应用的构建。平台强调实用功能和数据治理，专为高并发和企业级应用设计。于2023年8月底正式开源，提供全面的开发者文档和社区支持。

fastmlx - FastMLX为MLX模型提供高性能托管API 支持视觉和语言模型

APIFastMLXGithubMLX模型图像处理开源项目机器学习

FastMLX是一个高性能API，用于托管MLX模型，包括视觉语言模型和语言模型。它提供OpenAI兼容接口，支持动态模型加载、多种模型类型和图像处理。FastMLX具有高效的资源管理能力，易于集成和扩展。通过多工作进程并行处理，提高了系统吞吐量和响应速度。此外，FastMLX支持函数调用功能，进一步增强了其多功能性。

kubeedge - 基于Kubernetes的边缘计算平台实现云边应用与设备协同管理

GithubKubeEdgeKubernetes云边协同容器化开源项目边缘计算

KubeEdge是基于Kubernetes的开源边缘计算平台，将容器应用编排和设备管理扩展到边缘节点。它具有云边协作、边缘自治和轻量级代理等特点，支持使用Kubernetes API管理边缘应用和设备。KubeEdge包含云端和边缘组件，为云边网络、应用部署和数据同步提供基础设施，并支持MQTT协议实现边缘设备接入。该平台有助于在边缘高效处理数据，提升响应速度并保护数据隐私。

MegEngine - 高效、可扩展且易于使用的深度学习框架

GithubMegEngine开源项目深度学习框架硬件需求训练与推理高性能

MegEngine是一个高效、可扩展且易于使用的深度学习框架，具有统一的训练和推理框架、低硬件要求和跨平台高效推理的三大关键特性。支持x86、Arm、CUDA、RoCM等多种平台，兼容Linux、Windows、iOS、Android等系统。通过DTR算法和Pushdown内存规划器，大幅降低GPU内存使用。适用于模型开发到部署的各个环节，致力于构建开放友好的AI社区。

DeepSpeed - 大模型的训练工具

AI工具AI开发AI系统技术DeepSpeed大规模训练模型压缩模型训练热门高性能计算

DeepSpeed是一个先进的深度学习优化工具库，专门设计用于简化和增强分布式训练。通过一系列创新技术，如ZeRO、3D并行处理、MoE和ZeRO-Infinity，DeepSpeed能大幅提高训练速度，同时降低成本。这些技术支持在数千GPU上扩展模型训练，并实现低延迟和高吞吐量的推理性能。DeepSpeed同时提供了先进的模型压缩技术，优化模型存储与推理效率，是大规模AI模型训练和推理的优选方案。

awesome-mlops - 多种自动化机器学习、数据处理、模型部署工具集合

GithubMLOps开源项目数据处理数据管理模型服务自动化机器学习

发掘和运用顶尖MLOps工具：该项目汇集了多种自动化机器学习、数据处理、模型部署工具，供数据科学家和机器学习工程师选择使用，以简化机器学习流程，优化生产活动。

website - KServe简化机器学习模型部署和管理

GithubKServe开源项目文档社区网站贡献

KServe是开源机器学习模型服务平台，旨在简化AI模型部署和管理。项目网站提供全面文档、代码示例和社区资源。支持版本化文档，欢迎社区参与改进。平台为企业级AI部署提供灵活解决方案，包括最新文档、博客和贡献指南。

machinelearning - 跨平台开源框架，简化.NET应用中的模型开发与部署

GithubML.NET开源框架开源项目机器学习模型训练自定义模型

ML.NET是一个跨平台的开源机器学习框架，使开发者无需机器学习经验即可在.NET应用中构建、训练和部署定制模型。它支持从文件和数据库加载数据，并进行数据转换，具备多种机器学习算法。ML.NET适用于分类、预测和异常检测等多种场景，并兼容TensorFlow和ONNX模型，扩展性强。支持Windows、Linux和macOS操作系统，以及ARM64和Apple M1处理器架构。

csghub-server - 开源大型模型资产管理平台

CSGHubGit LFSGithubREST API大模型资产管理开源开源项目

CSGHub Server是一个开源的大型模型资产管理平台，通过REST API提供模型、数据集和其他AI资产的管理功能。核心特性包括用户组织管理、自动标签、搜索、数据集预览、内容审核、文件下载和活动追踪。支持灵活配置Git服务器和LFS存储系统，适应不同场景需求。作为AI资产管理解决方案，CSGHub Server致力于简化开发流程，提高资源利用效率。

ModelCenter - 高效实现大规模预训练语言模型的开源工具

GithubModelCenter低资源分布式训练大语言模型开源项目高效实现

ModelCenter是一个开源的预训练语言模型实现工具。它基于OpenBMB/BMTrain后端，支持高效低资源的模型使用和分布式训练。相较于其他框架，ModelCenter在代码封装、环境配置、内存利用和训练速度等方面都有明显优势。该工具支持BERT、GPT、T5等多种主流预训练模型，并提供简洁易用的API接口。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com