Project Icon

PERSIA

突破百万亿参数的推荐模型训练框架

PERSIA代表'并行推荐训练系统与混合加速',是一个创新的开源框架,专为训练超大规模深度学习推荐模型而设计。该系统能够处理高达100万亿参数的模型,在效率和可扩展性方面表现卓越。PERSIA不仅在公共数据集上展现出优势,还在大型商业应用中得到实际验证。作为首个公开的PyTorch基础推荐训练系统,PERSIA为推荐算法的研究和应用开辟了新的可能性。

Megatron-LM - 优化GPU训练技术 加速大规模Transformer模型
GPU优化GithubMegatron-CoreMegatron-LM分布式训练大语言模型开源项目
Megatron-LM框架利用GPU优化技术实现Transformer模型的大规模训练。其Megatron-Core组件提供模块化API和系统优化,支持自定义模型训练。该项目可进行BERT、GPT、T5等模型预训练,支持数千GPU分布式训练百亿参数级模型,并提供数据预处理、模型评估和下游任务功能。
Prophecis - 多租户机器学习平台
GithubMLFlowProphecisWeBank人工智能开源项目机器学习平台
Prophecis是由微众银行开发的多租户机器学习平台,集成了多种开源框架,包括TensorFlow、Python和XGBoost,提供生产环境的全栈容器部署和管理服务。平台覆盖了从数据上传、预处理到模型部署的完整流程,支持一键部署为RESTful API或RPC接口。Prophecis还提供企业级应用发布、监控、服务管理和日志查询工具,满足企业在机器学习生产环境中的所有需求。
elliot - 推荐系统评估框架 简化实验流程提高研究可重复性
ELLIOTGithub实验开源项目推荐系统框架评估
Elliot是一个面向研究人员的推荐系统评估框架。它通过配置文件驱动实验流程,涵盖数据加载、模型优化、训练和结果收集。框架支持多种数据分割策略和超参数优化,提供准确性、偏见和公平性等评估指标。Elliot注重实验可重复性,让研究人员能全面控制实验过程,是推荐系统研究的有力工具。
min-max-gpt - 为大规模GPT模型训练优化的开源框架
GPU训练GithubminGPT分布式训练大规模模型开源项目深度学习
min-max-gpt是一个针对大规模GPT模型训练优化的开源项目。该框架集成了muP初始化、混合精度训练、FSDP和DeepSpeed Zero-3等技术,并提供了不依赖Hugging Face的训练选项。这使得研究人员和开发者能够更灵活地控制训练过程。项目已在8块80GB A100 GPU上成功训练20B参数模型,展现了其在大规模语言模型训练方面的能力。
aistore - 分布式存储系统 专为AI与PB级深度学习优化
AIStoreGithub分布式系统对象存储系统开源项目数据管理深度学习
AIStore是专为AI应用设计的轻量级存储系统,具备线性扩展能力和运行时节点弹性。支持从单机到大规模集群部署,提供统一命名空间、ETL卸载和文件数据集等功能。AIStore与PyTorch集成,采用REST API和S3兼容接口,支持多种后端存储,适用于AI和深度学习工作负载。
Aria - 轻量级多模态原生混合专家模型实现高性能AI推理
AriaGithubHuggingface人工智能多模态模型开源项目机器学习模型模型训练
Aria是一个多模态原生MoE模型,集成了视觉、文本和视频处理能力。模型采用3.9B参数进行推理,支持64K长度的多模态输入,具备高效的视频处理性能。在文档理解、图表分析、视频理解等领域展现出稳定表现,能够满足多样化的AI应用需求。
fun-rec - 系统化机器学习推荐算法教程与实战
FunRecGithub开源项目推荐系统机器学习算法工程师阿里天池
本教程适合具备机器学习基础、希望进入推荐算法领域的学习者,内容包括推荐系统概述、算法基础、实战项目和面经总结。系统化学习从基础到实战,助力面试成功。由多位热爱分享的同学整理,FunRec学习社区提供交流和技术支持。
S-LoRA - 大规模并发LoRA适配器高效服务系统
GPU内存优化GithubLoRA适配器S-LoRA大语言模型开源项目批处理推理
S-LoRA系统针对大规模LoRA适配器服务进行优化。采用统一分页、异构批处理和新型张量并行策略,提高内存管理效率和GPU利用率。相较现有技术,S-LoRA提升吞吐量4倍,显著增加可服务适配器数量。这一突破为大规模定制语言模型部署开辟新途径。
Surprise - 专为推荐系统设计的Python科学计算工具包
GithubPythonSurprise协同过滤开源项目推荐系统机器学习
Surprise是一个专门用于构建和分析基于显式评分数据的推荐系统的Python科学计算工具包。它简化了数据集处理,提供多种预测算法和相似度度量,支持新算法实现,并具备评估和比较算法性能的工具。Surprise适用于学术研究和商业应用,为推荐系统开发提供了全面的解决方案。
RecAI - 衔接大语言模型和推荐系统
AI代理GithubLLM4RecRecAI开源项目推荐系统深度学习
RecAI 项目旨在通过整合大规模语言模型 (LLMs) 开发更先进的推荐系统,主要提升交互性、可解释性和控制性。项目研究了多种技术,包括推荐 AI 代理、个性化提示、语言模型微调、模型解释器和评价系统。目标是通过全面的方法,解决 LLM4Rec 在实际应用中的需求,打造更加智能和可信赖的推荐系统。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号