Project Icon

Merlin

GPU加速推荐系统解决方案 助力大规模数据处理与模型训练

Merlin是NVIDIA开发的开源库,为推荐系统提供GPU加速解决方案。它包含多个组件如NVTabular和HugeCTR,支持大规模数据处理、特征工程、模型训练和部署。Merlin能处理数百TB数据,通过GPU加速提升系统性能。它兼容TensorFlow、PyTorch等框架,便于构建和优化推荐模型。

FasterTransformer - 基于NVIDIA平台的高性能Transformer编解码器实现与调优
BERTFasterTransformerGPTGithubNVIDIATensorRT-LLM开源项目
FasterTransformer不仅支持多框架集成,还针对NVIDIA新一代GPU优化了编解码性能,极大提升了操作效率和处理速度。包含模型支持、性能对比及API演示的详细文档,有助于用户深入了解并有效使用FasterTransformer。
lightning-flash - 跨数据领域和任务的AI模型训练与处理解决方案
AIGithubPyTorchlightning-flash开源项目模型训练深度学习
Lightning Flash提供多任务和多数据领域的AI解决方案,用户只需三步即可完成数据加载、模型配置和微调。项目支持多种预训练模型和优化策略,简化深度学习工作流程,适用于各种数据域和任务类型。其功能包括模型预测、训练策略、优化器和调度器选择,以及自定义数据变换。Flash旨在让用户无需自行开发复杂的研究框架,即可在生产环境中应用AI模型。
PowerInfer - 消费级GPU上大型语言模型高效推理引擎
GPU加速GithubPowerInfer大语言模型局部性设计开源项目混合CPU/GPU使用
PowerInfer是一款在个人电脑上针对消费级GPU设计的高效大型语言模型(LLM)推理引擎。它结合激活局部性原理和CPU/GPU混合技术,通过优化热/冷激活神经元的处理方式,显著提高推理速度并降低资源消耗。软件还融入了适应性预测器和神经元感知技术,优化了推理效率和精度,支持快速、低延迟的本地模型部署。
LibRecommender - 推荐系统开源库 集成多种算法与完整工作流
GithubLibRecommender协同过滤开源项目推荐系统机器学习深度学习
LibRecommender是一个专注于端到端推荐流程的开源系统库。它实现了FM、DIN、LightGCN等多种流行算法,支持协同过滤和基于内容的混合推荐。该库具有低内存占用、支持冷启动和动态特征等优势,提供从数据处理到模型训练、评估和部署的完整工作流。其API设计统一友好,适用于多种推荐场景。
thundersvm - GPU加速的开源支持向量机库
GPU加速GithubThunderSVM并行计算开源项目支持向量机机器学习
ThunderSVM是一个开源的支持向量机库,通过GPU和多核CPU加速计算,显著提高SVM训练效率。该库实现了LibSVM的全部功能,支持一类SVM、SVC、SVR和概率SVM等多种模型。ThunderSVM提供Python、R、Matlab和Ruby等多种编程语言接口,跨平台兼容Linux、Windows和MacOS。采用与LibSVM一致的命令行参数,便于用户快速上手。作为高效的SVM实现,ThunderSVM为数据科学家和机器学习研究者提供了强大的工具支持。在某些大规模数据集上,ThunderSVM相比传统SVM实现可实现10-100倍的加速,已被多个知名机器学习项目采用。
metarank - 实时个性化搜索和推荐服务,优化CTR和用户体验
GithubMetarank个性化开源开源项目排序服务推荐系统
Metarank是一个开源排名服务,帮助构建个性化的语义/神经搜索和推荐系统。通过整合点击和购买等客户信号,该服务可以优化搜索结果和推荐内容,实现最大化CTR。其快速性能支持大规模结果集的重新排序,并提供开箱即用的排名信号计算,节省开发时间。与多种流处理系统集成,Metarank能处理大量RPS,支持横向扩展。另外,用户可以使用LLM,在搜索查询中理解其真实含义,提供更智能的搜索解决方案。
rtp-llm - 大型语言模型推理加速引擎
CUDAGithubrtp-llm多模态输入大语言模型开源项目量化
rtp-llm是阿里巴巴基础模型推理团队开发的大型语言模型推理加速引擎,广泛应用于支持淘宝问答、天猫、菜鸟网络等业务,并显著提升处理效率。该项目基于高性能CUDA技术,支持多种权重格式和多模态输入处理,跨多个硬件后端。新版本增强了GPU内存管理和设备后端,优化了动态批处理功能,提高了用户的使用和体验效率。
llm-action - 提升AI模型训练与推理效率的高级技术与指南
GithubLLM实战LLM训练分布式训练参数高效微调开源项目微调技术
llm-action项目为NVIDIA GPU和Ascend NPU上的大模型训练提供简易工具,详细介绍了LLM训练技术的高效微调和分布式技术。深入探究LLM微调实战与技术原理,并提供实际代码示例以供学习和应用。涵盖普适性框架与多模态微调专项技术,适合开发者与研究人员优化和扩展其AI模型的能力。
higgsfield - 高容错且可扩展的GPU调度与机器学习框架
GPU管理GithubHiggsfield分布式计算大模型训练开源项目深度学习
Higgsfield是一款开源、高容错、可扩展的GPU调度与机器学习框架,适用于数十亿到数万亿参数的模型(如大型语言模型)。它的主要功能包括分配计算资源、支持高效分片、启动和监控大规模神经网络训练、管理资源竞争,并通过与GitHub的集成实现持续集成。Higgsfield简化了大规模模型训练的流程,提供了多样且强大的开发工具。
tevatron - 神经检索模型训练与推理工具
GithubHuggingFaceLLM神经检索模型LoRA微调Mistral-7BTevatron开源项目
Tevatron提供高效工具包,支持在GPU和TPU上大规模训练和推理神经检索模型,集成DeepSpeed和LoRA等技术,可加载HuggingFace的预训练模型,适用于神经检索和开放域QA任务。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号