hummingbird

用于将经过训练的传统 ML 模型编译为张量计算的库

Hummingbird 机器学习模型 PyTorch 神经网络加速推理 Github 开源项目

Hummingbird通过将训练好的传统机器学习模型编译为张量计算，使其能够借助神经网络框架（如PyTorch）加速。用户可利用神经网络框架的优化和硬件加速，无需重新设计模型。支持多种模型如决策树、随机森林、LightGBM和XGBoost，并提供易于替换的推理API。支持转换为PyTorch、TorchScript、ONNX和TVM格式。

Github

Huggingface

介绍相关项目

TNN - 轻量级、高效能、多平台支持的开源深度学习框架

GithubTNN人工智能开源项目性能优化模型转换跨平台

TNN，腾讯优图实验室开源的神经网络推理框架，提供针对移动设备和X86/NV GPUs的高效性能优化。该框架已被QQ、微视等多款应用使用，并支持各大平台包括TensorFlow、Pytorch、MxNet。

MNN - 高效轻量的深度学习框架，支持多设备推理和训练

GithubMNN开源项目推理引擎深度学习框架轻量级高性能

MNN是一个高效轻量的深度学习框架，支持设备上的推理和训练。已被阿里巴巴30多个应用集成，覆盖直播、短视频、搜索推荐等70多种场景。MNN适用于嵌入式设备，支持TensorFlow、Caffe、ONNX等多种模型格式，并优化了ARM和x64 CPU及多种GPU的计算性能。通过MNN Workbench，用户可以下载预训练模型、进行可视化训练并一键部署到设备上。

llm-engine - 自定义和部署大语言模型的开源解决方案

GithubLLM EngineScale大语言模型开源项目推理API模型微调

LLM Engine是一款Python库、CLI和Helm图表，能够在Scale托管基础设施或自有Kubernetes云中自定义和部署基础模型。支持LLaMA、MPT和Falcon等开源基础模型的API部署和服务，并允许在自有数据上微调以优化性能。该引擎优化推理功能和开源集成，提高部署和微调效率，未来还将提供K8s安装文档和快速冷启动时间。

llama-3-8b-Instruct - 开源大模型训练工具实现显著提速与内存优化

GithubHuggingfaceLlama-3内存优化开源项目性能优化模型模型微调深度学习

基于4bit量化技术的开源大语言模型训练工具，为Mistral、Gemma、Llama等主流模型提供优化方案。项目通过技术创新实现训练速度提升2-5倍，内存占用降低70%。支持GGUF格式导出和Hugging Face部署，提供多个免费Colab训练环境，降低了模型训练的硬件门槛。

SmartSim - 为高性能计算环境优化的机器学习集成框架

GithubOrchestratorSmartRedisSmartSim开源项目机器学习高性能计算

SmartSim是为高性能计算(HPC)环境设计的工作流库，简化了PyTorch和TensorFlow等机器学习库在HPC模拟和应用中的使用。该框架能在HPC系统上启动机器学习基础设施，与用户工作负载并行运行。通过基础设施库和SmartRedis客户端，SmartSim实现了HPC应用与机器学习模型间的高效数据交换和远程执行，支持Fortran、C、C++和Python等多种语言，无需MPI即可实现运行时数据交换。

Llama-3.1-Nemotron-70B-Instruct-bnb-4bit - 基于Unsloth技术的大语言模型高性能微调框架

GithubHuggingfaceLlama 3.1NVIDIA代码优化开源项目模型模型微调深度学习

Unsloth优化的Llama 3.1 Nemotron 70B指令模型，在保持模型性能的同时实现内存占用降低70%、训练速度提升2-5倍的优化效果。该框架支持Llama 3.2、Mistral、Phi-3.5等主流大语言模型的微调，提供适配Google Colab的入门级notebooks，支持GGUF、vLLM等多种导出格式。

distilhubert - 高效轻量的语音表示学习模型

DistilHuBERTGithubHuggingface开源项目模型模型压缩深度学习自监督学习语音处理

DistilHuBERT是一种通过层级蒸馏HuBERT模型隐藏表示的语音表示学习框架。该模型在保持大部分性能的同时，显著减小了模型体积并提高了运行速度。DistilHuBERT仅需少量训练时间和数据，适用于多种语音处理任务，为个人和设备端语音SSL模型预训练提供了新的可能。模型基于16kHz采样的语音音频进行预训练，可用于多种语音处理应用。

xllm - 便捷微调大语言模型，集成最新优化技术

GithubX—LLM大语言模型开源项目模型训练训练优化集成开发

X—LLM是一个便捷的微调大语言模型工具，集成了诸如QLoRA、DeepSpeed、GPTQ、Flash Attention 2和FSDP等最新优化方法，显著提升训练效率。用户可以专注于模型和数据的优化，而不需要繁琐的代码编写。该工具支持多种Transformer模型，并可无缝对接HuggingFace Hub，适用于生产环境和快速原型设计，有助于用户更好地掌控模型训练进度并降低开销。

Hugging Face - 源代码开源平台

AI工具AI开发Hugging Face企业解决方案合作平台开源机器学习模型训练热门

Hugging Face是开放源码机器学习平台，支持模型、数据集与应用的无限制托管，包含丰富的模态支持，已服务于超过5万家机构。

x-transformers - 轻量级Transformer模型，支持完整的编解码器配置和最新研究成果，适合各种从图像分类到语言模型的应用

Githubtransformerx-transformers开源项目模型训练编码器编解码器

x-transformers提供了多功能的Transformer模型，支持完整的编解码器配置和最新研究成果，适合各种应用，从图像分类到语言模型。其先进技术如闪存注意力和持久内存，有助于提高模型的效率和性能。此项目是研究人员和开发者的理想选择，用于探索和优化机器学习任务中的Transformer技术。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号