热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#AI模型优化
mlc-llm
MLC LLM是一款用于大语言模型的高性能部署引擎,支持用户在各种平台上开发、优化和部署AI模型。核心组件MLCEngine通过REST服务器、Python、JavaScript、iOS和Android等接口提供OpenAI兼容的API,支持AMD、NVIDIA、Apple和Intel等多种硬件平台。项目持续优化编译器和引擎,与社区共同发展。
optimate
Optimate是由Nebuly AI开发的开源项目,提供多个库协助优化AI模型。虽然项目当前未在维护,其工具如Speedster、Nos和ChatLLaMA帮助用户针对硬件优化AI模型,实现成本节约。想了解更多信息,请访问官方文档。
ComfyUI_TensorRT
ComfyUI_TensorRT项目为ComfyUI提供了TensorRT节点,旨在优化NVIDIA RTX显卡上稳定扩散模型的性能。该项目支持多个版本的稳定扩散模型,包括SDXL、SVD和AuraFlow等。通过生成GPU专用的TensorRT引擎,实现了模型运行效率的显著提升。项目支持动态和静态引擎构建,适应不同的分辨率和批量大小需求。此外,项目还提供了详细的安装和使用指南,便于用户在ComfyUI中集成和应用。
Algomax
Algomax为大型语言模型(LLM)和检索增强生成(RAG)模型提供专业评估服务。平台集成精确评估引擎、深度分析和全面指标,简化评估流程,优化模型开发。支持无缝接入现有系统,通过直观界面呈现全面洞察。广泛应用于客户服务、文档处理、报告生成等领域,助力模型性能提升和AI应用持续优化。
相关文章
OptiMate: 优化人工智能模型性能的开源工具集
2 个月前
ComfyUI_TensorRT:提升Stable Diffusion性能的强大工具
2 个月前
OptiMate学习资料汇总 - AI模型性能优化工具集
1 个月前
MLC-LLM学习资料汇总 - 通用LLM部署引擎与机器学习编译
1 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号