热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#FLUTE
meta-dataset
本项目介绍了基于TensorFlow Datasets的Meta-Dataset输入管道,兼容原始协议(MD-v1)和更新的VTAB+MD协议(MD-v2),并提供相关研究的代码和检查点,详细说明数据管道、模型及实验设置。大量实验揭示了一些重要的研究挑战,并提出了新的基准方法来量化Meta-Dataset中的元学习优势,希望能激励更多相关研究方向的工作。
flute
FLUTE是专为LUT量化大语言模型开发的灵活查找表引擎。该引擎支持整数、浮点和学习型等多种量化方案,可与vLLM和Hugging Face等主流框架无缝集成。FLUTE兼容LLaMA-3/3.1、Gemma-2等多种模型,能在保持模型性能的同时大幅降低内存占用和推理延迟,为大语言模型优化提供了高效解决方案。
相关文章
Meta-Dataset:一个用于少样本学习的多样化数据集集合
2 个月前
FLUTE: 一种灵活高效的查找表量化引擎
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号