#FLUTE

本项目介绍了基于TensorFlow Datasets的Meta-Dataset输入管道，兼容原始协议（MD-v1）和更新的VTAB+MD协议（MD-v2），并提供相关研究的代码和检查点，详细说明数据管道、模型及实验设置。大量实验揭示了一些重要的研究挑战，并提出了新的基准方法来量化Meta-Dataset中的元学习优势，希望能激励更多相关研究方向的工作。

FLUTE是专为LUT量化大语言模型开发的灵活查找表引擎。该引擎支持整数、浮点和学习型等多种量化方案，可与vLLM和Hugging Face等主流框架无缝集成。FLUTE兼容LLaMA-3/3.1、Gemma-2等多种模型，能在保持模型性能的同时大幅降低内存占用和推理延迟，为大语言模型优化提供了高效解决方案。