marlin
Marlin是一款专为LLM推理设计的FP16xINT4优化内核，可实现接近4倍的速度提升，并支持16-32个token的batchsize。通过高效利用GPU资源，如全局内存、L2缓存、共享内存和张量核心，Marlin克服了现代GPU的FLOP和字节比率挑战。多种优化技术包括异步权重加载和双缓冲共享内存加载，确保性能最大化。该项目适用于CUDA 11.8及以上版本，支持NVIDIA Ampere或Ada架构的GPU，并与torch 2.0.0和numpy兼容。在各种基准测试中，Marlin展示了卓越的性能，尤其在持久计算和大batchsize处理方面表现出色。
