#Needle in haystack

PyramidKV

PyramidKV支持多GPU推理和KV缓存压缩，兼容LlaMa-3-70B-Instruct及多种注意力机制，如Flash Attention v2和Sdpa。该项目还集成了SnapKV、H2O和StreamingLLM，提供设备灵活性，并通过简单安装和直观推理脚本提高研究效率。