llama2.rs
llama2.rs是一个用Rust开发的Llama2 CPU推理库，专注于提供高性能的推理能力。项目支持4位GPT-Q量化、批量预填充提示标记、SIMD加速和内存映射等技术，实现了70B模型的即时加载。通过Python API，开发者可在普通台式机上运行70B Llama2模型（1 token/s）和7B模型（9 tokens/s）。该项目为大规模语言模型的CPU推理提供了高效且灵活的开源解决方案。
SIMD-itertools
SIMD-itertools是一个Rust开源项目，提供SIMD加速的迭代器操作。通过替换标准库函数为SIMD版本，如contains()改为contains_simd()，可显著提升性能。支持u8至u64等多种数据类型，实现了find、filter、position等常用操作。项目需要Rust nightly版本，使用简单配置即可启用。根据项目提供的基准测试结果，SIMD-itertools在处理u32类型数据时，相比标准库实现可获得显著的性能提升。使用时需通过rustup安装nightly版本，并在编译时添加-C target-cpu=native参数以获得最佳性能。SIMD-itertools为开发者提供了高效的Rust数组处理工具，在多数情况下性能优于标准库实现。
highway
Highway是一个跨平台C++向量化库,支持x86、ARM等多种CPU架构的SIMD指令。它提供统一API,实现一次编码多平台运行,支持静态编译和运行时动态调度。Highway适用于图像处理、数据压缩、密码学等领域,提供丰富的向量化操作,易用性和性能兼备,是开发高性能软件的理想选择。
TurboPFor-Integer-Compression
TurboPFor是一款开源的整数压缩库,实现了PFor、位打包、变长字节编码等多种压缩算法。该库支持AMD/Intel、ARM和Power等主流架构,提供Rust和Java语言绑定。TurboPFor在压缩率和速度方面表现优异,支持直接访问压缩数据,并集成SIMD优化。此外,它还具备浮点数和时间序列压缩功能,是整数压缩领域的高效解决方案。
StringZilla
StringZilla是一款利用SIMD和SWAR技术优化字符串操作的跨平台库。相比传统库和其他SIMD加速库，它在C、C++、Python等语言中实现了高达10倍的性能提升。StringZilla支持精确和模糊字符串匹配、编辑距离计算、排序、惰性评估等功能，还提供随机字符串生成器。这一工具适用于处理大规模数据集的工程师、需要优化字符串操作的开发人员，以及各类对字符串处理性能有较高要求的项目。