#高效率

InferLLM 是一个高效简洁的语言模型推理框架，源于 llama.cpp 项目。主要特点包括结构简单、高性能、易于上手，并支持多模型格式。目前兼容 CPU 和 GPU，可优化 Arm、x86、CUDA 和 riscv-vector，并支持移动设备部署。InferLLM 引入了专有 KVstorage 类型以简化缓存和管理，适合多种应用场景。最新支持的模型包括 LLama-2-7B、ChatGLM、Alpaca 等。

GMFlow将光流重新定义为全球匹配问题，简化了光流估计流程。它提供灵活的模块化设计，可以轻松构建定制模型，并在高端GPU上显著加速。该项目在Sintel基准测试中表现出高准确性和效率，预训练模型适用于FlyingChairs、FlyingThings3D和KITTI等数据集。新更新扩展了GMFlow至立体和深度任务，并提供更多速度和准确性的选择。