rtp-llm是阿里巴巴基础模型推理团队开发的大型语言模型推理加速引擎，广泛应用于支持淘宝问答、天猫、菜鸟网络等业务，并显著提升处理效率。该项目基于高性能CUDA技术，支持多种权重格式和多模态输入处理，跨多个硬件后端。新版本增强了GPU内存管理和设备后端，优化了动态批处理功能，提高了用户的使用和体验效率。