#多模态输入

rtp-llm

rtp-llm是阿里巴巴基础模型推理团队开发的大型语言模型推理加速引擎，广泛应用于支持淘宝问答、天猫、菜鸟网络等业务，并显著提升处理效率。该项目基于高性能CUDA技术，支持多种权重格式和多模态输入处理，跨多个硬件后端。新版本增强了GPU内存管理和设备后端，优化了动态批处理功能，提高了用户的使用和体验效率。

ollama-app

Ollama App是一款现代化的Ollama客户端应用,为大语言模型提供优质的使用体验。该应用支持多模态输入、模型选择、多语言界面等功能,同时确保所有数据在本地网络中处理,保障隐私安全。用户可连接Ollama服务器,选择模型对话,自定义系统提示词,并支持聊天记录导出。界面简洁直观,操作便捷,是管理和使用本地大语言模型的实用工具。