#mistral.rs

mistral.rs

mistral.rs是一款支持多种设备、模型量化的大型语言模型(LLM)推理平台，配备与Open-AI API兼容的HTTP服务器和Python绑定，提供快速、精确的模型推理服务。平台支持文本和视觉模型，如AnyMoE、Llama等，采用LoRA技术和动态适配器，提高推理效率。用户可通过API在多种加速器上部署模型，实现快速计算和灵活应用。