#GPU推理

gigax

Gigax提供高效的GPU推理和多功能NPC交互，支持对话、动作和其他自定义行为。采用Llama-3和Phi-3模型，支持本地服务器模式和多语言API，并提供运行时任务生成和记忆存储功能，适用于各种游戏场景。详细信息请访问Gigax官方GitHub页面。

dolphin-2.5-mixtral-8x7b-GGUF

Dolphin 2.5 Mixtral 8X7B是Eric Hartford推出的一款采用GGUF格式的模型。它支持多种比特选项的量化推理，并兼容llama.cpp、KoboldCpp、LM Studio等环境。模型设计注重性能与资源平衡，适合多种应用场景。