相关项目
xTuring
xTuring是一款高效、简单的开源LLM微调平台，支持Mistral、LLaMA、GPT-J等多种模型。用户可通过直观界面在本地或私有云中微调模型，保障数据隐私。平台支持数据预处理、多GPU扩展、以及INT4和LoRA等内存高效的微调方法，并提供多种模型评估工具。最新功能涵盖LLaMA 2集成、CPU推理优化和批量处理。
Meta-Llama-3.1-70B-Instruct-quantized.w4a16
Meta-Llama-3.1-70B-Instruct模型的INT4量化版本，模型大小减少75%，但性能几乎不损。支持多语言，适用于商业和研究。可通过vLLM高效部署，在Arena-Hard、OpenLLM和HumanEval等测试中表现优异，展示出卓越的推理和编码能力。