#zephyr-7b-beta
Zephyr-CAT - 使用Continuous Adversarial Training优化语言模型的对抗训练
连续对抗训练Huggingfacepeft开源项目模型Githubzephyr-7b-beta大语言模型高效对抗训练
该项目通过Continuous Adversarial Training (CAT) 算法，微调了zephyr-7b-beta模型的LoRa权重，旨在提升语言模型的鲁棒性。更多技术细节可参阅论文 "Efficient Adversarial Training in LLMs with Continuous Attacks"，该论文深入介绍了CAT算法在对抗训练中的应用与效率提升。
zephyr-7b-beta-marlin - 适用于高效4比特推理的LLM模型优化技术
模型量化Huggingface开源项目模型推理优化GithubMarlin格式zephyr-7b-betanm-vllm
项目提供的zephyr-7b-beta模型在GPTQ量化后以Marlin格式保存，专为nm-vllm引擎高效推理优化。该模型支持在本地Python环境中部署，代码示例以及详细指导文档可供参考，确保对量化模型优势的完整展现。