#文本生成推理
quantized-models - 提供多源量化模型以提升大语言模型推理效率
大型语言模型Github开源项目量化模型模型transformersHuggingface文本生成推理quantized-models
quantized-models项目整合了多种来源的量化模型，旨在提高大语言模型的推理效率。模型支持者包括TheBloke、LoneStriker、Meta Llama等，提供gguf、exl2格式的支持。用户可通过transformers库便捷地进行文本生成，这些模型按现状发布，需遵循其各自的许可协议。
model - 高效文本生成的突破：快速模型训练与推理
Github开源项目模型训练模型HuggingfaceApache许可证UnslothLLAMA文本生成推理
该模型使用Unsloth和Huggingface的TRL库显著加速了训练过程，实现了高效文本生成。由keivenlombo开发，基于Apache-2.0许可，此模型为大规模语言模型的实施提供了一种便捷且准确的解决方案。