#细粒度引用

LongCite-llama3.1-8b是基于Meta-Llama-3.1-8B训练的开源模型，专为长上下文问答中的引用生成而设计，支持128K标记的上下文窗口。项目采用transformers库，提供了Python示例代码用于展示模型部署与应用，并建议使用torch的bfloat16数据类型及自动设备映射功能。vllm项目的示例代码可供进一步探索高效部署模型。