xgen
Salesforce AI Research发布了XGen模型系列,支持最长8K输入序列。这些模型包括适用于4K和8K序列长度的基础模型以及经过指令微调的8K模型。模型使用OpenAI的Tiktoken进行分词,并可用于自回归采样。访问HuggingFace Hub获取更多模型详细信息和使用方法。