#8K Input Sequence Length

Salesforce AI Research发布了XGen模型系列，支持最长8K输入序列。这些模型包括适用于4K和8K序列长度的基础模型以及经过指令微调的8K模型。模型使用OpenAI的Tiktoken进行分词，并可用于自回归采样。访问HuggingFace Hub获取更多模型详细信息和使用方法。