#双语
相关项目
BCEmbedding
BCEmbedding是一款双语和跨语言嵌入模型,针对检索增强生成(RAG)任务进行优化。该模型包含EmbeddingModel和RerankerModel两个组件,分别用于语义向量生成和搜索结果优化。BCEmbedding在中英文语义表示和RAG评估中展现出优异性能,支持多语言和多领域应用。该项目提供了便捷的API接口,可直接集成到RAG系统中,已在实际产品中得到应用验证。
Yi
Yi项目旨在开发新一代开源双语大语言模型。基于3T多语言语料训练,Yi系列模型在语言理解、常识推理和阅读理解等方面表现优异。Yi-34B-Chat模型在AlpacaEval排行榜上位居第二,仅次于GPT-4 Turbo。Yi基于Transformer和Llama架构,通过独特的训练数据、流程和基础设施实现了卓越性能。
IEPile
IEPile是一个包含0.32B tokens的双语信息抽取指令数据集,整合了26个英文和7个中文信息抽取数据集。采用基于模式的分批指令生成策略,IEPile支持多种信息抽取任务。研究者利用IEPile对Baichuan2-13B-Chat和LLaMA2-13B-Chat模型进行微调,在全监督和零样本信息抽取任务中均实现了显著性能提升。项目提供了详细的数据格式说明和模型训练指南。