#Mixture-of-Experts

dbrx

DBRX是由Databricks训练的开源大型语言模型，采用开放许可。该模型包含基本代码和示例，用于推理操作，并提供相关资源。DBRX是一个Mixture-of-Experts模型，拥有1320亿总参数和12T文本预训练数据，支持TensorRT-LLM和vLLM等多种推理库。DBRX提供基础版和指令微调版，且支持在Databricks平台上的多种集成应用。

OLMoE-1B-7B-0924

OLMoE-1B-7B-0924是一个混合专家语言模型，具备1B个活跃和7B总参数，以其高性能和成本效益在同类模型中表现出色，并可竞争于更大规模的模型如Llama2-13B。该项目完全开源，提供了详细的预训练、监督微调及偏好优化的检查点和相关资源，适合自然语言处理领域的研究和开发。

Qwen2-57B-A14B

Qwen2-57B-A14B是一个采用混合专家技术的模型，专注于自然语言理解和多语言处理能力。它基于Transformer架构，并使用SwiGLU激活和注意力偏置等技术，增强了语言生成和处理的准确度。该模型广泛超越了多数开源模型，在多项基准测试中表现出众，是处理复杂自然语言任务的理想选择，并在推理效率上较前代模型有显著提升。

ArmoRM-Llama3-8B-v0.1

该项目介绍了一种名为ArmoRM-Llama3-8B-v0.1的多目标奖励模型，通过专家混合（MoE）方法提升AI在多任务环境中的决策准确性。ArmoRM模型在性能榜中表现突出，特别是在聊天、复杂推理和安全性领域的评分名列前茅。模型通过对大量数据进行细致训练，旨在减少冗长偏差，并利用奖励转换矩阵优化结果。项目为AI和机器学习研究者提供了易用的代码示例和操作流程，展示如何结合多目标系数实现线性偏好评分，提供了一种高效、灵活的方法以调整语言模型的响应特征和优先级。