#Databricks
DBRX学习资料汇总 - Databricks最新开源的高性能大语言模型
DBRX: 开创高效开源大语言模型的新标准
dbrx
DBRX是由Databricks训练的开源大型语言模型，采用开放许可。该模型包含基本代码和示例，用于推理操作，并提供相关资源。DBRX是一个Mixture-of-Experts模型，拥有1320亿总参数和12T文本预训练数据，支持TensorRT-LLM和vLLM等多种推理库。DBRX提供基础版和指令微调版，且支持在Databricks平台上的多种集成应用。
makeMoE
makeMoE是一个基于Andrej Karpathy的makemore项目, 从零构建的稀疏混合专家语言模型。它借鉴了makemore的部分组件，例如数据预处理和生成莎士比亚风格文本。在架构上，makeMoE引入了稀疏专家混合、Top-k门控和噪声Top-k门控等改进。项目在Databricks上使用单一A100 GPU开发，支持大规模GPU集群扩展，并通过MLFlow进行指标跟踪。项目强调代码的可读性和修改性，适合深入学习和改进。
tempo
Tempo是一个基于PySpark的开源时间序列数据处理工具库。它为Databricks上的数据团队提供了一套抽象和函数，简化了时间序列数据的操作和分析。Tempo扩展了PySpark的功能，通过易用的API支持复杂的时间序列分析任务。这个工具库适用于需要在大规模数据集上进行高效时间序列处理的场景。
overwatch
Overwatch是Databricks Labs开发的开源项目，专为Databricks统一分析平台设计。通过整合Spark和Databricks平台的遥测数据，Overwatch提供关键洞察，实现平台治理和智能分析。它帮助用户深入了解Databricks部署情况，提升运营效率和决策能力。作为一个用于探索和优化数据基础设施的工具，Overwatch为Databricks用户提供了宝贵的支持。
dolly-v2-3b
Dolly-v2-3b是Databricks开发的开源指令微调语言模型,基于Pythia-2.8b构建,拥有28亿参数。该模型使用约15,000条指令/回复数据进行训练,涵盖头脑风暴、分类、问答等多个领域。尽管不是最先进模型,但在指令遵循方面表现优异。Dolly-v2-3b采用MIT许可证,支持商业使用,可通过Transformers库轻松部署。