#数据集构建
fondant - 旨在协同构建和共享数据集的开源数据框架
Fondant数据处理数据集构建共享操作数据框架Github开源项目
Fondant是一个开源数据框架,旨在协同构建和共享数据集。它允许用户无需移动源数据即可进行数据初始化、处理和加载,支持可插拔的工作流、自定义组件以及版本追踪与数据浏览。Fondant适用于跨云端环境(如Google Cloud的Vertex和AWS的Sagemaker),使数据处理简单、可扩展,是生产环境中处理和共享数据集的理想选择。
GrammarGPT - 开源大模型探索中文语法纠错的新领域
GrammarGPT中文语法纠错开源大语言模型监督微调数据集构建Github开源项目
GrammarGPT是一个基于开源大语言模型的中文语法纠错系统。该项目采用混合数据集进行监督微调,结合了ChatGPT生成的数据和人工标注的数据。它提出了一种启发式方法引导ChatGPT生成非语法性句子,并运用错误不变增强技术提升模型纠正中文母语者语法错误的能力。这一创新为开源大模型在中文语法纠错领域的应用开辟了新的可能。