REaLTabFormer

一套用于表格和关系合成数据生成的自回归和 Seq2Seq（序列到序列）转换器模型

REaLTabFormer Transformer synthetic data tabular data GPT-2 Github 开源项目

REaLTabFormer使用Seq2Seq模型生成关系数据集，针对非关系数据采用GPT-2模型，直接建模任意独立观察的表格数据。通过生成父表和关系表，利用目标掩码和统计方法避免过拟合。实验结果表明其在捕捉关系结构方面优于基准模型，并在大型非关系数据集上实现了先进的预测效果。REaLTabFormer易于安装和使用，并提供样本验证器以提高生成数据的有效性和准确性。

Github

介绍相关项目

SDV - 使用机器学习生成高质量合成数据，提高隐私保护

GithubPythonSDVSynthetic Data Vault开源项目数据生成机器学习

SDV利用多种机器学习算法，提供生成表格合成数据的解决方案。主要功能包括生成单表、多表和序列数据，支持数据预处理、匿名化和逻辑约束定义。此外，SDV还提供数据评估和可视化工具，比较合成数据与真实数据，并生成质量报告。适合初学者和资深数据科学家，满足多样化需求。

rellm - 使用正则表达式提高语言模型输出的准确性

GPT2GithubReLLM开源项目正则表达式结构化数据语言模型

ReLLM项目利用正则表达式控制语言模型的输出，可生成特定的语法或语义结构，如日期、数字或完整模板。ReLLM在生成前过滤不匹配的词元，提升生成质量。即使是小型模型，也能在ReLLM的帮助下提高输出质量。该项目适用于需要解析JSON、XML等上下文无关文法的场景。

DataDreamer - 生成合成数据和优化模型的开源Python工具

DataDreamerGithubPython库合成数据生成开源开源项目模型训练

DataDreamer 是一个功能强大的开源Python库，专为创建提示工作流、生成合成数据集和训练模型而设计。它支持复杂的多步提示工作流，适用于各种大语言模型。该工具简单易用，且达到研究级别，兼具高效性和可复现性，支持最新技术如量化和LoRA等。无论是研究人员还是普通用户，都可以轻松发布数据集和模型。

Flowformer - Flowformer 利用保护流网络实现 Transformer 线性化和长序列处理

FlowformerGithubTransformer开源项目注意力机制流网络理论线性复杂度

Flowformer 是一种 Transformer 模型，通过引入保护流网络理论，实现了线性复杂度的注意力机制。它能够处理超过4000多个标记的长序列，在视觉、自然语言处理、时间序列和强化学习等领域表现优异。在长序列建模任务中，Flowformer 的平均准确率达到56.48%，超过了 Performer 和 Reformer 等现有方法。该项目不依赖特定归纳偏置，提供了核心代码实现和多个领域的应用示例，为研究人员和开发者提供了一个通用的基础模型。

DB-GPT-Hub - 通过大型语言模型(LLMs)实现复杂的Text-to-SQL解析

DB-GPT-HubGithubLLMsText-to-SQL开源项目性能调优数据集

DB-GPT-Hub是一个开源实验项目，通过大型语言模型(LLMs)实现复杂的Text-to-SQL解析。该项目包括全流程处理从数据集成到模型优化，截至2023年10月，已对大型开源模型进行优化，显著提升SQL查询的执行准确率。

llm-data-creation - 大型语言模型驱动的自动数据生成框架

EMNLPGithub大语言模型开源项目微调数据创建评估

llm-data-creation是一个基于大型语言模型的数据生成框架。该项目仅需一个格式示例即可创建多种问答任务的合成数据，通过迭代过程生成更多相同格式的数据。这一方法特别适用于缺乏人工标注数据的场景。项目提供完整的数据创建、模型微调和评估流程，在10个公开基准数据集上的评估显示出优秀的跨域性能。

Autoformer - 具有自相关性的分解变压器，用于长期序列预测

AutoformerGithubTransformer开源项目时间序列预测自动相关机制长期预测

Autoformer是一种长时间序列预测的通用模型，采用分解变压器和自动相关机制，实现38%的预测精度提升，覆盖能源、交通、经济、天气和疾病等应用领域。最近，该模型已被纳入Hugging Face和Time-Series-Library，并在2022年冬奥会中用于天气预报。Autoformer不同于传统Transformer，不需位置嵌入，具备内在的对数线性复杂度，易于实现和复现。

featureform - 使数据科学家能够定义、管理并服务于机器学习模型的特征的虚拟特征库

FeatureformGithub开源开源项目数据科学机器学习特征存储

Featureform 是一个虚拟特征库，使数据科学家能够定义、管理并服务于机器学习模型的特征。它通过协调现有基础设施，将变换、特征、标签和训练集标准化，促进团队协作和资源共享。Featureform 支持从个人数据科学家到大型企业团队的多种应用场景，并提供内置合规支持，包括角色访问控制和审计日志。该开源项目兼容现有数据基础设施，适用于本地和云端部署。

transformer-explainer - 帮助理解Transformer模型与GPT-2预测的实时交互式工具

GPT-2Georgia Institute of TechnologyGithubMIT许可Transformer Explainer交互式可视化工具开源项目

Transformer Explainer 是一款互动可视化工具，帮助理解基于Transformer的模型如GPT的工作原理。该工具在浏览器中运行实时的GPT-2模型，允许实验自己的文本并实时观察Transformer内部组件的协同预测过程。适合技术人员与学习者深入探索Transformer模型机制与应用。

poolformer - 视觉任务中MetaFormer架构的应用及其效能

CVPR 2022GithubMetaFormerPoolFormerTransformer图像分类开源项目

该项目展示了MetaFormer架构在视觉任务中的应用，特别通过简单的池化操作实现token混合。研究证实，基于这种方法的PoolFormer模型在ImageNet-1K验证集上表现优于DeiT和ResMLP。此外，后续工作介绍了IdentityFormer、RandFormer等MetaFormer基线模型。本项目证明了Transformer模型的竞争力主要来源于其通用架构MetaFormer，而非特定的token混合器。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能，包括文生视频、动态画面和形象生成等，帮助用户快速上手，创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台，用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品，帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型，为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能，满足事务性工作的高频需求，帮助撰稿人节省精力，提高效率，优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号