NVTabular

GPU加速的大规模表格数据特征工程库

NVTabular GPU加速特征工程数据预处理推荐系统 Github 开源项目

NVTabular是NVIDIA Merlin框架的组件，用于处理TB级数据集和训练深度学习推荐系统。该库利用GPU加速计算，提供高级抽象以简化代码。它可处理超出内存限制的大规模数据集，使数据科学家专注于数据操作，快速准备实验数据，并加速生产模型的数据转换过程。

tevatron - 神经检索模型训练与推理工具

GithubHuggingFaceLLM神经检索模型LoRA微调Mistral-7BTevatron开源项目

Tevatron提供高效工具包，支持在GPU和TPU上大规模训练和推理神经检索模型，集成DeepSpeed和LoRA等技术，可加载HuggingFace的预训练模型，适用于神经检索和开放域QA任务。

NeMo-Curator - 提供GPU加速的大型语言模型数据集优化与管理解决方案

GPU加速GithubNeMo CuratorPython库大语言模型开源项目数据集准备

NeMo Curator 是一款专为大型语言模型（LLM）设计的开源Python库，通过结合Dask和RAPIDS等技术，实现GPU加速的数据集准备与管理。其功能包括数据下载、语言识别、文本清理、质量过滤、文档去重和个人信息保护等模块，为多种LLM任务提供快速、灵活和可扩展的解决方案，显著提升数据处理效率与模型质量。

velox - 可重用数据处理组件库助力数据库引擎优化

C++GithubVelox开源项目数据处理数据库加速库

Velox是Meta开发的C++数据库加速库，提供可重用和可扩展的高性能数据处理组件。它支持多种分析工作负载，包括批处理、交互式查询、流处理和AI/ML。Velox的核心组件包括类型系统、向量化内存布局、表达式评估引擎等，同时允许开发者进行自定义扩展。目前，Velox正与IBM/Ahana、Intel等公司合作，致力于为数据库引擎开发提供高效的基础设施。

table-transformer-structure-recognition-v1.1-all - Table Transformer开源表格结构识别模型

GithubHuggingfaceTable Transformer开源项目文档分析模型深度学习表格识别计算机视觉

Table Transformer是一个开源的表格结构识别模型，基于DETR架构设计。该模型在PubTables1M和FinTabNet.c数据集上进行了预训练，采用'normalize before'设置优化了网络结构。Table Transformer能够准确检测文档中的表格，为表格结构分析提供了有力支持。项目提供了详细文档，便于研究人员和开发者进行深入研究和实际应用。

ytsaurus - 开源分布式大数据存储与处理系统

GithubMapReduceNoSQLYTsaurus分布式存储大数据平台开源项目

YTsaurus是一个开源的分布式大数据系统，集成MapReduce模型、分布式文件系统和NoSQL键值数据库。该系统具有多租户架构、高可靠性和强大的扩展能力，可支持高达100万CPU核心和数千GPU，处理EB级数据。YTsaurus提供友好的用户界面，并集成ClickHouse和Apache Spark，为数据分析和ETL工作流程提供全面支持。

databend - 高性能云数据仓库，基于 Rust 构建，适合大规模数据分析与人工智能

AI分析DatabendGithub云数据仓库开源项目性能基准测试数据格式热门

Databend 是一个开源、高性能的云数据仓库，使用 Rust 构建，专为复杂的数据分析设计。它整合了 AWS S3、Azure Blob 等服务，支持 ACID 事务、版本控制和无模式的数据存储，确保数据完整性与灵活性。Databend 支持多种数据格式，如 JSON、CSV、Parquet 等，提供高速查询执行与数据摄入，是成本效益高的 Snowflake 替代方案。此外，Databend 的 AI 功能支持高级分析，提供社区驱动的用户友好体验，适合企业和开发者快速部署和使用。

petastorm - 开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据

Apache ParquetGithubPetastorm分布式训练开源项目机器学习框架深度学习

Petastorm是一个开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据。该库兼容Tensorflow、PyTorch和PySpark等主流Python机器学习框架，也可用于纯Python代码。Petastorm支持多种数据压缩格式，提供方便的API用于数据生成和读取，并支持列选择、并行读取、行过滤等功能。用户可以轻松在单机或Spark集群上生成数据集，是构建高效机器学习管道的理想工具。

mars - 多库支持的张量计算框架

DataFrameGithubMarsTensor分布式计算开源项目数据计算

Mars是一种基于张量的统一框架，支持大规模数据计算，兼容Numpy、Pandas、Scikit-learn等多个库。无论是单机还是集群环境，Mars都能简化数据处理工作。它提供了详细的安装指南、架构概览和多种使用模式，并与TensorFlow、PyTorch等库深度集成，显著提升计算效率。更多安装和使用信息，请参阅文档。

HybridBackend - 异构集群上的高性能推荐系统训练框架

GPU优化GithubHybridBackend嵌入层开源项目推荐系统深度学习框架

HybridBackend是一个为异构集群设计的高性能推荐系统训练框架。它优化了分类数据加载、GPU嵌入层处理和大规模训练通信，提高了wide-and-deep模型的训练效率。该框架兼容现有AI工作流，提供多种安装选项和完善的文档。HybridBackend采用开源Apache 2.0许可证，支持社区贡献。

arrow - 高效内存分析引擎加速大数据处理

Apache ArrowGithub内存分析列式存储开源项目数据处理

Apache Arrow 是一个开源的内存分析开发平台，旨在提高大数据系统的数据处理和传输速度。它提供高效的列式内存格式、IPC格式和Flight RPC协议，并支持多种编程语言。Arrow 的核心技术包括高性能的数据结构、跨语言兼容性和零拷贝数据共享，为现代数据分析应用提供了强大的基础架构支持。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com