Logo
Project Icon

petastorm

开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据

Petastorm深度学习分布式训练Apache Parquet机器学习框架Github开源项目

Petastorm是一个开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据。该库兼容Tensorflow、PyTorch和PySpark等主流Python机器学习框架，也可用于纯Python代码。Petastorm支持多种数据压缩格式，提供方便的API用于数据生成和读取，并支持列选择、并行读取、行过滤等功能。用户可以轻松在单机或Spark集群上生成数据集，是构建高效机器学习管道的理想工具。

访问官网访问官网GithubGithub文档文档论文论文
介绍相关项目
DeepBI - 多数据源支持的AI数据分析平台，实现数据查询与可视化
DeepBIGithub人工智能多平台支持开源项目数据分析平台数据可视化
DeepBI是一款AI驱动的数据分析平台，利用大语言模型进行数据探索、查询、可视化和共享。平台支持对话获取数据结果，生成持久化查询与可视化，兼容MySQL、PostgreSQL、Doris、StarRocks等多种数据源，并支持Windows、Linux、Mac等操作系统。
concourse - 实时交易搜索和分析的分布式数据仓库系统
ConcourseGithub事务处理分布式数据库开源项目搜索分析数据管理
Concourse是一款分布式数据仓库系统，专注于实时交易搜索和跨时间分析。该系统简化了关键系统的构建流程，提供即时数据分析能力，无需额外基础设施和复杂配置。Concourse具备自动索引、版本控制、ACID事务和全文搜索等功能，其灵活的文档图结构适应多种数据类型和大规模应用场景。这一高效的数据管理解决方案使开发团队能够更专注于核心业务问题。
overwatch - Databricks平台的数据洞察与治理工具
DatabricksGithubOverwatchSparktelemetry开源项目数据分析
Overwatch是Databricks Labs开发的开源项目，专为Databricks统一分析平台设计。通过整合Spark和Databricks平台的遥测数据，Overwatch提供关键洞察，实现平台治理和智能分析。它帮助用户深入了解Databricks部署情况，提升运营效率和决策能力。作为一个用于探索和优化数据基础设施的工具，Overwatch为Databricks用户提供了宝贵的支持。
MyScaleDB - 优化大规模AI应用的部署与管理流程
AI应用ClickHouseGithubMyScaleDBSQL vector database向量搜索开源项目
MyScaleDB是一个基于ClickHouse改进的SQL向量数据库，专为开发者设计，提供亲和的SQL操作界面，协助构建高度可扩展的AI应用。这个数据库完全兼容SQL，且具备出色的执行效率和可扩展性，能处理结构化数据、文本、向量、JSON以及地理空间数据等多种数据类型，轻松应对从小型到亿级规模的数据管理需求。
para - 开源多租户后端框架助力快速应用开发
GithubParaREST API可扩展后端框架多租户对象存储开源项目
Para是开源多租户后端框架,专注对象存储和检索。提供RESTful API、全文搜索、分布式缓存,支持多种数据库和搜索引擎。可独立部署或集成JVM应用,加速开发。框架文档完善,有多语言客户端,获Erudika长期支持。适用于快速构建可扩展的云端应用后端。
Perpetual ML - 现代数据仓库的高效机器学习解决方案
AI工具加速训练持续学习数据仓库机器学习套件模型监控
Perpetual ML Suite是为现代数据仓库设计的全面机器学习解决方案。这个端到端的低代码/无代码应用提供了显著的性能提升，支持表格分类、回归、时间序列和文本分类等多种ML任务。其特点包括持续学习、模型监控和地理数据优化，无需专用硬件即可实现高效并行计算。该套件旨在加速数据分析过程，提高决策质量，简化机器学习工作流程。
elasticsearch - 高性能分布式搜索和分析引擎 支持海量数据实时处理
ElasticsearchGithub分析引擎向量数据库开源项目搜索引擎数据存储
Elasticsearch是一款开源的分布式搜索和分析引擎，同时也是可扩展的数据存储和向量数据库。它专为生产环境优化，提供卓越的速度和相关性。作为Elastic Stack的核心组件，Elasticsearch支持近实时处理海量数据、执行向量搜索以及与生成式AI应用集成。它广泛应用于全文搜索、日志分析、指标监控、应用性能管理和安全日志等领域，为组织提供强大的数据处理和分析能力。
pycaret - 开源的低代码Python机器学习库，能够简化和自动化机器学习工作流程
GithubPyCaretPython低代码开源开源项目机器学习
PyCaret是一个开源的低代码Python机器学习库，能够简化和自动化机器学习工作流程。通过减少代码量，PyCaret使实验更高效、更快速。它支持scikit-learn, XGBoost, LightGBM, CatBoost等多种机器学习框架，用户可以通过少量代码完成模型训练、评估和预测。无论是经验丰富的数据科学家，还是对低代码解决方案感兴趣的用户，PyCaret都是理想选择。
PatrickStar - 通过基于块的内存管理并行训练大型语言模型
GPU内存优化GithubPatrickStar大模型并行训练开源项目异构训练深度学习
PatrickStar通过其创新的块状内存管理技术，使大型预训练模型训练更加高效且资源节约。该技术优化了内存使用，让硬件资源较少的环境下也能有效训练庞大模型，显著提升训练效率和模型规模，支持多节点超大模型的训练。
postgresml - GPU 驱动的 AI 应用程序数据库
GithubPostgreSQLPostgresML开源项目机器学习模型自然语言处理
PostgresML是集成于PostgreSQL的全面ML/AI平台，优化模型数据管理流程，支持高级自然语言处理和多维文本分析，提供先进模型训练调整API，加速数据驱动的业务决策。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号