marquez

数据生态系统元数据的收集、聚合和可视化

Marquez 元数据服务数据谱系开源项目 OpenLineage Github

Marquez是一个开源元数据服务项目，专注于数据生态系统的元数据处理。该项目提供数据集消费和生产的溯源、作业运行时间和数据集访问频率的可视化，以及数据集生命周期的集中管理。作为LF AI & Data Foundation的毕业项目，Marquez集成了OpenLineage，简化了数据集、作业和运行元数据的收集与查看过程，有助于探索数据依赖关系并优化元数据管理。

访问官网

Github

介绍相关项目

maxar-open-data - Maxar开源卫星影像数据共享项目

GithubMaxar Open DataSTAC卫星图像地理空间数据开源项目灾害响应

maxar-open-data是一个开源的高分辨率卫星影像数据共享项目。该项目提供了支持紧急规划、风险评估、灾害监测和应急响应等场景的卫星影像数据。用户可通过AWS、STAC索引和Hugging Face等多种方式访问数据。项目还包含Python接口、可视化示例和相关资源，便于数据获取、处理和分析。

fondant - 旨在协同构建和共享数据集的开源数据框架

FondantGithub共享操作开源项目数据处理数据框架数据集构建

Fondant是一个开源数据框架，旨在协同构建和共享数据集。它允许用户无需移动源数据即可进行数据初始化、处理和加载，支持可插拔的工作流、自定义组件以及版本追踪与数据浏览。Fondant适用于跨云端环境（如Google Cloud的Vertex和AWS的Sagemaker），使数据处理简单、可扩展，是生产环境中处理和共享数据集的理想选择。

Marqly - 在线书签管理平台，轻松灵活的内容整理

AI工具Marqly书签管理在线管理移动体验自定义视图

Marqly是一个便捷的线上书签管理工具，提供直观界面，方便用户保存和定制书签与文本。支持多种浏览器扩展，随时随地访问网页，提升移动浏览体验。以丰富功能和用户好评而成为理想的书签管理选择。

metabase - 直观易用的数据分析工具助力企业洞察数据价值

GithubMetabase可视化工具开源软件开源项目数据分析数据库连接

Metabase是一款开源的数据分析平台，为企业提供直观的可视化界面和简单的操作方式。该平台支持多种数据库，允许非技术人员进行数据查询和分析。Metabase具备SQL编辑器、交互式仪表板、数据建模和定时报告等功能，并支持嵌入和自定义。其快速部署和适应性使其成为各类组织连接数据与业务洞察的有力工具。

awesome-opensource-data-engineering - 全面的数据工程开源项目资源库

Github开源开源项目数据分析数据处理数据工程数据管理

该资源库汇集了数据工程领域的开源项目，覆盖数据分析、业务智能、数据湖和数据治理等方面。包含Apache Spark、Flink等分析工具，Debezium、Kafka等数据捕获和消息系统，以及各种数据格式、集成工具和工作流管理系统。为数据工程实践提供了全面的开源解决方案参考。

meerkat - 专为可视化、探索和注释各类数据集而设计的开源Python库

GithubMeerkat开源库开源项目数据可视化未结构化数据机器学习模型

Meerkat是一个开源的Python库，专为可视化、探索和注释各类数据集而设计，特别适合处理非结构化数据类型（如文本、PDF、图像和视频）。Meerkat支持与Pandas、Arrow和HF Datasets无缝整合，无需数据移动。用户能够使用简洁的Python代码嵌入机器学习模型，实现搜索、分组和自动完成等功能。借助Meerkat的高度定制化可视化组件，适用于探索性数据分析和快速验证数据标注等多种应用场景。

Data-Provenance-Collection - 跨学科倡议推动AI训练数据集透明度和责任使用

AI数据集Data Provenance InitiativeGithub开源项目文档化负责任使用透明度

Data-Provenance-Collection项目致力于提高AI训练数据集的透明度和负责任使用。该项目审计了44个数据集合,涵盖1800多个文本微调数据集,记录了其来源、许可和创建者等元数据。开发者可通过项目脚本筛选符合许可和特征要求的数据集,促进AI训练数据的规范使用。

awesome-open-data-centric-ai - 开源工具提升数据驱动的AI构建效率

DCAIData-centric AIGithubRenumicsopen-source工具unstructured data开源项目

该项目提供了多种开源工具，旨在在非结构化数据上实现数据驱动的AI工作流。通过系统地提升训练数据集的质量，可以开发出在实际应用中具备更高价值的AI系统。工具涵盖数据版本控制、嵌入和预训练模型、可视化与交互、异常和噪声检测、可解释性、主动学习等多个类别，且均为活跃维护，适用于日常使用。目标是帮助用户发现并利用这些工具，从而提高AI系统的开发效率和质量。

pachyderm - 自动化数据处理与版本控制平台

GithubKubernetesPachyderm开源项目数据版本控制数据管道数据血统

Pachyderm是一个开源的数据工程平台，提供自动化的数据处理流水线和版本控制功能。该平台支持复杂的数据转换，并具备数据血缘跟踪能力。基于Kubernetes构建，Pachyderm实现了自动扩展和并行处理，可部署在主流云平台和本地环境。它为数据工程团队提供了一个高效的CI/CD引擎，适用于各类数据处理场景。

codemeta - 推动科学软件元数据标准化的开源倡议

CodeMetaGithubJSON-LD元数据标准化开源项目数据交换软件元数据

CodeMeta是一个开源项目，致力于构建科学软件和代码的最小元数据标准。通过JSON和XML格式，该项目旨在实现软件元数据在不同代码仓库和组织间的标准化交换。CodeMeta开发了统一软件元数据表示的概念词汇表，并为用户和开发者提供了指南。最新的CodeMeta 3.0版本为软件元数据交换提供了全面的模式。该项目通过比较多个代码仓库的软件元数据，创建了元数据交叉对照表。基于此，项目团队生成了一套软件元数据概念，并将其组织为JSON-LD上下文以便序列化。CodeMeta不仅提供了交叉对照表的可视化工具，还为用户和开发者编写了详细指南，促进了软件元数据的标准化和互操作性。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号