amphi-etl

Python低代码ETL工具支持多类型数据处理

Amphi ETL 数据处理 Python 低代码 AI管道 Github 开源项目

Amphi-etl是一款现代ETL工具，专注于AI时代的数据处理需求。它通过低代码界面加速数据和AI管道开发，生成可移植的Python代码。支持多样化数据处理，包括结构化和非结构化数据的导入、转换和导出。提供私有化部署，保障数据安全与隐私。

DataProfiler - DataProfiler：自动化数据分析与敏感数据检测的Python库

DataProfilerGithubPython开源项目敏感数据检测数据分析数据概要

DataProfiler是一个Python库，用于简化数据分析、监控与敏感数据检测。通过单一命令加载数据并自动格式化为DataFrame，支持模式识别、统计分析及实体识别（PII/NPI）。带有预训练的深度学习模型，可高效识别敏感数据，并允许用户添加新的实体识别管道。支持CSV、AVRO、Parquet等多种数据格式，提供便捷的数据处理解决方案。

pathway - 高性能Python数据处理框架支持流处理和LLM应用

GithubLLM管道Pathway实时分析开源项目数据处理流处理

Pathway是一个高性能Python数据处理框架，支持流处理、实时分析和LLM应用。该框架提供简洁的Python API，可处理批量和流式数据，并集成多种机器学习库。Pathway采用Rust引擎，实现增量计算和并行处理。它具备丰富的数据连接器、状态转换功能和一致性保证，适用于多种复杂的数据处理场景。

bigflow - 简化GCP数据流水线开发的高效Python框架

BigFlowGCPGithubPython框架开源项目数据处理部署

BigFlow是一个专为Google Cloud Platform (GCP)设计的数据处理框架。该框架提供Docker化部署、CLI工具、自动化构建与部署、统一项目结构，并支持GCP主要数据处理技术。BigFlow优化了数据工程流程，支持Dataflow和BigQuery，适用于不同规模的数据处理项目。框架还包含项目启动器，帮助快速搭建工程环境。

thepipe - 全能多模态数据提取API 为LLM开发赋能

APIGithubLLM接口thepi.pe多模态数据提取开源项目文档处理

thepipe是一款多功能API，支持从PDF、网页、视频等多种来源提取markdown、表格和图像数据。该工具与GPT-4等视觉语言模型兼容，可轻松集成各类LLM和向量数据库。thepipe具备AI驱动的文件类型识别、版面分析和结构化数据提取能力，为多模态LLM开发提供综合支持。开发者可选择云端服务或本地部署方式使用。

phidata - 构建具有记忆、知识和工具的AI助手

AI产品GithubLLM扩展phidata开源项目智能助手热门

Phidata是一个创新的框架，旨在将普通LLM转变为具有长期记忆、上下文知识和操作能力的定制助手。用户可通过简单的安装和配置，赋予AI助手搜索网络、分析数据、生成报告等多种能力，极大地提升其智能化和自主操作的能力。适用于多个平台，包括Streamlit、FastApi和Django，助力开发者快速构建和部署AI应用。

amundsen - 开源数据发现和元数据引擎提高数据分析生产力

AmundsenGithub元数据引擎开源项目数据发现数据管理

Amundsen是一个开源数据发现和元数据管理平台，通过索引数据资源并提供基于使用模式的搜索功能，帮助数据团队提高工作效率。该平台支持多种数据源集成，包括数据库、仪表盘和ETL工具，为用户提供全面的数据资产视图。Amundsen的核心功能类似于数据资源的搜索引擎，让数据分析师和工程师能够快速找到所需的数据。

metl - 轻量级Web集成平台支持多种数据处理方式

ETLGithubMetlWeb服务开源软件开源项目数据集成平台

Metl是一个开源的Web集成平台，支持消息传递、文件ETL和Web服务调用等多种数据集成方式。该平台设计用于高效解决日常集成任务，无需复杂编码。Metl可灵活部署于云端或本地环境，并支持开发人员通过自定义组件进行功能扩展。它提供图形化设计界面，基于Java开发，可独立运行或部署至应用服务器。

hamilton - 简化数据转换DAG的构建与管理

DAGGithubHamiltonPython可视化开源项目数据转换

Hamilton是一个Python库，用于构建数据转换的有向无环图(DAG)。它通过Python函数定义DAG，自动构建执行流程，具有良好的可移植性和表达能力。Hamilton支持多种执行环境，提供数据验证、实验跟踪等功能，并有UI界面用于可视化和监控。适用于ETL、机器学习、LLM应用等数据处理场景，有助于提高团队协作效率和代码可维护性。

lineapy - 两行代码将混乱笔记本转化为数据管道的开源工具

GithubLineaPy代码追踪工作流自动化开源项目数据管道笔记本清理

LineaPy是一个开源Python工具，用于捕获、分析和转换数据科学工作流程。通过跟踪代码执行序列，LineaPy能够理解代码及其上下文，提供一套工具来清理混乱的笔记本、追溯以往工作和构建数据管道。只需两行代码，就可将复杂的工作流程转化为整洁的数据管道，帮助数据科学家更高效地将工作投入生产。

Morph - 基于AI的数据处理和分析协作平台

AI工具AI辅助Morph数据分析数据可视化数据处理

Morph是一个创新的AI数据协作平台，为组织提供智能化的数据处理和分析解决方案。该平台利用先进的AI技术，使用户能够轻松地从多个来源汇总数据、进行分析并导出至所需平台，无需编写代码。Morph整合了数据仓库连接、SQL数据库实时连接、SQL查询、Python编程、数据可视化和洞察报告等核心功能。其AI助手能够生成SQL查询、创建图表、总结数据，并提供交互式支持和自动错误修正。平台支持从多种工具导入数据，构建数据管道，并实现自动化运行，适合各类数据团队使用。Morph致力于简化数据处理流程，提高组织数据利用效率，充分发挥数据价值。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com