Project Icon

delta-sharing

开放协议实现跨平台大规模数据实时共享

Delta Sharing是一个开放协议,用于安全实时交换大型数据集。它支持跨平台实时数据共享,使用REST API安全共享云数据集,通过S3、ADLS或GCS等云存储系统传输数据。用户可直接使用pandas、Tableau、Apache Spark等工具访问共享数据,无需部署特定计算平台。该协议简化了数据提供和使用流程,使数据共享更加高效便捷。

shardingsphere - 分布式SQL引擎实现数据库灵活扩展
Apache ShardingSphereGithub分布式SQL开源项目数据分片数据加密数据库扩展
Apache ShardingSphere是开源分布式SQL引擎,支持数据分片、加密和扩展。基于Database Plus理念,它通过标准化层将现有数据库转换为分布式系统。核心概念包括连接、增强和可插拔,能灵活适配各类数据库协议和存储。作为Apache顶级项目,ShardingSphere已被逾10,000个GitHub项目采用,为数据库管理提供全面解决方案。
cdap - 为Hadoop生态系统提供应用开发抽象的集成平台
CDAPGithubHadoop生态系统企业级应用应用开发平台开源项目数据抽象
CDAP是一个开源应用开发平台,为Hadoop生态系统提供数据和应用抽象层。该平台简化应用开发流程,支持实时和批处理场景,并满足企业级需求。CDAP部署于Apache Hadoop之上,提供数据抽象、应用可移植性、开发工具、生态系统集成、元数据管理、可视化pipeline和生产环境控制等功能。开发者可借助CDAP API构建各类应用,从简单MapReduce任务到复杂的数据密集型系统。
texera - 基于工作流的协作数据分析系统 支持大规模计算及AI/ML技术
GithubTexera协作可视化工作流开源项目数据分析
Texera是基于云的协作数据分析系统,通过图形化工作流界面支持大规模计算和先进AI/ML技术。系统专注协作功能,为各背景用户提供类Google Docs的分析体验。Texera能处理海量数据,使非IT人员也可进行分析,并支持与长时运行作业交互。目前已应用于社交媒体分析、气候变化研究等多个领域。
lightning-flash - 跨数据领域和任务的AI模型训练与处理解决方案
AIGithubPyTorchlightning-flash开源项目模型训练深度学习
Lightning Flash提供多任务和多数据领域的AI解决方案,用户只需三步即可完成数据加载、模型配置和微调。项目支持多种预训练模型和优化策略,简化深度学习工作流程,适用于各种数据域和任务类型。其功能包括模型预测、训练策略、优化器和调度器选择,以及自定义数据变换。Flash旨在让用户无需自行开发复杂的研究框架,即可在生产环境中应用AI模型。
datacap - 多源数据管理与分析可视化平台
DataCapGithub开源项目数据可视化数据库连接器数据转换数据集成
DataCap是一个开源的数据管理与分析平台,支持多种数据源和数据库类型。该平台集成了数据转换、集成和可视化功能,能够高效处理大数据、关系型和NoSQL数据库。DataCap提供丰富的数据库连接器,包括ClickHouse、MySQL和PostgreSQL等主流数据库,方便用户进行多源数据管理、转换、图表制作和监控。
dpdata - Python工具包实现计算科学软件数据格式的灵活处理
DeePMD-kitGithubPython包dpdata开源项目数据格式计算科学
dpdata是一个面向计算科学软件的Python工具包,支持多种数据格式如DeePMD-kit、VASP和LAMMPS等。该工具包提供数据加载、操作和导出功能,可处理单帧和多帧系统数据,支持标记和非标记系统。dpdata具备丰富的数据访问和转换方法,同时支持原子系统的复制、扰动和替换,以及化学键和形式电荷的处理。
OpenHuFu - 开源数据联邦系统实现安全高效查询处理
GithubOpenHuFu多方安全计算安全查询开源项目数据联邦系统空间数据
OpenHuFu是一个开源数据联邦系统,旨在解决数据孤岛问题,实现跨数据所有者的安全高效查询处理。系统采用安全多方计算技术,包括秘密共享、混淆电路和不经意传输,为研究人员提供灵活平台,用于快速实现和评估联邦查询处理算法。OpenHuFu支持关系查询和空间查询等多种类型,并提供通信成本和运行时间等评估指标。该系统为数据联邦和联邦学习研究提供了重要工具。
awesome-open-data-centric-ai - 开源工具提升数据驱动的AI构建效率
DCAIData-centric AIGithubRenumicsopen-source工具unstructured data开源项目
该项目提供了多种开源工具,旨在在非结构化数据上实现数据驱动的AI工作流。通过系统地提升训练数据集的质量,可以开发出在实际应用中具备更高价值的AI系统。工具涵盖数据版本控制、嵌入和预训练模型、可视化与交互、异常和噪声检测、可解释性、主动学习等多个类别,且均为活跃维护,适用于日常使用。目标是帮助用户发现并利用这些工具,从而提高AI系统的开发效率和质量。
hopsworks - 基于Python的机器学习特征库和MLOps平台
GithubHopsworksMLOpsML平台云服务开源项目特征存储
Hopsworks 是一个安全且可治理的数据平台,适用于机器学习资产的开发、管理和共享功能。支持特征库和模型管理,以及特征和训练管道的开发及运行。可作为独立特征库,支持云环境和本地部署,并无缝集成 AWS、Azure 和 GCP 等第三方平台。提供丰富的文档和教程以优化使用体验。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号