Project Icon

delta-sharing

开放协议实现跨平台大规模数据实时共享

Delta Sharing是一个开放协议,用于安全实时交换大型数据集。它支持跨平台实时数据共享,使用REST API安全共享云数据集,通过S3、ADLS或GCS等云存储系统传输数据。用户可直接使用pandas、Tableau、Apache Spark等工具访问共享数据,无需部署特定计算平台。该协议简化了数据提供和使用流程,使数据共享更加高效便捷。

deepstream.io - 开源实时服务器框架 支持数据同步消息传递和远程调用
GithubRPCdeepstream实时服务器开源项目数据同步消息传递
deepstream是一个受金融交易技术启发的开源实时服务器框架。它提供记录、事件和RPC三大核心功能,支持高效率大规模的数据同步、消息传递和远程调用。该框架适用于开发各类实时应用,并具备完善的身份验证和权限控制机制。deepstream安装便捷,使用简单,拥有活跃的社区支持。
skyplane - 快速跨云平台数据传输工具
GithubSkyplane云存储数据传输多云支持开源项目高速传输
Skyplane是一款高效的云存储数据传输工具,支持主流云平台如AWS、Azure、IBM和GCP。通过并行传输、压缩和带宽分层技术,Skyplane实现了比传统方法快110倍、节省75%成本的数据传输。该工具适用于云内、跨云和本地到云的数据迁移场景,提供快速、经济、通用的数据传输解决方案。
deltacat - 基于Ray的分布式数据目录管理系统
DeltaCATGithubRay分布式计算开源项目数据湖数据目录
DeltaCAT是一个基于Ray的Python数据目录系统,采用类Git的stage/commit API实现快速、可扩展、ACID兼容的数据目录管理。结合Ray分布式计算框架和Apache Arrow,DeltaCAT支持PB级数据变更捕获、一致性检查和表修复。该系统已在EB级企业数据湖中得到应用,为大规模数据管理提供解决方案。
dask - 开源灵活的并行计算库 助力大规模数据分析
DaskGithubPython库并行计算开源开源项目数据分析
Dask是一个开源的灵活并行计算库,专为大规模数据分析设计。它支持多种数据结构和算法,与NumPy、Pandas等Python数据科学工具无缝集成。Dask提供高效的并行计算能力,能处理超出单机内存的大型数据集,适用于数据科学、机器学习等领域。活跃的社区支持进一步增强了其在数据分析中的应用价值。
sharedrop - 跨设备文件共享应用 基于WebRTC的点对点传输
GithubShareDropWebRTC开源项目文件传输点对点传输跨设备共享
ShareDrop是一款开源的Web应用,基于WebRTC技术实现设备间直接文件传输,无需中间服务器。支持局域网设备自动发现和跨网络共享,兼容移动和桌面平台。提供简单安全的文件共享体验,免费使用,支持主流浏览器。适用于多种跨设备文件传输场景,是理想的跨平台文件共享解决方案。
opendrop - OpenDrop实现跨平台文件共享 兼容苹果AirDrop
AirDropGithubOpenDropWi-Fi传输开源软件开源项目文件共享
OpenDrop是一款开源命令行工具,通过Wi-Fi实现设备间文件直接共享。该工具与苹果AirDrop协议兼容,支持与iOS和macOS设备交互。除文件外,OpenDrop还可发送网页链接,并能自动接收文件。作为Open Wireless Link项目的成果,OpenDrop为跨平台文件传输提供了便捷方案,但仍存在一些功能限制。
dlpack - 促进深度学习框架间张量共享与协作
DLPackGithub内存共享开源项目张量结构深度学习框架
DLPack是一种开放的内存张量结构,用于深度学习框架间的张量共享。它简化了框架间的运算符共享,便于封装供应商级运算符实现,支持快速切换后端实现。作为跨框架复用的桥梁,DLPack不直接实现张量和操作,而是促进深度学习生态系统的协作,为用户提供更多运算符选择和框架混合使用的可能性。
nvshare - 多进程安全共享GPU的开源解决方案
CUDAGPU共享GithubKubernetesnvshare内存管理开源项目
nvshare是一个开源的GPU共享机制,支持多个进程或Kubernetes容器在同一GPU上安全并发运行。它利用统一内存API和系统RAM作为交换空间,使每个进程都能访问全部GPU内存。通过nvshare-scheduler管理GPU访问时间,有效避免内存抖动。这种方案适用于GPU使用呈突发性的场景,如交互式开发环境中的Jupyter notebooks等。
delta-elixir - 灵活的文档内容描述与变更格式
DeltaGithubJSON协作编辑开源项目操作转换文档格式
Delta-elixir是一种用于描述文档内容和变更的格式。作为JSON的子集,它易读易解析,能够描述富文本文档的文本和格式。Delta格式支持操作转换(OT),适用于实时协作文档编辑。该项目实现了插入、删除、保留等基本操作,以及组合、转换、反转等OT核心功能。
opendal - 统一数据访问层 多语言多服务高效集成
GithubOpenDAL多语言支持存储服务开源项目数据访问
OpenDAL是开源的统一数据访问层,支持多种编程语言和存储服务。它覆盖标准存储协议、对象存储、文件存储、云存储、键值存储、数据库和缓存等多种服务,提供高效的数据获取能力。OpenDAL简化了开发流程,提高了数据操作效率,是一个全面的数据访问解决方案。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号