Project Icon

datacompy

多框架支持的开源数据比较库

DataComPy是一个开源的Python数据比较库,支持Pandas、Spark、Polars等多种数据框架。它提供了超越简单equals()的功能,包括统计信息输出和匹配精度调整。该库可通过pip或conda安装,并支持Spark、Dask等额外功能。DataComPy为不同数据处理后端提供统一的比较接口,适用于数据分析和质量控制。

ydata-profiling - 快速实现数据分析,一键生成多种格式报告
Githubpandasydata-profiling开源项目数据分析数据报告自动化分析
提供快速一致的探索性数据分析解决方案,支持生成HTML和JSON格式报告,包括时间序列和文本数据。ydata-profiling自动检测数据类型,提供单变量和多变量分析,生成包含缺失数据、重复行和变量交互的可视化报告。支持与多种数据库系统集成,适用于数据集对比和大数据处理。
plotly.py - Python交互式数据可视化库 支持多种科学与统计图表
GithubPython库plotly.py交互式图表开源开源项目数据可视化
plotly.py是基于plotly.js的开源Python数据可视化库,提供超过30种科学、统计和金融图表类型。它支持在Jupyter、HTML文件和Dash应用中创建交互式图表。该库采用声明式API,简单易用且灵活。plotly.py具备静态图像导出功能,并有详细文档和活跃的社区支持。基于MIT许可发布,适用于各类数据分析和可视化需求。
dvclive - 简单易用的机器学习实验跟踪和指标记录工具
DVCLiveGithub实验比较开源项目指标记录数据版本控制机器学习
DVCLive是一个用于记录机器学习指标和元数据的Python库。它支持多种机器学习框架,无需额外服务,以纯文本文件存储实验结果,方便版本控制。DVCLive提供直观API,支持参数记录、指标跟踪和实验比较,有助于简化机器学习工作流程。
data - 开源Python视频和元数据集合
CC0许可GithubPython元数据开源贡献开源项目视频数据
pyvideo/data是一个开源项目,专注于收集和整理Python相关的视频资源及其元数据。项目包含大量Python演讲、教程和会议录像,采用CC0许可发布。开发者可通过GitHub参与贡献,共同扩充这个Python视频资料库。项目特别注重保护视频所有者的权益,维护了一个不允许发布的视频ID列表。
dataline - 通过自然语言完成数据分析与可视化
AIDataLineGithub开源开源项目数据分析数据可视化
DataLine通过自然语言功能,让用户无需编写代码即可进行数据分析和可视化。该工具支持多种数据源连接,如Postgres、Snowflake、MySQL、Azure SQL Server、Microsoft SQL Server、Excel、SQLite、CSV等,并且十分注重隐私保护和安全性。DataLine的开放源码特性及多平台支持(Windows、Mac、Linux和Docker)使其成为技术人员和非技术人员的理想选择,特别适合企业使用。
cudf - 基于GPU的高性能DataFrame库 实现快速数据处理与分析
GPUGithubRAPIDScuDFpandas开源项目数据处理
cuDF是一个基于GPU的DataFrame库,提供数据加载、连接、聚合和过滤等功能。该库利用libcudf和Apache Arrow列式格式,为开发者提供GPU加速的pandas兼容API。cuDF既可以直接使用,也可以作为pandas的无代码修改加速器,完全支持pandas API,在可能的情况下使用GPU运算,必要时回退到pandas。这使得cuDF在处理大规模数据时表现出色,适合各类数据科学和机器学习项目。
spark - 统一分析引擎 支持多语言API及丰富工具集
Apache SparkGithub分布式计算大数据处理开源项目数据分析机器学习
Apache Spark是一个大规模数据处理的统一分析引擎,提供Scala、Java、Python和R的高级API。它支持多种高级工具,如Spark SQL、pandas API on Spark、MLlib、GraphX和Structured Streaming,分别用于SQL查询、pandas操作、机器学习、图处理和流处理。Spark的优化引擎支持通用计算图,适用于多种大数据分析场景。
dask-sql - 分布式SQL查询引擎,结合Python轻松扩展计算
Dask-SQLGPU支持GithubPythonSQL分布式计算开源项目
dask-sql是一个分布式SQL查询引擎,结合Python和SQL,支持无限扩展计算。通过pip或conda安装,可与Jupyter Notebook或BI工具集成,并支持CUDA GPU查询加速。dask-sql支持多种数据格式和存储位置,通过UDFs增强查询能力,适用于本地和云端大规模计算。详细信息请参考官方文档。
awesome-python-data-science - Python数据科学资源集合,详解机器学习与深度学习工具
GithubPython工具库开源项目数据科学机器学习深度学习
该项目收集了全面的Python数据科学资源,包括机器学习、深度学习、自动化机器学习、自然语言处理、计算机视觉、时间序列分析和强化学习等领域的开源库。从通用型机器学习算法到深度学习框架(如PyTorch和TensorFlow),再到特征工程和数据可视化,用户可以找到适用于各种数据分析和建模需求的工具。项目旨在帮助数据科学家和工程师高效选择工具,以提高开发和分析效率。
dclm - 大型语言模型训练与评估的开源综合框架
DataComp-LMGithub大语言模型开源项目数据处理模型训练评估
DataComp-LM是一个开源的大型语言模型训练和评估框架。它提供了超过300T的CommonCrawl标准语料库、基于open_lm的预训练方案和50多项评估指标。研究人员可利用该框架在411M至7B参数规模下进行数据集构建实验。通过数据集优化,DataComp-LM已显著提升了模型性能,创建了多个跨规模表现优异的高质量数据集。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号