#pandas
ydata-profiling
提供快速一致的探索性数据分析解决方案,支持生成HTML和JSON格式报告,包括时间序列和文本数据。ydata-profiling自动检测数据类型,提供单变量和多变量分析,生成包含缺失数据、重复行和变量交互的可视化报告。支持与多种数据库系统集成,适用于数据集对比和大数据处理。
sketch
Sketch是一个专为pandas用户设计的AI代码助手,通过理解数据上下文提供相关建议。无需在IDE中添加插件即可快速使用,功能包括数据标注、数据工程和数据分析。支持自然语言界面操作,通过简单导入和扩展,实现数据问答、代码生成及高级数据生成功能。
datascience
《Awesome Data Science with Python》提供了一套全面的数据科学资源,包含核心Python库如pandas和scikit-learn、多种数据可视化工具、机器学习技术,以及Jupyter环境优化和大数据处理方法。此外,还包括广泛的数据分析和处理教程,适用于不同层次的数据科学研究和应用。
pandas
pandas是Python生态系统中的核心数据分析库,提供高性能、易用的数据结构和工具。它支持处理结构化数据,包括数据清洗、转换、合并、分组分析等操作。pandas可读写多种格式的数据源,如CSV、Excel、SQL数据库等。作为开源项目,pandas由活跃社区维护,持续优化以满足数据科学家、分析师和开发者的需求。
pandarallel
Pandaral·lel是一个Python库,通过简单的代码修改实现Pandas操作的并行化处理。它利用多核CPU加速数据处理,并提供进度条显示。适用于Mac、Linux和Windows系统,可优化数据分析工作流程。目前该开源项目正在寻找新的维护者。
python-calamine
Python-Calamine是一个基于Rust的Calamine库的Python绑定,专门用于高效读取Excel和ODF文件。该库支持通过pip和conda安装,提供简单的API来获取工作表名称和读取数据。它具有灵活的数据处理选项,可以跳过空白区域。Python-Calamine还集成了pandas,能作为read_excel()函数的引擎,适用于数据分析任务。对于需要处理大量电子表格数据的开发者来说,这是一个有价值的工具。
aws-open-data-geo
aws-open-data-geo项目整合了AWS Open Data平台上的地理空间数据集,每日更新并提供CSV和JSON格式。这种整理方式便于程序化调用和数据分析,简化了地理空间数据的获取和处理流程。项目通过提供标准化的数据访问方式,促进了开放地理数据在实际应用中的使用。
modin
Modin是pandas的高性能替代方案,通过并行化计算显著提升数据处理速度。只需更改一行导入代码,即可利用全部CPU核心加速pandas工作流,特别适合大型数据集。Modin支持处理超出内存的数据,兼容90%以上pandas API,并支持Ray、Dask和MPI等多种计算引擎。它简化了分布式计算,让用户轻松获得性能提升。
cudf
cuDF是一个基于GPU的DataFrame库,提供数据加载、连接、聚合和过滤等功能。该库利用libcudf和Apache Arrow列式格式,为开发者提供GPU加速的pandas兼容API。cuDF既可以直接使用,也可以作为pandas的无代码修改加速器,完全支持pandas API,在可能的情况下使用GPU运算,必要时回退到pandas。这使得cuDF在处理大规模数据时表现出色,适合各类数据科学和机器学习项目。