Project Icon

pandarallel

简化Pandas操作并行化的Python库

Pandaral·lel是一个Python库,通过简单的代码修改实现Pandas操作的并行化处理。它利用多核CPU加速数据处理,并提供进度条显示。适用于Mac、Linux和Windows系统,可优化数据分析工作流程。目前该开源项目正在寻找新的维护者。

mlforecast - 高性能可扩展的机器学习时间序列预测框架
GithubMLForecast分布式训练开源项目时间序列预测机器学习特征工程
mlforecast是一个基于机器学习模型的时间序列预测框架,具有高效的特征工程实现和良好的可扩展性。该框架支持pandas、polars、spark等多种数据格式,兼容sklearn API,能够处理海量数据。除了支持概率预测和外生变量,mlforecast还提供分布式训练功能,适用于大规模生产环境的时间序列预测任务。框架采用熟悉的fit和predict接口,便于快速上手和集成到现有项目中。
mars - 多库支持的张量计算框架
DataFrameGithubMarsTensor分布式计算开源项目数据计算
Mars是一种基于张量的统一框架,支持大规模数据计算,兼容Numpy、Pandas、Scikit-learn等多个库。无论是单机还是集群环境,Mars都能简化数据处理工作。它提供了详细的安装指南、架构概览和多种使用模式,并与TensorFlow、PyTorch等库深度集成,显著提升计算效率。更多安装和使用信息,请参阅文档。
pypandoc - Python实现的多格式文档转换工具
GithubPandocPythonpypandoc开源项目文档转换
pypandoc是pandoc文档转换工具的Python封装库,支持多种格式间的转换,如Markdown到PDF、HTML到Word等。它提供简洁的API,支持自定义参数和过滤器,能处理Unicode文本。pypandoc可通过pip安装,也提供包含pandoc的二进制包。作为一个灵活的文档处理工具,pypandoc简化了在Python中使用pandoc的过程。
DALI - 加速深度学习应用的GPU加速数据加载与预处理库
GPU加速GithubNVIDIA DALI多框架支持开源项目数据预处理深度学习
NVIDIA DALI是一个GPU加速的数据加载和预处理库,专为提高深度学习应用效率而设计。它提供了一套优化的工具,改善图像、视频和音频的处理,同时解决CPU瓶颈,支持跨多平台框架使用。此外,DALI利用GPUDirect Storage技术,从而实现从存储到GPU内存的直接数据传输,显著提升处理速度。
hyperopt - Python库Hyperopt助力机器学习超参数优化
GithubHyperoptPython库分布式计算开源项目机器学习超参数优化
Hyperopt是一个强大的Python库,专门用于复杂搜索空间中的超参数优化。它支持实值、离散和条件维度,提供随机搜索、TPE等多种算法。通过Apache Spark和MongoDB实现并行化,Hyperopt能够显著提高机器学习模型的调优效率。作为开源项目,它为机器学习领域提供了高效的超参数优化解决方案,正在被广泛应用于加速模型开发和性能优化。
cupy - GPU加速的Python科学计算库
CUDACuPyGPU计算GithubNumPy兼容Python开源项目
CuPy是一个开源的GPU加速科学计算库,与NumPy和SciPy兼容。它支持在NVIDIA CUDA和AMD ROCm平台上运行,提供简洁的API接口和复杂数学运算能力。CuPy通过保持与NumPy的API兼容性,使现有代码易于迁移到GPU上,同时显著提升科学计算和机器学习任务的性能。此外,CuPy还提供对底层CUDA功能的访问,允许开发者充分利用GPU的计算能力。它不仅适用于科学计算,还广泛应用于数据分析、深度学习等领域,为研究人员和工程师提供了强大的GPU加速工具。
dpdata - Python工具包实现计算科学软件数据格式的灵活处理
DeePMD-kitGithubPython包dpdata开源项目数据格式计算科学
dpdata是一个面向计算科学软件的Python工具包,支持多种数据格式如DeePMD-kit、VASP和LAMMPS等。该工具包提供数据加载、操作和导出功能,可处理单帧和多帧系统数据,支持标记和非标记系统。dpdata具备丰富的数据访问和转换方法,同时支持原子系统的复制、扰动和替换,以及化学键和形式电荷的处理。
PowerJob - 开源分布式任务调度和计算框架
GithubPowerJob任务调度分布式计算工作流开源项目灾难容错
PowerJob是一个开源分布式计算和任务调度框架,提供友好的UI界面、多样的定时策略和执行模式。支持工作流(DAG)、多语言处理器,具有容错能力和高可用性。适用于定时、广播、MapReduce和延迟任务等场景,支持水平扩展,是一个高性能、可靠的调度系统。
temporian - 高效可靠的时间数据预处理库
GithubPython库Temporian开源项目数据预处理时间数据处理特征工程
Temporian是一个专注于时间序列分析和数据预处理的Python库。它支持多种时间数据类型,包括多变量时间序列、事件日志和跨源事件流。经过优化,Temporian在处理时间数据时的效率可达常规库的1000倍。此外,它还提供了防止数据泄露的功能,并能与现有机器学习生态系统无缝集成,为时间数据处理提供了高效可靠的解决方案。
accelerate - 简化多设备PyTorch训练的框架
AccelerateGithubPyTorch分布式训练开源项目混合精度设备管理
Accelerate是一个轻量级PyTorch训练框架,允许在CPU、GPU、TPU等多种设备上运行原生PyTorch脚本。它自动处理设备分配和混合精度训练,简化了分布式训练流程。研究人员和开发者可专注于模型开发,无需关注底层实现细节,从而加速AI模型的训练和部署。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号