Project Icon

data

PyTorch数据加载组件的改进版TorchData

TorchData是PyTorch数据加载组件的改进版本,主要增强了torch.utils.data.DataLoader的功能。它引入StatefulDataLoader,支持中断恢复和自定义状态跟踪,提高了数据加载的可扩展性和性能。TorchData与最新PyTorch和Python版本兼容,支持pip和conda安装。项目处于开发阶段,欢迎社区贡献和反馈。

lightning-flash - 跨数据领域和任务的AI模型训练与处理解决方案
AIGithubPyTorchlightning-flash开源项目模型训练深度学习
Lightning Flash提供多任务和多数据领域的AI解决方案,用户只需三步即可完成数据加载、模型配置和微调。项目支持多种预训练模型和优化策略,简化深度学习工作流程,适用于各种数据域和任务类型。其功能包括模型预测、训练策略、优化器和调度器选择,以及自定义数据变换。Flash旨在让用户无需自行开发复杂的研究框架,即可在生产环境中应用AI模型。
torchtune - PyTorch原生库助力简化大语言模型开发
GithubLLMPyTorchtorchtune开源项目微调模型训练
torchtune是一个PyTorch原生库,专为简化大语言模型(LLM)的创建、微调和实验而设计。该库提供了主流LLM的PyTorch实现、易用的微调技术配方、YAML配置文件和多种数据集格式支持。torchtune注重与生态系统工具集成,如Hugging Face、EleutherAI评估工具和PyTorch FSDP等。支持多种模型和微调方法,并优化内存效率,适配不同硬件环境。
benchmark - 开源基准测试集评估PyTorch性能
GithubPyTorch基准测试安装开源项目性能评估模型
PyTorch Benchmarks是评估PyTorch性能的开源基准测试集。它提供修改过的流行工作负载、标准化API和多后端支持。项目包含安装指南、多种基准测试方法和低噪声环境配置工具。支持自定义基准测试和库集成。通过夜间CI运行,持续评估PyTorch最新版本性能。
TSDB - 高效便捷的时间序列数据集加载库
GithubPyPOTSTSDB开源工具开源项目数据挖掘时间序列数据集
TSDB是一个时间序列数据集加载库,支持172个公开数据集的一键加载。该工具简化了研究人员和工程师的数据获取流程,使他们能专注于数据处理。TSDB具备数据下载、加载和缓存管理功能,并支持缓存目录迁移。作为PyPOTS工具箱的组成部分,TSDB为时间序列数据挖掘提供了基础支持。
torchexplorer - 交互式PyTorch模型结构和训练过程可视化工具
GithubPyTorchTorchExplorer可视化工具开源项目模型调试神经网络
TorchExplorer是一个用于PyTorch模型可视化的开源工具,支持交互式检查网络中各nn.Module的输入、输出、参数和梯度。它可与Weights & Biases集成或独立运行,提供模型结构可视化、中间张量查看等功能。TorchExplorer有助于深入理解神经网络内部机制,简化复杂模型的调试和优化过程。
torchio - 深度学习医疗图像处理工具集
GithubPythonTorchIO医药图像开源项目数据增强深度学习
此工具集为深度学习医疗图像处理提供高效解决方案,涵盖读取、预处理、采样、增强和写入3D医疗图像等功能。支持多种图像转换操作,包括随机仿射变换和特定领域伪影模拟。受NiftyNet启发,该项目广泛应用于医学AI研究,提升数据处理效率和模型性能。
ao - 优化PyTorch工作流,实现高性能和内存占用减少
GithubPyTorchtorchao开源项目推理模型量化训练
torchao是一个用于PyTorch工作流的高性能库,能够创建并集成自定义数据类型和优化技术,实现推理速度提升至2倍,显存减少65%。无需大幅修改代码,保持准确度。支持量化、稀疏化及浮点数优化,适用于HuggingFace等模型。用户可以轻松优化模型,提高计算效率。支持int8、int4和float8等多种数据类型,兼容torch.compile()和FSDP。
DataDreamer - 生成合成数据和优化模型的开源Python工具
DataDreamerGithubPython库合成数据生成开源开源项目模型训练
DataDreamer 是一个功能强大的开源Python库,专为创建提示工作流、生成合成数据集和训练模型而设计。它支持复杂的多步提示工作流,适用于各种大语言模型。该工具简单易用,且达到研究级别,兼具高效性和可复现性,支持最新技术如量化和LoRA等。无论是研究人员还是普通用户,都可以轻松发布数据集和模型。
FlagData - 多功能数据处理工具包 优化AI模型开发流程
FlagDataGithub人工智能大规模预训练开源项目数据处理数据清洗
FlagData是一款综合性数据处理工具包,专为自然语言处理和计算机视觉等AI领域设计。该工具集成数据获取、准备、预处理和分析功能,支持高质量内容提取、大模型数据微调和分布式处理。最新的3.0.0版本扩展了数据类型支持,并提供丰富的自定义操作选项,简化了高质量数据生成流程。FlagData旨在为AI模型开发全周期提供高效的数据处理支持。
thorough-pytorch - 从基础到进阶的PyTorch深度学习教程
GithubPyTorch开源项目数据科学机器学习深度学习课程
《深入浅出PyTorch》是一门完整的课程,适用于深度学习的学习者,内容从基础到进阶。包括PyTorch的安装、基础知识、主要模块、模型定义、进阶训练技巧、以及可视化技术等。课程通过实际案例和项目实战提高编程与实践能力。适合具备Python编程和机器学习基础的人,通过协作学习提高问题解决能力。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

Project Cover

天工AI音乐

天工AI音乐平台支持音乐创作,特别是在国风音乐领域。该平台适合新手DJ和音乐爱好者使用,帮助他们启动音乐创作,增添生活乐趣,同时发现和分享新音乐。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号