优秀的深度学习教程
深度学习教程和资源库的精选集合
通用深度学习教程:
- 浏览最先进的基于深度学习的论文及其相关代码 [极其出色]
- 深度学习路线图
- DeepLizard [优质深度学习教程]
- Sebastian Ruder - 博客 [出色的自然语言处理和深度学习文章]
- Jeremy Jordan - 博客
- 优秀博客
- Torchvision 发布说明 [重要]
- 过去一年(2018)最有用的6个机器学习项目
- ResNet 综述
- 感受野估计 [优秀]
- 梯度下降优化算法概述 [有用]
- 如何决定学习率
- 按学科和任务划分的最先进机器学习算法概述
- 实用机器学习
- 优秀的机器学习和人工智能课程
- UVA 深度学习II课程
- PyTorch 书籍
- Fast.ai 课程:实用深度学习编程 [优秀]
- Neuromatch 深度学习课程 [优秀]
- labmlai:59个深度学习论文实现/教程,附带并排注释 [优秀]
- labml.ai
- FightingCV-Paper-Reading:以更简单的方式理解最先进的研究工作
- 学习PyTorch进行深度学习:从零到精通课程 [极佳]
- ML论文解释 [极佳]
- Alpha Signal:机器学习最新研究
- 哈佛CS197:人工智能研究体验 - 课程书 [极佳]
- 深度学习Jupyter笔记本书籍
- 预训练基础模型的综合调查:从BERT到ChatGPT的历史
- interconnects.ai:优秀的人工智能博客文章和播客
- 使用PyTorch进行现代深度学习基础(短期课程)
- 高效机器学习课程 [优秀]
- Andrej Karpathy的神经网络:从零到英雄课程
计算机视觉深度学习有用资源:
- 计算机视觉任务的优秀深度学习资源 [极佳]
自然语言处理(NLP)深度学习有用资源:
- NLP任务的优秀深度学习资源 [极佳]
语音处理深度学习实用资源:
- 语音处理任务的优秀深度学习资源 [极佳]
通用数据科学任务的深度学习和机器学习实用资源:
- 数据科学任务的优秀深度学习资源 [极佳]
生成式人工智能的一般说明:
深度学习模型量化和蒸馏:
- 量化
- 神经网络蒸馏器
- PyTorch量化介绍 [极佳]
- PyTorch动态量化
- PyTorch静态量化
- Intel(R)数学核心库 - Intel MKL-DNN
- Intel MKL-Dnn
- ONNX Float32转Float16
- 神经网络量化介绍 [教程]
- 深度学习中的量化 [教程]
- 使用量化加速深度学习 [教程]
- 深度学习中的知识蒸馏
- 深度学习的模型蒸馏技术
- MMRazor: 模型压缩工具包 [优秀]
- FP8量化:指数的力量
- Quanto: PyTorch量化工具包 [优秀]
自动机器学习:
扩散模型:
多模态深度学习:
深度推理:
深度强化学习(优秀课程和教程):
- 从初学者到专家的免费深度强化学习课程 [优秀]
- 使用PyTorch的深度强化学习算法
- 深度强化学习 - CS 285 伯克利课程
- UC Berkeley CS 285解决方案
- 强化学习导论 - 该领域的主要书籍
- CS234: 强化学习课程
- 强化学习入门课程 - DeepMind出品
图神经网络:
图神经网络框架:
训练深度模型的最佳实践:
训练深度模型的一般注意事项:
PyTorch Lightning笔记和梯度累积:
损失函数:
不平衡数据集处理:
- 使用WeightedRandomSampler处理不平衡数据集
- 不平衡数据集采样器 [推荐]
- 揭秘PyTorch的WeightedRandomSampler
- WeightedRandomSampler过采样或欠采样
权重初始化:
批量归一化:
学习率调度和初始化:
- 自动学习率建议器
- 学习率查找器 - fastai
- 用于训练神经网络的循环学习率
- ignite - FastaiLRFinder示例
- 查找学习率 - gist代码
- 学习率查找器 - PyTorch Lightning
- RAdam - 关于自适应学习率的方差及其他
早停:
调优指南配方:
训练优化器:
PyTorch 在 TPU 上运行和训练 (colab):
评估指标:
验证机器学习模型:
优化 GPU 运行模型:
会议新闻:
- CVPR 2019 最新计算机视觉趋势
- 2019 年 CVPR 有趣论文
- ShortScience.org 上的 CVPR 论文摘要
- ShortScience.org 上的 ICCV 论文摘要
- ShortScience.org 上的 ECCV 论文摘要
- Meta ICLR 2024 顶级论文
深度学习框架和基础设施:
优秀的库:
- 统一机器学习框架
- Skorch - 兼容scikit-learn的神经网络库,封装了PyTorch
- Hummingbird - 将传统机器学习模型转换为PyTorch张量计算
- BoTorch - 基于PyTorch的贝叶斯优化
- torchvision 0.3:分割、检测模型、新数据集等
- TorchAudio:PyTorch音频库
- AudTorch
- TorchAudio-Contrib
- fastText - Facebook人工智能研究院(FAIR)
- Fairseq - Facebook人工智能研究院(FAIR)
- ParlAI - 对话模型 - Facebook人工智能研究院(FAIR)
- DALI - 高度优化的数据预处理引擎
- Netron - GitHub [深度学习模型可视化工具(优秀)]
- Netron - 网站
- JupyterLab GPU仪表盘 [不错]
- PyTorch Hub
- TensorFlow中的神经结构化学习(NSL)
- Pywick - PyTorch高级训练框架
- torchbearer:PyTorch模型拟合库
- torchlayers - PyTorch形状推断(类似Keras)
- torchtext - GitHub
- torchtext - 文档
- Optuna - 超参数优化框架
- PyTorchLightning
- Nvidia - runx - 实验管理工具
- MLogger:机器学习日志记录器
- ClearML - 机器学习/深度学习开发和生产套件
- Lime:解释任何机器学习分类器的预测
- 微软UniLM AI [优秀]
- mlnotify:无需持续检查训练进度
- NVIDIA NeMo - 创建会话式AI的工具包(ASR、TTS和NLP)
- 微软DeepSpeed
- Mojo:面向AI开发者的新编程语言
- MLX:适用于Apple芯片的数组框架
优秀的模型:
- ResNext WSL [优秀的预训练模型]
- 半弱监督(SWSL)ImageNet模型 [优秀的预训练模型]
- 深度高分辨率表示学习(HRNet)
深度模型转换:
优秀的深度学习仓库(用于学习基于深度学习的编程):
- deeplearning-models - PyTorch和TensorFlow学习 [非常优秀的仓库]
- PyTorch图像模型 [优秀]
- 5个高级PyTorch工具提升你的工作流程 [有趣]
PyTorch高级库:
- Catalyst - 用于深度学习研究和开发的PyTorch框架 [很棒]
- PyTorch Lightning - GitHub [很棒]
- PyTorch Lightning - 网页
- Ignite - GitHub [很棒]
- Ignite - 网页
- TorchMetrics
- Ludwig AI:以数据为中心的声明式深度学习框架 [很棒]
- PyTorch Kineto:CPU+GPU性能分析库
- PyTorch性能分析器
- PyTorch基准测试