访问官网
Github讲座补充材料
discord.gg/cudamode PMPP书籍：大规模并行处理器编程：实践方法（亚马逊链接） YouTube频道
讲座1：在PyTorch中分析和集成CUDA内核
- 视频
- 日期：2024年1月13日，演讲者：Mark Saroufim
- 笔记本和幻灯片在lecture_001文件夹中
讲座2：复习PMPP书籍第1-3章
- 视频
- 日期：2024年1月20日，演讲者：Andreas Koepf
- 幻灯片：PowerPoint文件lecture_002/cuda_mode_lecture2.pptx可在此仓库的根目录找到。或者在这里查看Google文档演示。
讲座3：CUDA入门
- 视频
- 日期：2024年1月27日，演讲者：Jeremy Howard
- 笔记本：查看lecture_003文件夹，或运行Colab版本
讲座4：计算和内存架构简介
- 视频
- 日期：2024年2月3日，演讲者：Thomas Viehmann
- 笔记本和幻灯片在lecture_004文件夹中。
讲座5：Python程序员深入CUDA
- 视频
- 日期：2024年2月10日，演讲者：Jeremy Howard
- 笔记本在lecture_005文件夹中。
讲座6：优化PyTorch优化器
讲座7：高级量化
- 视频
- 日期：2024年2月25日，演讲者：Charles Hernandez
- 幻灯片
讲座8：CUDA性能检查清单
- 视频
- 日期：2024年3月9日，演讲者：Mark Saroufim
- 代码在lecture_008文件夹中
- 幻灯片
讲座9：规约
- 视频
- 日期：2024年3月9日，演讲者：Mark Saroufim
- 代码在lecture_009文件夹中
- 幻灯片
第10讲：构建生产就绪的CUDA库
- 视频
- 日期：2024年3月16日，演讲者：Oscar Amoros Huguet
- 幻灯片
第11讲：稀疏性
第12讲：Flash Attention
- 视频
- 日期：2024年3月30日，演讲者：Thomas Viehmann
第13讲：环形注意力
- 视频
- 日期：2024年4月6日，演讲者：Andreas Koepf
- 幻灯片
第14讲：Triton实践指南
第15讲：CUTLASS
- 日期：2024年4月20日，演讲者：Eric Auld
第16讲：实践性能分析
- 日期：2024年4月27日，演讲者：Taylor Robbie
附加讲座：CUDA C++ llm.cpp
- 日期：2024年4月27日，演讲者：Jake Hemstad & Georgii Evtushenko
- 幻灯片
第17讲：GPU集体通信（NCCL）
- 日期：2024年5月4日，演讲者：Dan Johnson
- 代码在lecture_017文件夹中
第18讲：融合内核
- 日期：2024年5月11日，演讲者：Kapil Sharma
- 代码在lecture_018文件夹中
第19讲：GPU上的数据处理
- 日期：2024年5月18日，演讲者：Devavret Makkar
第20讲：扫描算法
- 日期：2024年5月25日，演讲者：Izzat El Haj
- 幻灯片
第21讲：扫描算法第2部分
- 日期：2024年5月31日，演讲者：Izzat El Haj
- 幻灯片
第22讲：VLLM中推测解码的黑客指南
- 日期：2024年6月1日，演讲者：Cade Daniel
- 幻灯片
第23讲：张量核心
- 日期：2024年6月7日，演讲者：Vijay Thakkar & Pradeep Ramani
- 幻灯片
第24讲：光速扫描
- 日期：2024年6月8日，演讲者：Jake Hemstad & Georgii Evtushenko
- 幻灯片
