论文阅读 -- 深度学习基础设施
比做算法的懂工程落地,比做工程的懂算法模型。
- 编程: c++ / CUDA / 汇编 / python / Shell
- 算法: deep learning / CV / NLP 等,训练框架,推理部署
- 加速: AI 编译器,并行优化,性能分析工具
- 工程: 硬件体系结构,操作系统 & Linux 内核,分布式 & k8s 集群,存储
超赞的在线工具
URL | 简要说明 |
---|---|
https://en.wikichip.org/wiki/WikiChip | 查各类芯片的架构 & 规格 |
https://www.cpubenchmark.net | 查芯片(CPU)的基准测试,算力(Ops/s) |
https://www.videocardbenchmark.net | 查显卡的基准测试 |
https://godbolt.org/ | 在线查看 c++ 代码的汇编代码 |
https://quick-bench.com/ | 在线测试 c++ 代码的基准时间 |
https://en.cppreference.com | c++ 手册 |
AI 编译器
深度学习
大模型 & AIGC
AI 落地应用
算法相关
DL 框架
HPC - 高性能计算
学习地图
- perf-tools-map: 性能调优的工具 & 工具使用文档
- CPU 架构: 待完成
- Learning CUDA: GPU 架构 & CUDA
- 并行加速: 待完成(指令级并行,单独主题?)
推荐阅读
带代码的教程
- Hands on CUDA CUDA 新手入门
- OpenMP tutorial "使用 LLNL 超级计算机"研讨会的 4+ 天中的八个教程之一
工程化
Docker 和 K8S
- A Docker Tutorial for Beginners https://docker-curriculum.com/
- Docker and OCI Runtimes Docker 的设计与实现方案
- nvidia-docker: Enabling GPUs in Docker nvidia-docker 的用法 & 原理
Protobuf 和 gRPC
(文档)
- https://developers.google.com/protocol-buffers/docs/proto3 语言指南 (proto3)
- https://developers.google.com/protocol-buffers/docs/style Protocol Buffers 风格指南
- https://grpc.io/docs/languages/cpp/basics/ gPRC 基础教程
- https://edgehog.blog/a-guide-to-grpc-and-interceptors-265c306d3773 gRPC 反拦截器
(笔记)
- Protobuf Install And Introduction
- Protobuf Best Practices
- 待完成:用 gPRC + Docker 发布一个完整的 Web 服务示例代码
编程语言
汇编
- x86 汇编
- MIPS 汇编
C++
Python 和 Shell
使用说明
由 https://github.com/JackonYang/paper-pipe 提供支持
从 Feishu Drive 下载已收集的论文 PDF,放在 paper-pdfs
目录下