Tiny GPU: 深入了解图形处理器工作原理的最小化实现

Ray

Tiny GPU:探索图形处理器的内部工作原理

在计算机硬件领域,图形处理器(GPU)一直是一个神秘而复杂的组件。虽然关于GPU编程的资源很多,但要深入了解GPU在硬件层面的工作原理却并不容易。这正是Tiny GPU项目的初衷 - 通过一个最小化的GPU实现,帮助人们从底层理解GPU的核心概念和工作机制。

什么是Tiny GPU?

Tiny GPU是由Adam Majmudar开发的一个用Verilog实现的最小化GPU设计。它专注于突出现代硬件加速器的一般原理,而不是图形特定的硬件细节。通过简化掉生产级图形卡所涉及的大部分复杂性,Tiny GPU让我们能够关注所有现代硬件加速器的核心要素。

这个项目主要探索了以下几个方面:

架构 - GPU的架构是什么样的?最重要的元素是什么?
并行化 - SIMD(单指令多数据)编程模型如何在硬件中实现?
内存 - GPU如何解决有限内存带宽的约束?

GPU架构图

Tiny GPU的架构设计

Tiny GPU被设计为一次执行一个内核。其整体架构包括以下几个主要组件:

设备控制寄存器 - 存储内核执行的元数据
调度器 - 管理线程分配到不同的计算核心
可变数量的计算核心
数据内存和程序内存的内存控制器
缓存

GPU核心

每个GPU核心都有一定数量的计算资源,通常围绕它所能支持的线程数量构建。为了最大化并行性,这些资源需要进行最优管理以实现最高的资源利用率。

在这个简化的GPU中,每个核心一次处理一个线程块,对于块中的每个线程,核心都有专用的ALU、LSU、PC和寄存器文件。管理这些资源上的线程指令执行是GPU中最具挑战性的问题之一。

GPU核心架构

内存系统

Tiny GPU的内存系统包括:

全局内存:外部接口,数据内存和程序内存分开
内存控制器:管理来自计算核心的内存请求
缓存:存储从外部内存检索的数据,以减少重复访问

指令集架构(ISA)

Tiny GPU实现了一个简单的11条指令的ISA,用于实现简单的内核,如矩阵加法和矩阵乘法。主要指令包括:

分支指令(BRnzp)
比较指令(CMP)
基本算术运算(ADD, SUB, MUL, DIV)
内存加载/存储(LDR, STR)
常量加载(CONST)
返回指令(RET)

ISA指令集

内核执行

Tiny GPU可以执行矩阵加法和矩阵乘法等简单内核。以下是矩阵加法内核的示例代码:

.threads 8
.data 0 1 2 3 4 5 6 7          ; matrix A (1 x 8)
.data 0 1 2 3 4 5 6 7          ; matrix B (1 x 8)

MUL R0, %blockIdx, %blockDim
ADD R0, R0, %threadIdx         ; i = blockIdx * blockDim + threadIdx

CONST R1, #0                   ; baseA (matrix A base address)
CONST R2, #8                   ; baseB (matrix B base address)
CONST R3, #16                  ; baseC (matrix C base address)

ADD R4, R1, R0                 ; addr(A[i]) = baseA + i
LDR R4, R4                     ; load A[i] from global memory

ADD R5, R2, R0                 ; addr(B[i]) = baseB + i
LDR R5, R5                     ; load B[i] from global memory

ADD R6, R4, R5                 ; C[i] = A[i] + B[i]

ADD R7, R3, R0                 ; addr(C[i]) = baseC + i
STR R7, R6                     ; store C[i] in global memory

RET                            ; end of kernel

这个内核通过在单独的线程中执行8个元素的加法来将两个1x8矩阵相加。它展示了SIMD编程模型在Tiny GPU上的实现。