张量

在这个模块中，我们用C语言构建了一个小型的Tensor（张量），类似于torch.Tensor或numpy.ndarray。当前代码实现了一个简单的一维浮点张量，我们可以访问和切片它。我们可以看到，张量对象维护了一个Storage（存储），用于保存物理内存中的一维数据，以及一个对该内存的View（视图），其中包含起始、结束和步长信息。这允许我们在不创建额外内存的情况下高效地对张量进行切片，因为Storage被重复使用，而View则更新以反映新的起始、结束和步长。然后，我们将看到如何将我们的C语言张量封装到Python模块中，就像PyTorch和numpy那样。

一维张量的源代码在tensor1d.h和tensor1d.c中。你可以简单地编译并运行它：

gcc -Wall -O3 tensor1d.c -o tensor1d
./tensor1d

代码包含Tensor类和一个简短的int main，其中有一个玩具示例。现在我们可以将这段C代码封装成Python模块，以便在Python中访问它。为此，将其编译为共享库：

gcc -O3 -shared -fPIC -o libtensor1d.so tensor1d.c

这会生成一个libtensor1d.so共享库，我们可以使用cffi库从Python中加载它，你可以在tensor1d.py文件中看到。然后我们可以在Python中这样简单地使用它：

import tensor1d

# 一维张量 [0, 1, 2, ..., 19]
t = tensor1d.arange(20)

# getitem / setitem 功能
print(t[3]) # 打印 3.0
t[-1] = 100.0 # 将最后一个元素设置为 100.0

# 切片，打印 [5, 7, 9, 11, 13]
print(t[5:15:2])

# 切片的切片也可以正常工作！打印 [9, 11, 13]
# （注意结束范围超出边界会被裁剪）
print(t[5:15:2][2:7])

# 给整个张量加上一个标量
t = t + 10.0

# 将两个相同大小的张量相加
t2 = tensor1d.arange(20)
t3 = t + t2

# 使用广播将两个张量相加
t4 = t + tensor1d.tensor([10.0])

最后，测试使用pytest，可以在test_tensor1d.py中找到。你可以运行pytest test_tensor1d.py来执行测试。

理解这个主题非常值得，因为你可以使用torch张量做相当复杂的操作，你必须小心并了解代码底层的内存情况，我们何时创建新的存储或只是新的视图，哪些函数可能只接受"连续"张量。另一个陷阱是当你创建一个大张量的小切片时，假设大张量somehow会被垃圾回收，但实际上大张量仍然存在，因为小切片只是大张量存储的一个视图。我们自己的张量也会出现同样的情况。

实际生产级别的张量，如torch.Tensor，具有更多我们没有涉及的功能。你可以有不同的dtype而不仅仅是浮点数，不同的device，不同的layout，张量可以被量化、加密等等。

待办事项：

使我们的实现更接近torch.Tensor
改进测试
实现2D张量，我们需要开始考虑2D形状/步长
为2D张量实现广播

许可证

MIT