多数人大一大二线性代数都学得晕晕乎乎的，教材往往编的十分枯燥，假如没遇到好的老师，那基本上就是天书一般的存在。能学懂学透的同学是少数，否则你也根本没必要看这章内容。等到学机器学习时，基本上也忘的差不多了。虽然很多机器学习和深度学习的书都有数学回顾这部分内容，但遗憾的是往往也只是知识点堆砌，缺少顺理成章的解释。

怎样才是好的面向深度学习的线性代数基础知识复习呢？一句话，就是要讲清楚二者之间的关系，为什么要学线数，对深度学习的重要性在哪里，掌握哪些知识点就够了？这将是咱们这章与众不同的地方。

先问你个灵魂拷问：想过我们为什么要学线性代数吗？ 实话说我也是花了好久才慢慢悟到一些答案的，因为真的没看到有什么书能把这个特别基本的问题讲的很清楚的。一句话描述，它是用极简的数学语言表征我们面对的复杂世界。为啥这么说呢？数学家眼里的世界就是两种：线性的和非线性的。多数情况下，真实的系统都是非线性的，但表达和处理起来太复杂，因此习惯性的先把它线性化，然后用线性代数来表示。这么说你可能还是感觉有点枯燥，那咱们用一个图像处理的例子来说清楚。

一个美女在你身旁，那感觉绝对是“非线性的”，各种脸红心跳的感觉，一言难尽是不是？可这样显然就缺少点儿数学思维了，计算机也根本处理不了。怎么记住这美妙的一刻呢？拍张照片呀!“咔嚓”的那一刻，就作了“线性化”。三维凸凹有致的身材，四维让人心动的眼神，五维醉人心脾的微笑，六维似曾相识的默契，七维....一下子都被压缩到了一张简单的二维平面照片中。剩下的故事就是线性代数能够表征的世界了，我们来看看。

整张照片是由一个个的像素点组成，每个像素点可以用红绿蓝三基色来表示，每个通道都是一个0-255的灰度值。来看看如何用线性代数的语言来描述这件事。每个灰度值叫做标量(scalar)。每个像素点可以表示成RGB三个值，比如 [100,100,100]，这叫向量。怎么表示很多个像素点呢？先单纯看其中一个通道，比如红色通道，画出来就是一幅灰度图像，用线性代数表示就是矩阵matrix。当然，我们也可以把所有的行zigzag这样“之”字形的连起来，表示为一个大的行向量或列向量。

那怎么同时表示RGB三个通道呢？一个矩阵是不是就不够了？需要同时三个矩阵或者数组，这就是张量tensor的概念了。我们看到，从标量、向量、矩阵、张量表达的东西越来越复杂。一幅简简单单的照片图像中居然包含了这么多线性代数的基本概念。前面的三个都可以看成是张量的特例，标量因此也叫零阶张量，向量叫一阶张量，矩阵叫二阶张量。阶数越高的张量表示的是越复杂的空间世界。除了RGB这三个特征外，你可以再叠加更多特征来描述这个美女，比如：皮肤白皙度，五官纹理诱人度等等，这时候就需要更高阶的张量来表示了。

从真实世界的美女，到小小照片中能够用线性代数表示的线性空间，这是人类科学史上的巨大成就。所有的美女，以及像美女一样的物体、系统等等一切，都可以表示成为一个张量，进而用简洁的字母来表示。这就是“线性+代数”的含义了。有了它，不光数学表示变得极简，我们还能用计算机来处理，这就是为什么学习深度学习必须要学好线性代数的原因了。

如同中学讲完代数，还要学习数和数之间的运算一样，线性代数中的加减乘除也十分重要，这就是线性变换的概念。对刚才的美女图像例子而言，这意味着我们可以对图像进行各种操作。比如加加减减就是变色，乘法就是变形等等。

好了，理解完毕，为了知识的完备，咱们还是少不了像其他人一样八股啰嗦啰嗦，再稍微全面的梳理一下学好深度学习需要掌握的线性代数知识点。不过，哥给你的建议是，一是可以跳着读，找自己不熟的复习；二是从线性代数是用来线性化的表征世界的角度来重温下面复习的这些概念，希望你会有完全不同的认识和理解。实在想不通，就想想咱们刚举的美女例子。

梗直哥建议：1. 以下内容为了全面比较多，可以重点看黑体字提示，是和大家以前常看的书籍，比如Hinton《深度学习》、吴恩达深度学习课程、以及李沐等人《动手学深度学习》比较大的区别。可能会比较个性化，但是可以帮助你快速理解，希望喜欢。2. 建议从代码使用入手，不太有必要死记数学公式，几乎所有运算在numpy和pytorch中都有现成的API可供调用。难点是深刻理解各个概念的几何和物理含义，否则你会特别混乱，实战中看别人的眼花缭乱，但自己不知道什么时候该用哪个。

线性代数作为一个非常重要的数学分支，主要研究向量空间和线性变换。在机器学习中，线性代数的概念和工具被广泛应用于各种任务，包括数据表示、特征工程、模型训练和优化等。掌握必要的线性代数基础概念几乎是学好机器学习和深度学习的必要条件。具体来说，理由如下：

首先，线性代数在数据表示方面有着重要的作用。例如，在机器学习中，向量是一种非常常见的数据表示方式。向量可以表示各种数据，包括数值、文本和图像。在机器学习中，向量常常被用来表示输入数据和输出数据。

其次，线性代数在特征工程方面也有着重要的作用。例如，在机器学习中，经常需要对数据进行预处理，以提取有用的特征。这些特征可以帮助机器学习模型更好地学习数据。线性代数中的概念和工具可以用来计算向量间的相似性、计算向量的投影和求解线性方程组等，这些操作都可以帮助我们在特征工程过程中提取有效的特征。

此外，线性代数在模型训练和优化方面也有着重要的作用。在机器学习中，我们常常使用线性回归模型来预测连续型目标变量。线性回归模型的参数就是一个向量，包含了所有的权重和偏差。在训练过程中，需要不断调整这些参数，以使模型能够更好地预测目标变量。线性代数中的概念和工具可以用来计算向量的内积、计算矩阵的行列式和逆矩阵等，这些操作都可以帮助我们在训练过程中快速求解参数的最优解。

举个例子，假设现在有一个二维数据集，希望使用线性回归模型来预测目标变量 y。我们可以使用线性代数中的概念和工具来训练这个模型。可以将数据集中的每一个样本表示为一个二维向量 (x1,x2)。使用向量的内积来计算模型的参数，具体来说，可以使用最小二乘法来求解下列线性方程组：

其中，w1, w2和b分别是模型的参数，即权重和偏差。求解这个方程组后，就可以得到最优的参数值，从而使用线性回归模型来预测目标变量。

咱们快速复习一下线性代数中最重要的一些基本概念，着重看看学好深度学习需要掌握到什么程度。

2.1.1 标量

标量也叫0D张量，一个标量就是一个数，它只有大小，没有方向。在生活中，标量可以体现在很多方面。例如，在进行体重测量时，可以使用标量来表示体重。例如，使用标量 70 来表示体重 70 公斤。

在 PyTorch 中，标量可以使用标准 Python 数字类型（如 int 和 float）表示。 下面是一个标量的示例，其中 x 是一个浮点数标量：

import torch x = torch.tensor(3.14) print(x)

tensor(3.1400)

注意，标量的形状是一个空的大小元组 torch.Size([])，表示它不包含任何维度。 标量在机器学习中可能用于表示单个预测值，损失值，学习率或其他单个数字。

2.1.2 向量及其运算

向量也叫1D张量。向量只有一个轴，沿着行的方向，或者沿着列的方向。例如，一个4维向量，沿着轴有4个元素。在机器学习中，向量通常用来表示数据。

向量可以用来表示各种数据，包括数值、文本和图像。在机器学习中，向量常常被用来表示输入数据和输出数据。例如，在图像分类任务中，输入可以是一张图像的像素数据，而输出可以是图像的类别。

向量还可以被用来表示机器学习模型的参数。例如，在线性回归模型中，参数就是一个向量，包含了所有的权重和偏差。这些参数在训练过程中被不断更新，以使模型能够更好地预测目标变量。 向量还可以被用来表示各种向量空间模型，例如词嵌入模型。在词嵌入模型中，每个单词都会被表示为一个向量，这些向量可以用来表示单词之间的关系。例如，在一个词嵌入模型中，"man" 和 "woman" 两个单词的向量可能会很相似，因为它们都是人类的代词。

另外，向量还可以被用来表示向量空间模型的相似性，例如余弦相似性。在机器学习中，余弦相似性是一种常用的度量两个向量之间相似程度的方法。它的值越接近 1，则两个向量越相似；值越接近 0，则两个向量越不相似。

向量还可以被用来表示向量空间模型的线性变换。在机器学习中，可以通过矩阵乘法来对向量进行线性变换。这种变换可以用来调整向量的方向和大小，从而使模型能够更好地学习数据。 总之，向量在机器学习中扮演着非常重要的角色，它们可以用来表示各种数据和模型参数，并且在计算中也起到了重要作用。

向量的运算也是非常重要的。可以对两个向量进行加法和减法运算，也可以对一个向量进行数乘和数除运算。这些运算可以用来调整向量的大小和方向，从而辅助机器学习模型的训练和预测。

此外，向量有许多性质，例如向量点积、向量叉积和向量的模长。这些性质可以帮助我们更好地理解向量的意义，并且在计算中也有着重要的作用。

在 PyTorch 中，可以使用 torch.Tensor 类来创建向量。例如，下面是如何创建一个 2D 向量：

import torch # 创建一个 2D 向量 vector = torch.Tensor([1, 2]) print(vector)  # 输出: tensor([1., 2.])

tensor([1., 2.])

以下是向量的一些基本运算。

梗直哥提示：加减法和数乘都比较简单，咱们就不讲了。难点是乘法，比标量运算，也就是大家都熟悉的中学乘法一下子多了好几种不同的运算，经常容易混，我会在讲完后一起对比告诉你怎么好记。

# 内积 a = torch.Tensor([1, 2]) b = torch.Tensor([3, 4]) c = torch.dot(a, b) print(c)  # 输出: 11.0

tensor(11.)

import torch # 定义两个向量 a = torch.tensor([1, 2, 3]) b = torch.tensor([4, 5, 6]) # 计算外积 c = torch.cross(a, b) print(c)  # 输出: tensor([-3, 6, -3])

tensor([-3, 6, -3])

注意，在 PyTorch 中，外积运算只支持3维向量。如果传入的向量维度不是3维，则会抛出异常。

# 向量的模长 a = torch.Tensor([1,3, 4]) length = torch.norm(a) print(length)  # 输出: 5.099

tensor(5.0990)

# 创建一个向量 vector = torch.Tensor([1, 2, 3]) # 计算向量的模长 length = torch.norm(vector) # 除以模长得到单位向量 unit_vector = vector / length print(unit_vector)  # 输出：tensor([0.26726124, 0.53452248, 0.8017837])

tensor([0.2673, 0.5345, 0.8018])

上面是向量的基本性质和在 PyTorch 中如何使用这些性质的简单示例。这些性质在深度学习中都很常用，例如在计算神经网络的梯度时，可以使用向量加法和数乘来计算损失函数的导数；在计算神经网络的输出时，可以使用内积来计算权重和输入的点积；在训练神经网络时，可以使用向量的模长来计算输出结果的大小，并使用向量的单位向量来调整权重的方向。

梗直哥提示：从几何意义角度理解这几个概念的区别比较简单。内积表示两个向量a,b之间的夹角关系，大于0表示二者方向基本相同，夹角在0到90度之间；等于0表示二者垂直，也叫正交；小于0表示夹角在90到180度之间。外积或者说叉积表示垂直于向量a,b构成的平面的法向量，从而构建一个3D坐标系。这在三维图像学中非常重要。模的概念很简单，就是向量长度。单位向量注意是方向。还有一种对应元素相乘的情况，英文叫element-wise multiplication，也被称为哈达玛积（Hadamard product），这个咱们下面讲矩阵时再说。

2.1.3 矩阵及其运算

矩阵也叫2D张量, 有两个轴，是一种二维数据结构。矩阵是由多个数字组成的表格。每个数字在矩阵中都有一个对应的行号和列号。例如，可以用二元组 (i,j) 来表示矩阵中第 i 行第 j 列的数字。来看看矩阵运算。加减法和数乘都比较简单，咱们就不说了。重点讲乘法。

import torch # 创建矩阵 A A = torch.tensor([[1, 2], [3, 4]]) print(A) # 创建矩阵 B B = torch.tensor([[5, 6], [7, 8]]) print(B) # 计算矩阵乘积 C = A * B C = torch.mm(A, B) print(C)

tensor([[1, 2], [3, 4]]) tensor([[5, 6], [7, 8]]) tensor([[19, 22], [43, 50]])

在深度学习中，矩阵也被用来表示神经网络中的参数。例如，在进行卷积神经网络的训练时，会使用矩阵来表示卷积核。在使用循环神经网络进行序列模型的训练时，也会使用矩阵来表示循环神经网络的权值。

矩阵在深度学习中应用广泛，并且在计算机视觉、自然语言处理等领域也广泛使用。例如，在进行图像分类时，会使用矩阵来表示图像的像素数据；在进行文本分类时，会使用矩阵来表示文本中的词语。

/知乎/矩阵乘法核心思想

/知乎/矩阵乘法的本质是什么？

代码实现方面，在 PyTorch 中，可以使用以下函数来计算矩阵的内积、外积和哈徳玛积：

内积（inner product）：使用 torch.matmul 函数。 外积（outer product）：使用 torch.ger 函数。 哈徳玛积（Hadamard product）：使用 torch.mul 函数。 下面是使用这些函数的例子：

注意：内积是将两个矩阵按矩阵乘法的规则相乘得到的矩阵。外积是将两个向量每一位分别相乘得到的矩阵。哈徳玛积是将两个矩阵每一位分别相乘得到的矩阵。

在深度学习编程中，可以使用 NumPy 或 PyTorch 进行矩阵运算。这两者都是 Python 的科学计算库，都提供了很多用于矩阵运算的函数。NumPy 是一个用于科学计算的 Python 库，它提供了大量的数学函数和矩阵运算函数，可以方便地进行向量化运算，可以提高程序的运行速度。PyTorch 是一个为深度学习而设计的张量库，它提供了与 NumPy 类似的矩阵运算函数，同时还支持 GPU 加速，可以更快地计算矩阵运算。哪种库更适合用于深度学习编程，取决于你的需求和偏好。如果你只需要进行基本的矩阵运算，且不需要使用 GPU 加速，则 NumPy 可能是一个不错的选择。如果你需要进行大量的矩阵运算，或者希望利用 GPU 加速来提高运算速度，则 PyTorch 可能是一个更好的选择。

2.1.4 张量

张量是多维数组的抽象概括。它可以看作是向量和矩阵的推广。张量可以是任意阶数。比如向量就是一阶张量，一行多列，或者一列多行；矩阵就是二阶张量，含有多行、多列；三阶张量，含有多行、多列，多页；以此类推...如果你对张量的概念理解起来有困难，可以看看这篇文章和视频，一目了然。 /知乎/怎么通俗地理解张量？

张量的基本性质包括：张量的维度，即张量的阶数、轴数。张量的形状，即每一维的大小。张量的数据类型，即张量中的数据的类型，比如float32、int64等。

在深度学习中，张量是基本的计算单位。我们使用张量来表示输入数据、模型参数、模型的输出等。深度学习框架（如PyTorch）提供了多种张量操作，使我们能够高效地进行深度学习的计算。

举个例子，使用PyTorch编写一个简单的深度学习模型，来分类MNIST手写数字图像。首先，我们需要定义模型的结构，并使用张量来表示模型的参数：

在这个例子中，我们使用了多个张量来表示输入数据、标签、模型的参数以及模型的输出。我们还使用了张量操作（如model(inputs)和torch.nn.functional.cross_entropy）来计算模型的输出和损失。

深度学习框架（如PyTorch）还提供了许多其他的张量操作，比如线性变换、卷积、池化等。我们可以使用这些操作来构建复杂的深度学习模型，并通过计算梯度来训练模型参数。张量在深度学习中起着重要的作用，它是深度学习计算的基本单位。使用张量，我们可以高效地进行深度学习的计算，并构建复杂的深度学习模型。

此外，在深度学习中，张量还可以用于表示不同的数据类型，如图像、文本、音频等。比如，我们可以使用张量来表示一张彩色图像，其中每个元素表示图像的一个像素。我们也可以使用张量来表示一段文本，其中每个元素表示文本的一个词或字符。在处理不同类型的数据时，我们可能需要使用不同的操作来处理张量。比如，在处理图像数据时，我们可能会使用卷积操作来提取图像的特征；在处理文本数据时，我们可能会使用词嵌入操作来将文本转换为数值型表示。

总之，张量是深度学习中用于表示各种数据类型的基本单位。使用张量，我们可以高效地处理各种类型的数据，并构建能够处理这些数据的深度学习模型。

同步更新：

Github: https://github.com/Gengzhige 

延伸学习：机器学习必修课：十大经典算法与Python实战

https://www.bilibili.com/cheese/play/ss1380?spm_id_from=333.999.0.0