第3章 线性代数基础-【千锋教育】Python快乐编程 人工智能—深度学习基础

第3章 线性代数基础 标量、向量、矩阵和张量 线性相关与生成子空间 范数 特殊的矩阵与向量 特征值分解 奇异值分解 迹运算 标量、向量、矩阵和张量 线性相关与生成子空间 范数 特殊的矩阵与向量 特征值分解 奇异值分解 迹运算 理解线性代数的相关概念 掌握范数的有关知识 掌握特征值和奇异值的运算 理解主成分分析的方法和原理 掌握 掌握 理解 理解 学 习 目 标 LEARNING OBJECTIVES 初心至善 匠心育人 线性代数作为数学的一个分支，广泛应用于科学和工程中。深度学习会大量涉及线性代数相关的知识，掌握线性代数对理解和从事深度学习算法相关工作是非常必要的。如果大家已经掌握线性代数的有关知识，则可以直接跳过本章内容；如果之前没有接触过线性代数，可以通过阅读和学习本章来了解和掌握本书所需的线性代数知识。 初心至善 匠心育人 3.1 标量、向量、矩阵和张量 学习线性代数首先需要了解以下几个重要的数学概念。 1. 标量( scalar ) 一个标量便是一个单独的数，是计算的最小单元，一般采用斜体小写的英文字母表示。在介绍标量时通常会明确其所属的类型。例如，“”表示属于实数标量。 2. 向量( vector ) 向量是由多个标量构成的一维数组，这些数是有序排列的。通过次序中的索引可以确定每个单独的数，通常赋予向量粗体的小写变量名称，比如。通过下标索引来获取每一个元素，向量的第一个元素用表示，第二个元素用表示，以此类推，第个元素用表示。 初心至善 匠心育人 3.1 标量、向量、矩阵和张量 当需要明确表示向量中的元素时一般会将元素排列成一个方括号包围的纵列，格式如下所示： 3. 矩阵( matrix ) 矩阵是由标量构成的二维数组，其中的每一个元素被两个索引所确定。本书采用粗斜体的大写拉丁字母来表示矩阵，比如，如果实数矩阵的行数为，列数为 ，便可以用来表示矩阵。 初心至善 匠心育人 3.1 标量、向量、矩阵和张量 在表示矩阵中的元素时，通常使用其名称以小写不加粗的斜体形式，索引用逗号间隔。例如， 表表示矩阵左上角的元素， 表示矩阵中右下角的元素。表示垂直坐标中的所有元素时，用“:”表示水平坐标。比如通过表示示矩阵中垂直坐标i上的一横排元素，这也被称为矩阵的第行(row)。同样地，表示的第列(column)。在需要明确表示矩阵中的元素时，可以将它们写在用方括号包围起来的数组中，具体形式如下所示： 如果现在有个用户的数据，每条数据含有个特征，那么这些用户数据实际上对应了一个的矩阵；一张图由16×16个像素点组成，那这个图就是一个 16×16的矩阵。 初心至善 匠心育人 3.1 标量、向量、矩阵和张量 4. 张量( tensor ) 在某些情况下，需要用到高于二维坐标的数组。当一组数组中的元素分布在若干维坐标的规则网格中时被称为张量。本书使用黑体大写字母来表示张量，例如，用来表示张量“”。以二维空间下的三阶张量为例，将张量中的坐标为的元素记作。为了更好地理解张量，在此将如图的一张RGB图片表示成一个三阶张量，张量的3个维度分别对应图片的高度、宽度和色彩数据。 初心至善 匠心育人 3.1 标量、向量、矩阵和张量 RGB图片的色彩数据可以拆分为3张红色、绿色和蓝色的灰度图片，通过张量的形式来表示，如表所示。 初心至善 匠心育人 3.1 标量、向量、矩阵和张量 表中的横轴表示图片的宽度值；纵轴表示图片的高度值(仅截取其中一部分数据)；表格中每个方格代表一个像素点， 表示红色(Red，后面简称R)， 表示绿色(Green，后面简称G)， 表示蓝色(Blue，后面简称B)。以表中第一行第一列为例，表中数据为，表示RGB三种颜色在图片的该位置的取值情况为为。 张量在深度学习中非常重要，它是一个深度学习框架中的核心组件之一，后续的所有运算和优化算法几乎都是基于张量进行的。将各种各样的数据抽象成张量表示，然后再输入神经网络模型进行后续处理是一种非常必要且高效的策略。如果不采用将数据抽象成张量的方法，就需要根据各种不同类型的数据分别定义不同的组织形式，这样十分低效。通过将数据抽象成张量，还可以在数据处理完成后方便地将张量再转换回想要的格式。 初心至善 匠心育人 3.1 标量、向量、矩阵和张量 例如Python的NumPy包中numpy.imread 和numpy.imsave两个方法，分别用来将图片转换成张量对象(即代码中的Tensor 对象)，以及将张量再转换成图片保存起来。 矩阵的初等变换是矩阵的一种非常重要的运算，它在求解线性方程组、逆矩阵中都起到了非常重要的作用。对于任意一个矩阵，下面3种变换称为矩阵的初等行变换。 对调任意两行中的元素，记作 ; 以不为0的数乘以矩阵某一行的所有元素，记作 ; 把某一行的所有元素的倍加到另一行的对