人工智能必备数学基础:线性代数基础(1)

如果需要小编其他数学基础博客,请移步小编的GitHub地址

  传送门:请点击我

  如果点击有误:https://github.com/LeBron-Jian/DeepLearningNote

   这里我打算再补充一下关于线性代数的基础。

  (注意:目前自己补充到的所有知识点,均按照自己网课视频中老师课程知识点走的,同时一些公式是网友辛辛苦苦敲的,这里用到那个博客均在文末补充地址,不过这里首先表示感谢!!)

1,行列式

1.1  行列式的定义

  行列式在数学中,是一个函数,其定义域为det的矩阵A,取值为一个标量,写作 det(A) 或 |A|。无论是在线性代数,多项式理论,还是微积分学中(比如换元积分法),行列式作为基本的数学工具,都有着重要的应用。

  下面先看看二次线性方程组的求解:

人工智能必备数学基础:线性代数基础(1)

  当  a11a22  - a12a21 ≠ 0 方程组有唯一解:

人工智能必备数学基础:线性代数基础(1)  我们看行列式,发现其好像有点规律:

人工智能必备数学基础:线性代数基础(1)  表达式 a11a22  - a12a21 即为二阶行列式。

人工智能必备数学基础:线性代数基础(1)

  其中 aij (i=1,2;j=1,2) 称为元素。 i 代表行标, j 代表列标。

  三阶行列式如下:

人工智能必备数学基础:线性代数基础(1)

  所以可以得到行列式的定义为:n阶行列式是由 n 阶方阵形式的 n2 个数 aij(i,j=1,2,...n)确定的一个数,其值为 n!项之和。若n阶方阵A=(aij),则A相应的行列式D记为:D=|A|=detA=det(aij);若矩阵A相应的行列式D=0,称A为奇异矩阵,否则称为非奇异矩阵。

  下面尝试计算一个三阶行列式,根据如上算法,计算过程如下:

人工智能必备数学基础:线性代数基础(1)

1.2  行列式的性质

  • 1,行列式A中某行(或者列)用同一数 k 乘,其结果等于 kA
  • 2,行列式A等于其转置行列式AT(AT的第i行为A的第i列)
  • 3,若 n 阶行列式 |aij| 中某行(或列);行列式则 |aij| 是两个行列式的和,这两个行列式的第 i 行(或列),一个是 b1, b2,...bn,另一个是 c1, c2,...cn,其余各行(或列)上的元与 |aij| 的完全一样
  • 4,行列式A中两行(或列)互换,其结果等于-A
  • 5,把行列式A的某行(或列)中各元同乘一数后加到另一行(或列)中对应元上,结果仍然是A

1.3  矩阵与数据之间的关系

  我们学习矩阵的目的,最终是要应用到机器学习,而不是单纯的学习数学推导,下面看矩阵和数据之间关系。

  比如A,B,C,D 代表四座城市,他们之间可通行的关系为:

人工智能必备数学基础:线性代数基础(1)

  如果有表格的形式表示,则表示如下:

人工智能必备数学基础:线性代数基础(1)

2,矩阵

2.1  矩阵的定义

  在数学中,矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合,最早来自于方程组的系数及常数所构成的方阵,这一概念由19世纪英国数学家凯里首先提出。

  何谓矩阵就是输入的数据就是矩阵,对数据做任何的操作都是矩阵的操作。

人工智能必备数学基础:线性代数基础(1)  定义:矩阵是由行和列组成的,即 m*n 个数 aij 排成 m 行 n 列 的表格称为矩阵,简记为 A,或者(aijm*n若 m = n,则称A是 n 阶矩阵或 n 阶方阵,矩阵如下:

人工智能必备数学基础:线性代数基础(1)

  元素是实数的矩阵称为实矩阵,元素是复数的矩阵称为复矩阵

矩阵的特殊形式

  行向量和列向量

人工智能必备数学基础:线性代数基础(1)

  n阶矩阵(n阶方阵):n阶方阵就是行和列一样,即 m=n,我们称A为 n 阶矩阵或 n 阶方阵:

人工智能必备数学基础:线性代数基础(1)

  三角矩阵(上三角矩阵与下三角矩阵):在线性代数中,三角矩阵是方形矩阵的一种,因其非零系数的排列呈三角形状而得名。三角矩阵分为上三角和下三角。若i>j,则 uij=0的矩阵称为上三角矩阵;若i<j,则 uij=0的矩阵称为下三角矩阵。

人工智能必备数学基础:线性代数基础(1)

  对角阵与单位矩阵:(对角矩阵是对于m*m的居住,当i!=j时,有aij=0,此时所有非对角线上的元素均为0,此时的矩阵称为对角矩阵,当对角线的元素为1时,称为单位矩阵。)

人工智能必备数学基础:线性代数基础(1)  同型矩阵:两个矩阵行列数相同的时候:

人工智能必备数学基础:线性代数基础(1)

  在同型的前提下,并且各个元素相等,这就是矩阵相等了:

人工智能必备数学基础:线性代数基础(1)

  对称矩阵:如果满足 AT = A ,那么 A就是对称矩阵。

   如下行列式,均为对称矩阵:

人工智能必备数学基础:线性代数基础(1)

2.2   矩阵的线性运算

  矩阵运算在科学计算中非常重要,而矩阵的基本运算包括矩阵的加法,减法,数乘,转置,共轭和共轭转置。

  下面通过两个 m*n 的矩阵来看一下其基本运算: A = (aij),B = (bij)

矩阵的加减法

  设 A = (aij) ,B = (bij) 是两个 m*n 矩阵,则 m*n 矩阵 C = (cij) = aij  + bij ,称为矩阵 A 和 B 的和,记为 A + B = C。

人工智能必备数学基础:线性代数基础(1)

  矩阵的加法满足以下运算律(A,B,C都是同型矩阵):

人工智能必备数学基础:线性代数基础(1)

人工智能必备数学基础:线性代数基础(1)

  应该注意的是只有同型矩阵之间才可以进行加法。

矩阵的数乘

  设 A = (aij) 是 m*n 矩阵,k 是一个常数,则 m*n 矩阵 (kaij) 称为数 k 与矩阵 A 的数乘,记为  kA ,如下:

人工智能必备数学基础:线性代数基础(1)

  矩阵的数乘满足以下运算律:

人工智能必备数学基础:线性代数基础(1)

  矩阵的加减法和矩阵的数乘合成矩阵的线性运算。

 2.3  矩阵的转置

  矩阵的转置就是行和列互相交换所产生的矩阵,记做AT,如下:

人工智能必备数学基础:线性代数基础(1)

  矩阵的转置有如下性质:

人工智能必备数学基础:线性代数基础(1)

2.4 矩阵的逆

  有关 A-1 的结论:

人工智能必备数学基础:线性代数基础(1)

   分块求逆公式:

人工智能必备数学基础:线性代数基础(1)

  这里 A, B 均为可逆方阵。

2.5  矩阵的秩

  对于一个 S*N 的矩阵:

人工智能必备数学基础:线性代数基础(1)  矩阵 A 的每一行可以看作一个 N 维向量:

人工智能必备数学基础:线性代数基础(1)

  α1, α2, ... αs 叫做 A 的行向量。

  矩阵 A的每一列可以看作一个 S 维向量:

人工智能必备数学基础:线性代数基础(1)

  β1, β2, ... βn 叫做 A的列向量。

  矩阵的秩表示什么呢?

  对于下面的A矩阵:

人工智能必备数学基础:线性代数基础(1)

  行向量为:

人工智能必备数学基础:线性代数基础(1)  求其极大线性无关组假设有:

人工智能必备数学基础:线性代数基础(1)

  则:

人工智能必备数学基础:线性代数基础(1)

  解得: k1 = k2 = k3 = 0,即 α1, α2, α3  线性无关。

  由于含有零向量,必线性相关,所以向量组α1, α2, α3 ,α4 的秩为 3。

  对于列向量同理可得:

人工智能必备数学基础:线性代数基础(1)

  但是 β1, β2,  β3 ,  β4 的秩为3。

  矩阵的行秩 = 矩阵的列秩

  那么秩该如何理解呢?

  可以对二维图像进行旋转,比如用旋转矩阵:

人工智能必备数学基础:线性代数基础(1)  变换后的矩阵依然是二维的,所以旋转矩阵的秩为2,如下图:

人工智能必备数学基础:线性代数基础(1)  或者对于下面的矩阵:

人工智能必备数学基础:线性代数基础(1)  变换后的矩阵为一维的,所以矩阵的秩为1,如下图:

人工智能必备数学基础:线性代数基础(1)  矩阵中最大不相关向量的个数就是秩,比如相册里有很多张图片(N),但是只有三个类(R),我们就把 R 当做矩阵的秩。

有关矩阵秩的结论:

人工智能必备数学基础:线性代数基础(1)

2.6  矩阵的乘法

  设 A = (aij) 是 m*n 矩阵,B = (bij) 是 n*s 矩阵,那么 m*s 矩阵 C  = (cij) ,Cij 称为 AB 的乘积,记为 C = AB 。(注意两个矩阵的乘法仅当第一个矩阵A的列数和另一个矩阵B的行数相等时才能定义)

  其中:

人工智能必备数学基础:线性代数基础(1)

  矩阵乘法有如下的运算规则(注意:矩阵乘法不满足交换律)包括左分配律,右分配律,结合律:

人工智能必备数学基础:线性代数基础(1)

  举个例子:有两个商场,三种电视机,求两个商场的销售额?(注意:A的列数要与B的函数相等)

人工智能必备数学基础:线性代数基础(1)  注意:矩阵乘法没有交换律

  举个简单的例子,当我们交换的时候,会出现下面结果:

人工智能必备数学基础:线性代数基础(1)

2.7   行列式与矩阵的区别

  行列式与矩阵的区别:

人工智能必备数学基础:线性代数基础(1)

  具体区别如下:

  1,运算结果不同

  矩阵是一个表格行数和列数可以不一样;而行列式是一个数,且行数必须等于列数。只有方阵才可以定义它的行列式,而对于长方阵不能定义它的行列式。

  两个矩阵相等是指对应元素都相等;两个行列式相等不要求对应元素都相等,甚至阶数也可以不一样,只要运算代数和的结果一样就可以了。

  2,运算方式不同

  两矩阵相加是将各对应元素相加;两行列式相加,是将运算结果相加,在特殊情况下(比如有行或列相同),只能将一行(或列)的元素相加,其余元素照写。

  3,性质不同

  数乘矩阵是指该数乘以矩阵的每一个元素;而数乘行列式,只能用此数乘行列式的某一行或列,提公因数也如此。

  两矩阵相等指两同型矩阵的对应元素相等;两行列式相等指只要其值相等,不要求它们是同阶行列式,也不要求对应元素相等

  4,变换后的结果不同

  矩阵经初等变换,其秩不变;行列式经初等变换,其值可能改变;换法变换要变好,倍法变换差被数,消法变换不改变。

2.8   矩阵方程

  矩阵方程如何做呢?

  如下:A是系数矩阵,X是未知数矩阵,B是常数矩阵

人工智能必备数学基础:线性代数基础(1)

  转换如下:

人工智能必备数学基础:线性代数基础(1)

  矩阵方程是未知数为矩阵的方程,对于矩阵方程,当系数矩阵为方阵时,先判断是否可逆。如果可逆,则可以利用左乘或者右乘逆矩阵的方法求出未知矩阵,如果方阵不可逆或系数矩阵不是方阵,则需要用矩阵的广义逆来确定矩阵方程有界的条件,进而在有解的情况下求出通解。

3,向量

3.1  向量的定义

  在数学中,向量(也称为欧几里得向量,几何向量,矢量),指具有大小(magnitude)和方向的量。它可以形象的表示为带箭头的线段。箭头所指:代表向量的方向;线段长度:代表向量的大小。与向量对应的量叫做数量(物理学中称为标量),数量(标量)只有大小,没有方向。

  在物理学和工程学中,几何向量更常被称为矢量。许多物理量都是矢量,比如一个物体的唯一,球撞向墙对其施加的力等等。与之相对的是标量,即只有大小没有方向的量。一些与向量有关的定义亦与物理概念有密切的联系,例如向量势对应于物理中的势能。 

3.2  有关向量的线性表示

人工智能必备数学基础:线性代数基础(1)

3.3  向量组的秩与矩阵的秩之间的关系

  设 r(Am*n) = r ,则 A 的秩 r(A) 与 A 的行列向量组的线性相关性关系为:

人工智能必备数学基础:线性代数基础(1)

3.4  n 维向量空间的基变换公式及过渡矩阵

  若 α1, α2, ...α3 与 β1, β2,...  βn 是向量空间 V 的两组基,则基变换公式为:

人工智能必备数学基础:线性代数基础(1)

  其中 C是可逆矩阵,称为由基 α1,α2,....αn到基β1,β2,...βn 的过渡矩阵。

  坐标变换公式

人工智能必备数学基础:线性代数基础(1)

3.5  向量的内积(点积)

  点积在数学中,又称数量积(dot product;scalar product),是指接受在实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。

  设有 n 维向量:

人工智能必备数学基础:线性代数基础(1)

  则当:

人工智能必备数学基础:线性代数基础(1)

人工智能必备数学基础:线性代数基础(1)

  此时,我们就把 [x. y] 叫做向量的内积。

人工智能必备数学基础:线性代数基础(1)

  内积的性质如下:

人工智能必备数学基础:线性代数基础(1)

3.6  向量的长度

  几何空间中向量长度概念的推广,设 x 为欧式空间 V 的向量,非负实数(x,  x)的算法平方根 √ (x, x) 称为向量 x 的长度或长,也称为 x 的模,记为 ||x||。

  向量的长度具有如下性质:

  • 1,对于任意的 x 属于 V,|x| >=0, |x|=0 当且仅当 x=0
  • 2,对于任意的 k 属于 R,x属于V,|kx|=|k||x|,其中 |k| 是 k的绝对值。

  老师的PPT如下:

人工智能必备数学基础:线性代数基础(1)

3.7  向量的正交

  两两正交的非零向量组成为正交向量组。若 a1, a2,....ar 是两两正交的非零向量,则 a1, a2,....ar  线性无关。

  例如,已知三维向量空间 R3 中两个向量a1, a2 正交,试求一个非零向量 a3,使得a1, a2 ,a3 两两正交:

人工智能必备数学基础:线性代数基础(1)

人工智能必备数学基础:线性代数基础(1)

人工智能必备数学基础:线性代数基础(1)

人工智能必备数学基础:线性代数基础(1)

3.8  正交基及规范正交基

  向量空间一组基中的向量如果两两正交,就称为正交基;若正交基中每个向量都是单位向量,就称其为规范正交基。

  其性质如下:

人工智能必备数学基础:线性代数基础(1)

4,线性方程组

4.1  克莱姆法则

  对于线性方程组:

人工智能必备数学基础:线性代数基础(1)

  如果系数行列式 D =  |A| ≠ 0,则方程有唯一解,

人工智能必备数学基础:线性代数基础(1)  其中 Dj 是把 D 中第 j 列元素换成方程组右端的常数类所得的行列式。

  n阶矩阵 A 可逆 r(Am*n) = m 只有零解  <==>  对于任意b,Ax = b 总有唯一解,一般地,r(Am*n)  <==> Ax=0 只有零解。

4.2  非齐次线性方程组有解的充分必要条件,线性方程组解的性质和解决的结构

人工智能必备数学基础:线性代数基础(1)

 

4.3  齐次线性方程的基础解析和通解,解空间,非其次线性方程组的通解

人工智能必备数学基础:线性代数基础(1)

 

参考链接:https://zhuanlan.zhihu.com/p/36584206

发表评论

评论已关闭。

相关文章