算法-线性代数（一）——向量基础

线性代数的核心是向量的加和乘两种运算的组合，本篇博客为线性代数的一个引子，主要从向量、线性组合和矩阵逐步引出线性代数的相关知识。

1、向量和线性组合

首先介绍的是向量相关，向量是基础。
已知列向量：$\mathbf{\upsilon }=\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right]$，$\mathbf{\omega }=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]$；

向量加法：$\mathbf{\upsilon }+\mathbf{\omega }=\left[\begin{array}{c}{v}_1+w_1\\ v_2+w_2\end{array}\right]$；

纯量乘法：$c\mathbf{\upsilon }=\left[\begin{array}{c}c{v}_1\\ c{v}_2\end{array}\right]$，$c$是标量；

线性组合：我们将$\mathbf{\upsilon }$和$\mathbf{\omega }$的加法运算和标量乘法运算结合起来，得到的结果称为$\mathbf{\upsilon }$和$\mathbf{\omega }$的线性组合，即$c\mathbf{\upsilon }+d\mathbf{\omega }$。
两个向量的线性组合就是线性代数的最简单的形式。

下图展示了向量加法的结果：

Tip：列向量$\mathbf{\upsilon }=\left[\begin{array}{c}a\\ b\\ c\end{array}\right]$也可以写为$\mathbf{\upsilon }=(a,b,c)$，这两种形式都是表示列向量，后一种可以节约书写空间。另外，行向量表示为$\mathbf{\upsilon }=[a,b,c]$，平躺着并用方括号表示。

2、向量的模和点乘

点乘（内积）：点乘为两个向量对应位置上元素乘积的和。
向量$\mathbf{\upsilon }=(v_1,v_2,v_3,...,v_n)$和向量$\mathbf{\omega }=(w_1,w_2,w_3,...,w_n)$的点乘表示为：
$$\mathbf{\upsilon }\cdot \mathbf{\omega }=v_1{w}_1+v_2{w}_2+...+v_n{w}_n$$
向量$\mathbf{\upsilon }=(v_1,v_2,v_3,...,v_n)$和其自身的点乘为：
$$\mathbf{\upsilon }\cdot \mathbf{\upsilon }=v_1^2+v_2^2+...+v_n^2=(v_1-0{)}^2+(v_2-0{)}^2+...+(v_n-0{)}^2$$
向量的长度（模）
则在$n$维坐标系中，$\mathbf{\upsilon }\cdot \mathbf{\upsilon }$表示点$(v_1,v_2,v_3,...,v_n)$到坐标原点的距离的平方，即向量$\mathbf{\upsilon }$的长度的平方，所以向量$\mathbf{\upsilon }$的长度为：
$$\mathbf{l}\mathbf{e}\mathbf{n}\mathbf{g}\mathbf{t}\mathbf{h}=\Vert \mathbf{\upsilon }\Vert =\sqrt{\mathbf{\upsilon }\cdot \mathbf{\upsilon }}=(v_1^2+v_2^2+...+v_n^2{)}^{1/2}$$
如下图所示：

单位向量
单位向量是长度等于1的向量，则向量$\mathbf{\upsilon }$的单位向量$\mathbf{u}$为任何非零向量除以该向量的长度，即：
$$\mathbf{u}=\frac{\mathbf{\upsilon }}{\Vert \mathbf{\upsilon }\Vert }$$
下图为单位向量的示意图：

对于非零向量，当向量$\mathbf{\upsilon }$垂直向量$\mathbf{\omega }$时，它们的点积为零，即：
$$\mathbf{\upsilon }\cdot \mathbf{\omega }=0$$
可结合勾股定理进行证明。
向量夹角
设向量$\mathbf{\upsilon }$和向量$\mathbf{\omega }$的夹角为$\theta$，当$\mathbf{\upsilon }\cdot \mathbf{\omega }!=0$时，会有：
$$\{\begin{array}{cc}\theta <90^{\circ },& \mathbf{\upsilon }\cdot \mathbf{\omega }>0\\ \theta >90^{\circ },& \mathbf{\upsilon }\cdot \mathbf{\omega }<0\end{array}$$
除此之外，两个单位向量的点乘也表示两个向量夹角$\theta$的$cosine$余弦值：
$$\mathbf{u}\cdot \mathbf{U}=cos\theta ，\mathbf{u}\cdot \mathbf{U}\le 1$$

那么对于非单位向量的向量$\mathbf{\upsilon }$和向量$\mathbf{\omega }$的夹角的余弦值应该怎么表示？
综上所述，应该为这两个向量对应的单位向量的点乘，即：
$$cos\theta =(\frac{\mathbf{\upsilon }}{\Vert \mathbf{\upsilon }\Vert })\cdot (\frac{\mathbf{\omega }}{\Vert \mathbf{\omega }\Vert })=\frac{\mathbf{\upsilon }\cdot \mathbf{\omega }}{\Vert \mathbf{\upsilon }\Vert \Vert \mathbf{\omega }\Vert }\le 1$$

由此可引出两个著名的不等式：
柯西-施瓦兹-布尼亚科夫斯基不等式$|\mathbf{\upsilon }\cdot \mathbf{\omega }|\le \Vert \mathbf{\upsilon }\Vert \Vert \mathbf{\omega }\Vert$
三角不等式：$\Vert \mathbf{\upsilon }+\mathbf{\omega }\Vert \le \Vert \mathbf{\upsilon }\Vert +\Vert \mathbf{\omega }\Vert$

3、矩阵

接下来，我们从向量过度到矩阵，用矩阵表示线性组合。前面介绍了向量之间的运算，那么当一个矩阵乘以一个向量应如何去理解呢？
首先给定三个向量：
$$\mathbf{u}=\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right],\mathbf{\upsilon }=\left[\begin{array}{c}0\\ 1\\ -1\end{array}\right],\mathbf{\omega }=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right].$$
则这三个三维向量的线性组合为：$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }$，即：
$$x_1\left[\begin{array}{c}1\\ -1\\ 0\end{array}\right]+x_2\left[\begin{array}{c}0\\ 1\\ -1\end{array}\right]+x_3\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_2-x_1\\ x_3-x_2\end{array}\right]$$
那么用矩阵重写上面的线性组合为：
$$A\mathbf{x}=\left[\begin{array}{ccc}1& 0& 0\\ -1& 1& 0\\ 0& -1& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_2-x_1\\ x_3-x_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]=\mathbf{b}$$
从以上两式可以看出，矩阵A乘以向量$\mathbf{x}$等同于矩阵$A$的三个列向量的线性组合$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }$，即$A\mathbf{x}$的结果就是矩阵A的各列的线性组合。

此外，我们也可以使用行的点乘来计算$A\mathbf{x}$：
$$A\mathbf{x}=\left[\begin{array}{ccc}1& 0& 0\\ -1& 1& 0\\ 0& -1& 1\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}(1,0,0)\cdot (x_1,x_2,x_3)\\ (-1,1,0)\cdot (x_1,x_2,x_3)\\ (0,-1,1)\cdot (x_1,x_2,x_3)\end{array}\right]=\left[\begin{array}{c}{x}_1\\ x_2-x_1\\ x_3-x_2\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]=\mathbf{b}$$
线性等式
前面我们是已知$x_1,x_2,x_3$，来计算等号右侧的$\mathbf{b}$，那么，如果已知等号右侧的$\mathbf{b}$，如何来求$\mathbf{x}$呢？
旧问题： 计算线性组合$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }$为了得出$\mathbf{b}$；
新问题：$\mathbf{u},\mathbf{\upsilon },\mathbf{\omega }$的哪种组合可以生成指定的$\mathbf{b}$。

很明显，这是一个互逆的问题。将等式$A\mathbf{x}=\mathbf{b}$改写成我们熟悉的方程式组为：
$$\{\begin{array}{llcccccc}{x}_1& & & & & =& b_1& \\ -x_1& +& x_2& & & =& b_2& \\ & -& x_2& +& x_3& =& b_3& \end{array}$$
可轻易对该方程组求解：
$$\{\begin{array}{llccccc}{x}_1=& b_1& & & & & \\ x_2=& b_1& +& b_2& & & \\ x_3=& b_1& +& b_2& +& b_3& \end{array}$$
写成矩阵形式为：$\mathbf{x}=A^{-1}\mathbf{b}$，我们将$A^{-1}$称作$A$的逆矩阵，此时的$A$为可逆矩阵。

多个向量的独立和非独立性

如上图所示，左右两个坐标系里向量$\mathbf{u}、\mathbf{\upsilon }$是一样的，这两个向量的线性组合构成一个同样的二维平面，关键问题是第三个向量是否在这个平面里：
独立性：$\mathbf{\omega }$不在$\mathbf{u}、\mathbf{\upsilon }$构成的平面中，即：
只有当$x_1=0,x_2=0、x_3=0$时，才满足等式$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3\mathbf{\omega }=0$
如果矩阵$A$的列是独立的，则$A\mathbf{x}=0$只有一个解，$A$被称作可逆矩阵（非奇异矩阵）。
非独立性：${\mathbf{\omega }}^{\ast }$在$\mathbf{u}、\mathbf{\upsilon }$构成的平面中，即：
存在多组$x_1,x_2,x_3$，满足$x_1\mathbf{u}+x_2\mathbf{\upsilon }+x_3{\mathbf{\omega }}^{\ast }=0$
如果矩阵$C$的列是非独立的，则$C\mathbf{x}=0$存在多个解，矩阵$C$被称作奇异矩阵。

4、参考

[1] Introduction Linear Algebra，Fifth Edition，Giibert Strang.