线性代数基础

1. 行列式#

行列式 $det(A)$ ，是一个将方阵 $A$ 映射到实数的函数。
几何意义：行列式是有向面积或体积的概念在欧几里得空间中的推广，它描述了一个线性变换对“体积”的影响。
计算方法：行列式等于它任意一行（列）的各元素与其对应的代数余子式乘积之和。行列式和矩阵特征值的关系：行列式等于矩阵特征值的乘积。

2. 行列式的余子式#

余子式： $n$ 阶行列式中，划去 $a_{ij}$ 所在的第 $i$ 行与第 $j$ 列的元，剩下的元所构成的 $n-1$ 阶行列式称为 $a_{ij}$ 的余子式。
代数余子式：在余子式前面乘上 $(-1)^{i + j}$ 。

3. 矩阵的子式（一个数）#

从矩阵中选取若干行和相同数量的列，取它们交叉位置上的元素组成一个方阵，再计算这个方阵的行列式。
$k$ 阶子式：在矩阵中取 $k$ 行 $k$ 列得到的子式。

4. 矩阵的秩#

子式角度：矩阵的秩是非零子式的最高阶数。
线性无关角度：矩阵最大线性无关行向量的个数。标准型角度：先将矩阵转化为行阶梯型，其非零行个数就是矩阵的秩。

满秩：矩阵中独立的信息数量已经达到了它能达到的最大值。
对 $m × n$ 矩阵来说：
$m>n$ ：满秩意味着秩为 $n$ ，称为列满秩，所有列向量线性无关。
$m<n$ ：满秩意味着秩为 $m$ ，称为行满秩，所有行向量线性无关。
$m=n$ ：满秩意味着秩为 $n$ ，此时所有行和列都线性无关。

对于 n 阶方阵，下面几件事是等价的：

A\text{ 满秩} \Longleftrightarrow \operatorname{rank}(A)=n \Longleftrightarrow |A|\neq0 \Longleftrightarrow A\text{ 可逆}

5. 矩阵的迹#

方阵 A 的迹：对角线元素之和。

6. 线性方程组解的情况#

齐次线性方程组 $AX=0$ ：

$r(A)=n$ ，有唯一零解；
$r(A)<n$ ，有无穷多解。

非齐次线性方程组 $AX=b$ ：

$r(A)\neq r([A,b])$ ，无解；
$r(A)=r([A,b])=n$ ，有唯一解；
$r(A)=r([A,b])<n$ ，有无穷多解。

7. 方阵可逆的充要条件#

1.方阵 $A$ 可逆。

2. $A$ 是非奇异矩阵（ $|A|\neq 0$ ）。

3. $A$ 满秩。

4. $A$ 可以表示成有限个初等矩阵的乘积。

5.特征值没有 $0$ 。

6.矩阵行向量/列向量线性无关。

8. 线性空间#

线性空间：若非空集合 $V$ 上满足加法封闭性和乘法封闭性，并且还满足以下 8 条性质：加法交换律、加法结合律、加法零元、加法逆元、数乘幺元、数乘结合律、数乘分配律（2个），则称集合 $V$ 是线性空间。

9. 向量空间的基和维数#

基：在向量空间 $V$ 中可以找到可以找到一组线性无关向量，并且它们可以张成整个空间，并且线性空间 $V$ 中的任意一个向量都和这 $n$ 个向量线性相关，那么这 $n$ 个向量就称作线性空间 $V$ 的一个基。

维数：基中所含向量个数。

10. 矩阵的特征值和特征向量#

矩阵就是一个线性变换，它作用于特征向量后，向量方向保持不变（不发生旋转变换），进行某一比例的伸缩变换，这个比例就是特征值，即

AX=\lambda X

其中 $X$ 是 $A$ 的特征向量， $\lambda$ 是 $A$ 的特征值。

一个特征值可能对应多个特征向量，一个特征向量只能属于一个特征值。

属于不同特征值的特征向量一定线性无关。

设 $λ$ 是 $n$ 阶方阵 $A$ 的一个 $k$ 重特征值（ $λ$ 为特征方程的 $k$ 重根），对应于 $λ$ 的线性无关的特征向量的最大个数为 $l$ ，则 $k ≥ l$ ，即特征值 $λ$ 的代数重数不小于几何重数。

11. 正交矩阵#

A\text{ 是正交矩阵} \Longleftrightarrow A^TA = E \Longleftrightarrow A^T = A^{-1} \Longleftrightarrow A\text{ 的各列向量是标准正交向量组}

正交矩阵可能是旋转矩阵（ $det(A) = 1$ ）或反射矩阵（ $det(A) = -1$ ）。

12. 相似矩阵#

对于两个矩阵 $A$ ， $B$ ，如果存在一个可逆矩阵 $P$ ，使得

P^{-1}AP = B

那么矩阵 $A$ 相似于矩阵 $B$ 。
意义：相似的矩阵是同一个线性变换在不同基/坐标系下的的不同描述。
性质：两个相似的矩阵具有相同的秩、迹、行列式、特征值，但特征向量未必相同。
补充：实对称矩阵有相同的特征值则必相似。因为实对称矩阵可对角化，对角化后对角上就是特征值。

13. 合同矩阵#

若存在可逆矩阵 $P$ ，使得矩阵 $B$ 满足

B=P^TAP

则称矩阵 $A$ 与矩阵 $B$ 合同，记作 $A\sim B$ 。

合同关系主要用于研究二次型在变量替换下的不变性质。

14. 正定矩阵#

对于实对称矩阵 $A\in\mathbb{R}^{n\times n}$ ，如果对于任意非零向量 $x$ ，都有：

x^TAx>0

则称矩阵 $A$ 为正定矩阵。

其中， $x^TAx$ 称为矩阵 $A$ 对应的二次型。正定矩阵表示该二次型始终为正。

正定矩阵的等价条件#

对于实对称矩阵 $A$ ，以下条件等价：

A\text{ 正定} \Longleftrightarrow x^TAx>0,\ \forall x\neq0

\Longleftrightarrow A\text{ 的所有特征值均大于 }0

\Longleftrightarrow A\text{ 的所有顺序主子式均大于 }0

\Longleftrightarrow A\text{ 可逆且所有特征值为正}

正定矩阵的性质#

所有特征值均为正数：

\lambda_i(A)>0

行列式大于 $0$ ：

|A|>0

矩阵一定可逆：

A^{-1}\text{ 存在}

可以进行 Cholesky 分解：

A=LL^T

其中 $L$ 为下三角矩阵。

正定矩阵可以通过合同变换化为单位矩阵：

A=P^TIP

其中 $P$ 为可逆矩阵。

几何意义#

正定矩阵对应的二次型：

f(x)=x^TAx

构成一个开口向上的椭球面，不存在负方向，因此正定矩阵常用于描述稳定的能量函数、损失函数以及优化问题中的凸性。

15. 特征值分解#

对于方阵 $A$ ，若存在可逆矩阵 $P$ 和对角矩阵 $\Lambda$ ，使得

A=P\Lambda P^{-1}

则称矩阵 $A$ 可以进行特征值分解。

其中， $\Lambda$ 的对角元素为矩阵 $A$ 的特征值，矩阵 $P$ 的列向量为对应的特征向量。

对于实对称矩阵，特征值分解可进一步表示为：

A=Q\Lambda Q^T

其中 $Q$ 为正交矩阵。

16. 奇异值分解#

对于任意矩阵：

A\in\mathbb{R}^{m\times n}

都可以分解为：

A=U\Sigma V^T

其中：

$U$ 为 $m\times m$ 的正交矩阵，其列向量称为左奇异向量；
$V$ 为 $n\times n$ 的正交矩阵，其列向量称为右奇异向量；
$\Sigma$ 为 $m\times n$ 的对角矩阵，对角元素称为奇异值：

\sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r>0

SVD 的求法#

SVD 可以通过 $A^TA$ 的特征值分解得到：

A^TA=V\Lambda V^T

其中：

$V$ 的列向量为右奇异向量；
$\Lambda$ 的特征值为 $\lambda_i$ 。

奇异值为：

\sigma_i=\sqrt{\lambda_i}

得到：

\Sigma=\sqrt{\Lambda}

再由：

U=AV\Sigma^{-1}

求得左奇异向量，最终得到：

A=U\Sigma V^T

几何意义#

SVD 表示矩阵对应的线性变换可以分解为：

\text{旋转}\rightarrow\text{缩放}\rightarrow\text{旋转}

其中奇异值表示矩阵在不同方向上的伸缩程度。

应用#

SVD 具有良好的数值稳定性，常用于：矩阵降维（PCA）、数据压缩、图像处理、推荐系统、机器学习中的特征提取。