矩阵分解指的是将复杂的矩阵分解成比较简单的矩阵的乘积的形式。在数值代数、矩阵论和最优化应用。
三角分解：
矩阵的三角分解：将一个方阵
A
\pmb{A}
AA分解成一个下三角阵
L
\pmb{L}
LL和一个上三角矩阵
R
\pmb{R}
RR的乘积，即
A
=
L
R
\pmb{A}=\pmb{L}\pmb{R}
AA=LLRR。
充分必要条件：
A
\pmb{A}
AA的各阶顺序主子阵可逆。
分解的方法：只需要对矩阵
(
A
,
E
)
(\pmb{A},\pmb{E})
(AA,EE)初等变换成上下三角的形式，就可以得到上三角和下三角矩阵。
满秩分解：
满秩矩阵：矩阵
A
\pmb{A}
AA的行(列)向量线性无关，则称
A
\pmb{A}
AA是行(列)满秩矩阵。
满秩分解：设
A
\pmb{A}
AA是
m
×
n
m\times n
m×n阵，
A
\pmb{A}
AA的秩
r
r
r，则存在
m
×
r
m\times r
m×r列满秩矩阵
F
\pmb{F}
FF和
r
×
n
r\times n
r×n行满秩矩阵
G
\pmb{G}
GG，使得
A
=
F
G
\pmb{A}=\pmb{F} \pmb{G}
AA=FFGG。
分解的方法：将矩阵
A
\pmb{A}
AA使用初等变换化成阶梯形，然后根据行和列的线性无关组构造出列满秩和行满秩矩阵。
正交满秩分解定理：设
A
\pmb{A}
AA是
m
×
n
m\times n
m×n阶实矩阵，
A
\pmb{A}
AA的秩是
r
r
r，则存在
m
×
r
m\times r
m×r列正交矩阵
W
\pmb{W}
WW和行满秩的
r
×
n
r \times n
r×n阵
R
\pmb{R}
RR，使得
A
=
W
R
\pmb{A}=\pmb{W}\pmb{R}
AA=WWRR。其中
W
\pmb{W}
WW满足
W
T
W
=
E
r
\pmb{W}^T\pmb{W}=\pmb{E}_r
WWTWW=EEr。
谱分解：
矩阵的谱分解：若
A
\pmb{A}
AA可对角化，即存在可逆矩阵
P
\pmb{P}
PP，使得
P
−
1
A
P
=
d
i
a
g
{
λ
1
,
λ
1
,
⋯
,
λ
n
}
\pmb{P}^{-1}\pmb{A}\pmb{P}=diag\{\lambda_1, \lambda_1,\cdots,\lambda_n\}
PP−1AAPP=diag{λ1,λ1,⋯,λn}，其中的
{
λ
1
,
λ
1
,
⋯
,
λ
n
}
\{\lambda_1, \lambda_1,\cdots,\lambda_n\}
{λ1,λ1,⋯,λn}是矩阵的特征值。设
P
=
(
α
1
,
α
2
,
⋯
,
α
n
)
,
P
−
1
=
(
β
1
,
β
2
,
⋯
,
β
n
)
T
\pmb{P}=(\alpha_1,\alpha_2,\cdots,\alpha_n),\! \pmb{P}^{-1}=(\beta_1,\beta_2,\cdots,\beta_n)^T
PP=(α1,α2,⋯,αn),PP−1=(β1,β2,⋯,βn)T.则：
A
=
∑
i
=
1
n
λ
i
α
i
β
i
T
\pmb{A}=\sum_{i=1}^n\lambda_i\pmb{\alpha}_i\pmb{\beta}_i^T
AA=i=1∑nλiααiββiT
矩阵谱分解的必要条件：矩阵可对角化。
分解的方法：求
A
\pmb{A}
AA的特征值和特征向量，特征向量组成的矩阵求逆。
奇异值分解：
奇异值分解：设
A
\pmb{A}
AA是
m
×
n
m\times n
m×n的实矩阵，半正定矩阵
A
T
A
\pmb{A}^T\pmb{A}
AATAA的n个特征值是
λ
1
,
λ
2
,
⋯
,
λ
n
\lambda_1, \lambda_2,\cdots,\lambda_n
λ1,λ2,⋯,λn。显然
λ
i
≥
0
\lambda_i\geq 0
λi≥0.称
σ
i
=
λ
i
,
(
i
=
1
,
2
,
⋯
,
n
)
\sigma_i=\sqrt{\lambda_i},(i=1,2,\cdots,n)
σi=λi,(i=1,2,⋯,n)是矩阵的奇异值。设奇异值中有
r
r
r个不等于0，记作
σ
1
≥
σ
2
≥
⋯
≥
σ
r
>
0
\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r > 0
σ1≥σ2≥⋯≥σr>0,并且设矩阵
D
=
d
i
a
g
{
σ
1
,
σ
2
,
⋯
,
σ
r
}
\pmb{D}=diag\{\sigma_1,\sigma_2,\cdots,\sigma_r \}
DD=diag{σ1,σ2,⋯,σr}。令
m
×
n
m \times n
m×n阶矩阵
Σ
\Sigma
Σ :
Σ
=
[
D
O
O
O
]
\pmb{\Sigma}=\begin{bmatrix} \pmb{D} & \pmb{O} \\ \pmb{O} & \pmb{O}\end{bmatrix}
ΣΣ=[DDOOOOOO]
则存在正交矩阵
U
\pmb{U}
UU和
V
\pmb{V}
VV:
A
=
U
Σ
V
T
\pmb{A}=\pmb{U}\pmb{\Sigma}\pmb{V}^T
AA=UUΣΣVVT
分解方法：求
A
T
A
\pmb{A}^T\pmb{A}
AATAA的特征值和特征向量。由特征值求奇异值，由特征向量单位正交化求得
V
\pmb{V}
VV，再由
D
\pmb{D}
DD和
V
\pmb{V}
VV求得
D
\pmb{D}
DD。
（奇异值分解在统计学、信号处理、图像压缩、AI有很多应用）