《矩阵论》学习笔记(二):第二章 范数理论及其应用
- 研究范数的意义:
把一个向量/矩阵与一个非负实数相联系,这个实数可看做是对此向量/矩阵大小的一种度量。
向量范数和矩阵范数就是这样的实数,对研究数值方法的收敛性和误差估计等方面有重要意义。
文章目录
一、向量范数及其性质
1.1. 向量范数提出的目的
对欧氏空间和酉空间存在向量的长度,那么如何对一般的线性空间中向量长度进行度量 ?
— 向量范数
定义不同种范数函数,求得的向量长度不同。
1.2. 向量范数的定义
满足非负性、齐次性、三角不等式三个条件。
1.3. 向量范数的等价性
- 有限维线性空间上,不同范数是等价的。
c
1
∣
∣
x
⃗
∣
∣
β
≤
∣
∣
x
⃗
∣
∣
α
≤
c
2
∣
∣
x
⃗
∣
∣
β
c_1||\vec x||_{\beta}≤||\vec x||_{\alpha}≤c_2||\vec x||_{\beta}
c1∣∣x∣∣β≤∣∣x∣∣α≤c2∣∣x∣∣β
1.4. 几种常见的向量范数
范数类型 | 常见的向量范数 |
---|---|
p-范数 | 1-范数、2-范数、无穷范数 |
椭圆范数/加权范数 | … |
1.5. 线性空间下的向量范数
线性空间
V
n
V^n
Vn下的向量范数是对向量空间
C
n
C^n
Cn下向量范数概念的推广。
借助线性空间
V
n
V^n
Vn中的一组基,可以将向量空间
C
n
C^n
Cn下向量范数转化为线性空间
V
n
V^n
Vn下的向量范数。
∣
∣
x
⃗
∣
∣
p
=
∣
∣
α
⃗
∣
∣
p
||\vec x||_p=||\vec \alpha||_p
∣∣x∣∣p=∣∣α∣∣p
其中,α
\alpha
α是
x
⃗
\vec x
x在线性空间
V
n
V^n
Vn的一组基
x
⃗
1
、
x
⃗
2
、
.
.
.
、
x
⃗
n
\vec x_1、\vec x_2、…、\vec x_n
x1、x2、...、xn的坐标向量
α
=
(
μ
1
、
μ
2
、
.
.
.
、
μ
n
)
T
\alpha=(\mu_1、\mu_2、…、\mu_n)^T
α=(μ1、μ2、...、μn)T
1.6. 向量范数的应用:向量序列收敛性
不同向量范数可能具有不同的大小,但在各种向量范数下考虑向量序列的收敛性问题时,却表现出一致的收敛性。
- 向量序列
x
⃗
(
k
)
{\vec x^{(k)}}
x
⃗
(
k
)
→
x
⃗
⟺
\vec x^{(k)}\to\vec x \Longleftrightarrow
x(k)→x⟺
∣
∣
x
⃗
(
k
)
−
x
⃗
∣
∣
→
0
||\vec x^{(k)}-\vec x||\to0
∣∣x(k)−x∣∣→0
二、矩阵范数及其性质
2.1. 矩阵范数提出的目的
- 线性空间中的矩阵A(mxn)可以看做是向量,但是只有向量范数是不足够的,因为矩阵比向量多出矩阵与矩阵的乘法这一运算。所以要为矩阵范数是比向量范数要求更高的一种度量。
- 矩阵范数也是多种多样的。
2.2. 矩阵范数的定义与性质
- 满足非负性、齐次性、三角不等式和相容性—>矩阵范数;
- 只满足前三个条件—>广义矩阵范数。
2.3. 矩阵范数的等价性
- Frobenius范数:
∣
∣
A
∣
∣
F
=
(
∑
i
=
1
m
∑
j
=
1
n
∣
a
i
j
∣
2
)
1
/
2
=
(
t
r
(
A
H
A
)
)
1
/
2
||A||_F = (\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2)^{1/2} =(tr(A^HA))^{1/2}
∣∣A∣∣F=(i=1∑mj=1∑n∣aij∣2)1/2=(tr(AHA))1/2
- 矩阵范数的等价性:
和A酉(正交)相似的矩阵的F-范数是等价的。
2.4. 矩阵范数定义向量范数
- 为什么关心矩阵范数和向量范数的关系?
矩阵可以用来表达线性空间下的某种线性变换。矩阵常常与向量混合一起使用。
引出: - 1、什么是矩阵范数与向量范数的相容?
∣
∣
A
x
⃗
∣
∣
V
≤
∣
∣
A
∣
∣
M
∣
∣
x
⃗
∣
∣
V
||A\vec x||_V≤||A||_M||\vec x||_V
∣∣Ax∣∣V≤∣∣A∣∣M∣∣x∣∣V
- 2、矩阵范数定义向量范数:
∣
∣
x
⃗
∣
∣
V
=
∣
∣
x
⃗
∗
y
⃗
H
∣
∣
M
||\vec x||_V=||\vec x *\vec y^H||_M
∣∣x∣∣V=∣∣x∗yH∣∣M
任意一个矩阵范数,都能构造与之对应的向量范数,不唯一。
2.5. 向量范数导出矩阵范数(从属范数)
- 从属范数:
由向量范数导出的矩阵范数。满足:
∣
∣
A
∣
∣
=
m
a
x
∣
∣
x
⃗
∣
∣
=
1
∣
∣
A
x
⃗
∣
∣
||A||=max_{||\vec x||=1}||A\vec x||
∣∣A∣∣=max∣∣x∣∣=1∣∣Ax∣∣
有什么样的向量范数就有什么样的矩阵范数。
根据定义,从而引出了:
列和范数、谱范数、行和范数。
2.6. 几种常见的矩阵范数
1、从属范数:
向量范数 | 从属范数 |
---|---|
1-范数 | 列和范数 |
2-范数 | 谱范数 |
无穷-范数 | 行和范数 |
2、Frobenius范数.
3、m范数:
m范数 | m1-范数 m2-范数 m无穷-范数 |
---|
三、范数的一些应用
- 矩阵的可逆性/非奇异条件
设A∈
C
n
∗
n
C^{n*n}
Cn∗n,且对
C
n
∗
n
C^{n*n}
Cn∗n上的某种矩阵范数||.||,有||A||<1,则可得:
- 矩阵
(
I
−
A
)
(I-A)
(I−A)可逆;
∣
∣
I
−
A
∣
∣
−
1
≤
∣
∣
I
∣
∣
1
−
∣
∣
A
∣
∣
||I-A||^{-1}≤ \frac{||I||}{1-||A||}
∣∣I−A∣∣−1≤1−∣∣A∣∣∣∣I∣∣.
-
近似逆矩阵的误差—逆矩阵的摄动
-
矩阵的谱半径及其性质
定义:
设A∈
C
n
∗
n
C^{n*n}
Cn∗n的所有特征值为
λ
1
,
λ
2
,
.
.
.
λ
n
\lambda_1,\lambda_2,…\lambda_n
λ1,λ2,...λn,则定义:
ρ
(
A
)
=
m
a
x
i
∣
λ
i
∣
\rho(A)=max_i|\lambda_i|
ρ(A)=maxi∣λi∣.
ρ
(
A
)
\rho(A)
ρ(A)称作A的谱半径。
性质:
1、设A∈
C
n
∗
n
C^{n*n}
Cn∗n,则对
C
n
∗
n
C^{n*n}
Cn∗n上的任意一矩阵范数||.||,都有:
ρ
(
A
)
≤
∣
∣
A
∣
∣
\rho(A)≤||A||
ρ(A)≤∣∣A∣∣.
2、设A∈
C
n
∗
n
C^{n*n}
Cn∗n,则对任意整数
ε
\varepsilon
ε,存在某种矩阵范数
∣
∣
.
∣
∣
M
||.||_M
∣∣.∣∣M,使得:
∣
∣
A
∣
∣
M
≤
ρ
(
A
)
+
ε
||A||_M≤\rho(A)+\varepsilon
∣∣A∣∣M≤ρ(A)+ε.
也即此时:ρ
(
A
)
≤
∣
∣
A
∣
∣
M
≤
ρ
(
A
)
+
ε
\rho(A)≤||A||_M≤\rho(A)+\varepsilon
ρ(A)≤∣∣A∣∣M≤ρ(A)+ε.
这是几个常用的结论。