距离与范数

本章主要首先介绍距离空间的概念、性质。在此基础上介绍范数以及赋范线性空间、Hilbert空间的概念与性质。并介绍向量空间、矩阵空间上的一些范数，进一步引入矩阵谱半径、条件数的概念以及其相关应用。

§1 范数与赋范空间，内积与向量范数 §2 矩阵范数* §3 矩阵的谱半径、矩阵的条件数及应用#

• 1.范数与赋范空间。从距离概念开始引入范数的概念，进一步引入赋范空间并介绍赋范空间的一些性质。
• 2.Hilbert空间、正交系。本节主要介绍一类特殊的线性赋范空间——Hilbert空间，该空间上范数是有内积诱导的。并介绍Hilbert空间上的标准正交系以及标准正交系下的元素坐标表示。
• 3.向量范数、矩阵范数。本节主要介绍n维向量空间、n维矩阵空间上的一些范数，以及各类范数之间的关系。
• 4.矩阵谱半径。本节主要介绍矩阵谱半径的概念，以及矩阵级数的敛散性与谱半径的关系。
• 5.矩阵条件数。本节主要介绍矩阵条件数的概念，以及矩阵条件数在误差估计中的应用。

距离与距离空间

根据距离去定义极限，完备性

线性空间，范数，赋范线性空间，完备的赋范线性空间空间，Banach空间

向量与矩阵范数，酉矩阵，算子范数，谱范数，相容性

矩阵的谱半径，矩阵序列、矩阵级数，矩阵的条件数

距离和距离空间

抽象数学把集合叫做空间，从一个啥也不是的集合，到有优秀性质的空间，中间还有一些概念需要解决。

从欧几里得距离，抽象出距离的概念，定义了距离的集合就是距离空间。

微积分是高等算术，用来计算各种曲线、曲面，微积分是以极限为基础的，而极限就是在表达两个东西的距离足够近。

因此定义了距离，就可以把微积分里的极限模拟到抽象距离空间里。

有了极限就可以去谈收敛的问题，微分、积分都是在极限存在(收敛)下的一个极限表达式的记号。在集合上一个点列有可能收敛到集合外去，这就引出了空间的完备问题。任意 Cauchy 列在空间内收敛，就称空间完备。

范数

距离是衡量两个元素之间的关系。范数是单个元素的性质。

范数模拟了几何里长度的概念。定义了范数的线性空间称为赋范线性空间。一个线性空间如果定义了范数，那么可以利用范数来简介衡量两个元素的距离。

完备的赋范线性空间空间称为 Banach 空间。

范数有很多种，因此有了范数等价问题。范数等价保证了向量序列的收敛性与范数选取无关。

什么是长度？欧式长度是一个范数。

向量范数

$$x=[x_1,x_2,\cdots ,x_n{]}^T\in {\mathbb{C}}^n$$

• 1范数 $\Vert \mathit{x}{\Vert }_1={\mathrm{\Sigma }}_{k=1}^n|x_k|$
• 2范数 $\Vert \mathit{x}{\Vert }_2=\sqrt{{\mathrm{\Sigma }}_{k=1}^n|x_k{|}^2}=\sqrt{{\mathit{x}}^H\mathit{x}}$
• ∞范数 $\Vert \mathit{x}{\Vert }_{\mathrm{\infty }}=max|x_i|$
• p范数

$$\Vert \mathit{x}{\Vert }_p={[\sum _{i=1}^n|x_i{|}^p]}^{\frac{1}{p}}$$

矩阵范数

向量是个 $n\times 1$ 矩阵，把向量范数推广一下，可以直接定义出矩阵范数：满足一些条件的一个映射 $\Vert \cdot \Vert :{\mathbb{C}}^{n\times n}\to \mathbb{R}$。

一些直接定义出来的范数的例子：

• $m1$ 范数 $\Vert \mathit{A}{\Vert }_{m_1}=\mathrm{\Sigma }\mathrm{\Sigma }|a_{ij}|$
• $F$ 范数 $\Vert \mathit{A}{\Vert }_F=\sqrt{\mathrm{\Sigma }\mathrm{\Sigma }|a_{ij}{|}^2}$
• $m\mathrm{\infty }$ 范数 $\Vert \mathit{A}{\Vert }_{m_{\mathrm{\infty }}}=nmax|a_{ij}|$

F范数的酉不变性

矩阵范数和向量范数的相容性

相容的代数定义：向量 $\mathit{x}\in {\mathbb{C}}^n$，矩阵 $\mathit{A}\in {\mathbb{C}}^{n\times n}$，若 $\Vert \mathit{A}\mathit{x}{\Vert }_a\le \Vert \mathit{A}{\Vert }_m\Vert \mathit{x}{\Vert }_a$ 则称 向量函数 和矩阵范数相容。

其含义为向量 $\mathit{x}$ 的长度为 $\Vert \mathit{x}{\Vert }_a$ 。矩阵 $\mathit{A}$ 作用后的新向量为 $\mathit{A}\mathit{x}$ ，其长度为 $\Vert \mathit{A}\mathit{x}{\Vert }_a$

空间里任一向量变换后的长度都在一个确定的有界范围内。

这个矩阵范数是存在的，并且有

$$\frac{\Vert \mathit{A}\mathit{x}{\Vert }_a}{\Vert \mathit{x}{\Vert }_a}\le \Vert \mathit{A}{\Vert }_m$$

算子范数

如何找出上面这个范数呢？既然是任意向量，那么就找个特殊的 $\Vert \mathit{x}\Vert =1$

$$\Vert \mathit{A}\mathit{x}{\Vert }_a\le \Vert \mathit{A}{\Vert }_m$$

大于左边最大的就行。找个最小的上界，令做一个范数：

$$\Vert \mathit{A}{\Vert }_m=\underset{\Vert \mathit{x}\Vert =1}{max}\Vert \mathit{A}\mathit{x}\Vert$$

这个范数是由向量导出的范数，诱导范数。矩阵也是个算子，更好听的名字：算子范数。

一些算子范数

• $\Vert \mathit{A}{\Vert }_1=\underset{j}{max}\sum _{i=1}^n|a_{ij}|$ 极大列和范数
• $\Vert \mathit{A}{\Vert }_2=\sqrt{{\lambda }_1}$ 谱范数
• $\Vert \mathit{A}{\Vert }_{\mathrm{\infty }}=\underset{i}{max}\sum _{i=1}^n|a_{ij}|$ 极大行和范数

任何向量范数都存在相容的矩阵范数。

谱范数

矩阵谱半径

矩阵级数

矩阵的条件数

对于矩阵方程 $\mathit{A}\mathit{x}=\mathit{b}$ ，如果对系数矩阵有一个小的扰动 $\delta \mathit{A}$ ，使得解 $\mathit{x}$ 只有小的扰动，那么这个矩阵性质比较好，称为"良态"的。

条件数就是衡量误差(即 $\delta \mathit{A}$ )经过矩阵 $\mathit{A}$ 之后，扩大为 $\mathit{x}$ 误差的程度。

举个例子原矩阵方程 $\mathit{A}\mathit{x}=\mathit{b}$ ，系数矩阵和常向量都有小扰动为 $\delta \mathit{A}$ ，$\delta \mathit{b}$，方程变为

$$(\mathit{A}+\delta \mathit{A})\hat{\mathit{x}}=\mathit{b}+\delta \mathit{b}$$

衡量解的相对误差：

$$\frac{\Vert \mathit{x}-\hat{\mathit{x}}\Vert }{\Vert \mathit{x}\Vert }\le \frac{\text{cond}(\mathit{A})}{1-\text{cond}(\mathit{A})\frac{\Vert \delta \mathit{A}\Vert }{\Vert \mathit{A}\Vert }}(\frac{\Vert \delta \mathit{A}\Vert }{\Vert \mathit{A}\Vert }+\frac{\Vert \delta \mathit{b}\Vert }{\Vert \mathit{b}\Vert })$$

对于求矩阵的 ${\mathit{A}}^{-1}$，也会有误差，衡量公式

$$\frac{\Vert {\mathit{A}}^{-1}-(\mathit{A}+\delta \mathit{A}{)}^{-1}\Vert }{\Vert {\mathit{A}}^{-1}\Vert }\le \frac{\text{cond}(\mathit{A})}{1-\text{cond}(\mathit{A})\frac{\Vert \delta \mathit{A}\Vert }{\Vert \mathit{A}\Vert }}$$

里面的 $\text{cond}(\mathit{A})$ 就是条件数，计算方法

$$\text{cond}(\mathit{A})=\Vert \mathit{A}\Vert \Vert {\mathit{A}}^{-1}\Vert$$