距离与范数
本章主要首先介绍距离空间的概念、性质。在此基础上介绍范数以及赋范线性空间、Hilbert空间的概念与性质。并介绍向量空间、矩阵空间上的一些范数，进一步引入矩阵谱半径、条件数的概念以及其相关应用。
§1 范数与赋范空间，内积与向量范数 §2 矩阵范数* §3 矩阵的谱半径、矩阵的条件数及应用#
- 1.范数与赋范空间。从距离概念开始引入范数的概念，进一步引入赋范空间并介绍赋范空间的一些性质。
- 2.Hilbert空间、正交系。本节主要介绍一类特殊的线性赋范空间——Hilbert空间，该空间上范数是有内积诱导的。并介绍Hilbert空间上的标准正交系以及标准正交系下的元素坐标表示。
- 3.向量范数、矩阵范数。本节主要介绍n维向量空间、n维矩阵空间上的一些范数，以及各类范数之间的关系。
- 4.矩阵谱半径。本节主要介绍矩阵谱半径的概念，以及矩阵级数的敛散性与谱半径的关系。
- 5.矩阵条件数。本节主要介绍矩阵条件数的概念，以及矩阵条件数在误差估计中的应用。
距离与距离空间
根据距离去定义极限，完备性
线性空间，范数，赋范线性空间，完备的赋范线性空间空间，Banach空间
向量与矩阵范数，酉矩阵，算子范数，谱范数，相容性
矩阵的谱半径，矩阵序列、矩阵级数，矩阵的条件数
距离和距离空间
抽象数学把集合叫做空间，从一个啥也不是的集合，到有优秀性质的空间，中间还有一些概念需要解决。
从欧几里得距离，抽象出距离的概念，定义了距离的集合就是距离空间。
微积分是高等算术，用来计算各种曲线、曲面，微积分是以极限为基础的，而极限就是在表达两个东西的距离足够近。
因此定义了距离，就可以把微积分里的极限模拟到抽象距离空间里。
有了极限就可以去谈收敛的问题，微分、积分都是在极限存在(收敛)下的一个极限表达式的记号。在集合上一个点列有可能收敛到集合外去，这就引出了空间的完备问题。任意 Cauchy 列在空间内收敛，就称空间完备。
范数
距离是衡量两个元素之间的关系。范数是单个元素的性质。
范数模拟了几何里长度的概念。定义了范数的线性空间称为赋范线性空间。一个线性空间如果定义了范数，那么可以利用范数来简介衡量两个元素的距离。
完备的赋范线性空间空间称为 Banach 空间。
范数有很多种，因此有了范数等价问题。范数等价保证了向量序列的收敛性与范数选取无关。
什么是长度？欧式长度是一个范数。
在讨论范数的时候，就不再谈论抽象空间了。因为选定基后，抽象空间已经同构一个 \(\mathbb{C}^n\) 上的空间。因此讨论范数只考虑同构的 \(\mathbb{C}^n\) 或 \(\mathbb{R}^n\) 空间的范数即可。
因此也可以发现，范数的值是和坐标相关的。
向量范数
\[x = [ x_1, x_2, \cdots , x_n ]^T \in \mathbb{C}^n\]- 1范数 \(\Vert \boldsymbol{x} \Vert_1 = \Sigma_{k=1}^n \vert x_k \vert\)
- 2范数 \(\Vert \boldsymbol{x} \Vert_2 = \sqrt{\Sigma_{k=1}^n \vert x_k \vert^2 } = \sqrt{\boldsymbol{x}^H \boldsymbol{x}}\)
- ∞范数 \(\Vert \boldsymbol{x} \Vert_\infty = \max \vert x_i \vert\)
- p范数
矩阵范数
向量是个 \(n \times 1\) 矩阵，把向量范数推广一下，可以直接定义出矩阵范数：满足一些条件的一个映射 \(\Vert \centerdot \Vert : \mathbb{C}^{n \times n} \to \mathbb{R}\)。
一些直接定义出来的范数的例子：
- \(m1\) 范数 \(\Vert \boldsymbol{A} \Vert_{m_1} = \Sigma\Sigma \vert a_{ij} \vert\)
- \(F\) 范数 \(\Vert \boldsymbol{A} \Vert_{F} = \sqrt { \Sigma\Sigma \vert a_{ij} \vert^2 }\)
- \(m\infty\) 范数 \(\Vert \boldsymbol{A} \Vert_{m_\infty} = n \max \vert a_{ij} \vert\)
F范数的酉不变性
矩阵范数和向量范数的相容性
相容的代数定义：向量 \(\boldsymbol{x} \in \mathbb{C}^n\)，矩阵 \(\boldsymbol{A} \in \mathbb{C}^{ n \times n}\)，若 \(\Vert \boldsymbol{Ax} \Vert_a \le \Vert \boldsymbol{A} \Vert_m \Vert \boldsymbol{x} \Vert_a\) 则称 向量函数 和矩阵范数相容。
其含义为向量 \(\boldsymbol{x}\) 的长度为 \(\Vert \boldsymbol{x} \Vert_a\) 。矩阵 \(\boldsymbol{A}\) 作用后的新向量为 \(\boldsymbol{Ax}\) ，其长度为 \(\Vert \boldsymbol{Ax} \Vert_a\)
空间里任一向量变换后的长度都在一个确定的有界范围内。
这个矩阵范数是存在的，并且有
\[\frac{\Vert \boldsymbol{Ax} \Vert_a}{\Vert \boldsymbol{x} \Vert_a} \le \Vert \boldsymbol{A} \Vert_m\]算子范数
如何找出上面这个范数呢？既然是任意向量，那么就找个特殊的 \(\Vert \boldsymbol{x} \Vert = 1\)
\[\Vert \boldsymbol{Ax} \Vert_a \le \Vert \boldsymbol{A} \Vert_m\]大于左边最大的就行。找个最小的上界，令做一个范数：
\[\Vert \boldsymbol{A} \Vert_m = \max_{ \Vert \boldsymbol{x} \Vert = 1 } \Vert \boldsymbol{Ax} \Vert\]这个范数是由向量导出的范数，诱导范数。矩阵也是个算子，更好听的名字：算子范数。
一些算子范数
- \(\Vert \boldsymbol{A} \Vert_1 = \max_j \sum_{i=1}^n \vert a_{ij} \vert\) 极大列和范数
- \(\Vert \boldsymbol{A} \Vert_2 = \sqrt{\lambda_1}\) 谱范数
- \(\Vert \boldsymbol{A} \Vert_\infty = \max_i \sum_{i=1}^n \vert a_{ij} \vert\) 极大行和范数
任何向量范数都存在相容的矩阵范数。
谱范数
矩阵谱半径
矩阵级数
矩阵的条件数
对于矩阵方程 \(\boldsymbol{Ax} = \boldsymbol{b}\) ，如果对系数矩阵有一个小的扰动 \(\delta \boldsymbol{A}\) ，使得解 \(\boldsymbol{x}\) 只有小的扰动，那么这个矩阵性质比较好，称为"良态"的。
条件数就是衡量误差(即 \(\delta \boldsymbol{A}\) )经过矩阵 \(\boldsymbol{A}\) 之后，扩大为 \(\boldsymbol{x}\) 误差的程度。
举个例子原矩阵方程 \(\boldsymbol{Ax} = \boldsymbol{b}\) ，系数矩阵和常向量都有小扰动为 \(\delta \boldsymbol{A}\) ，\(\delta \boldsymbol{b}\)，方程变为
\[(\boldsymbol{A} + \delta \boldsymbol{A})\hat{\boldsymbol{x}} = \boldsymbol{b} + \delta\boldsymbol{b}\]衡量解的相对误差：
\[\frac{ \Vert \boldsymbol{x} - \hat{\boldsymbol{x}} \Vert }{ \Vert \boldsymbol{x} \Vert } \le \frac{ \text{cond} (\boldsymbol{A}) }{ 1 - \text{cond} (\boldsymbol{A}) \frac{ \Vert \delta \boldsymbol{A} \Vert }{ \Vert \boldsymbol{A} \Vert } } \left ( \frac{ \Vert \delta \boldsymbol{A} \Vert }{ \Vert \boldsymbol{A} \Vert } + \frac{ \Vert \delta \boldsymbol{b} \Vert }{ \Vert \boldsymbol{b} \Vert } \right)\]对于求矩阵的 \(\boldsymbol{A}^{-1}\)，也会有误差，衡量公式
\[\frac{ \Vert \boldsymbol{A}^{-1} - ( \boldsymbol{A} + \delta \boldsymbol{A} )^{-1} \Vert }{ \Vert \boldsymbol{A}^{-1} \Vert } \le \frac{ \text{cond} (\boldsymbol{A}) }{ 1 - \text{cond} (\boldsymbol{A}) \frac{ \Vert \delta \boldsymbol{A} \Vert }{ \Vert \boldsymbol{A} \Vert } }\]里面的 \(\text{cond} (\boldsymbol{A})\) 就是条件数，计算方法
\[\text{cond} (\boldsymbol{A}) = \Vert \boldsymbol{A} \Vert \Vert \boldsymbol{A}^{-1} \Vert\]