内积空间
定义向量空间时推广了 \(\mathbb{R}^2\) 和 \(\mathbb{R}^3\) 的线性结构(加法和标量乘法)，忽略了其他的重要特征，比如说长度的和角度的概念。
这两个概念的思想隐含在了内积的概念之中。记号还是一如既往的按照前面的惯例。
内积与范数
内积
引入内积概念的动机，需要把 \(\mathbb{R}^2\) 和 \(\mathbb{R}^3\) 的向量看作始于原点的箭头。\(\mathbb{R}^2\) 和 \(\mathbb{R}^3\) 中向量 \(x\) 的长度称为 \(x\) 的范数(norm)，记为 \(\Vert x \Vert\)。因此 \(x = (x_1, x_2) \in \mathbb{R}^2\) 的范数 \(\Vert x \Vert = \sqrt{x_1^2 + x_2^2}\) ，类似的，\(x = (x_1, x_2, x_3) \in \mathbb{R}^3\) 的范数 \(\Vert x \Vert = \sqrt{x_1^2 + x_2^2 + x_3^2}\)
虽然我们画不出，甚至想象不出高维的图形，但是范数在 \(\mathbb{R}^n\) 上的推广是显然的，定义 \(x = (x_1, \cdots, x_n) \in \mathbb{R}^n\) 的范数为
\[\Vert x \Vert = \sqrt{x_1^2 + \cdots + x_n^2}\]范数在 \(\mathbb{R}^n\) 上不是线性的，为了把线性引入讨论，还需要引入点积
定义点积：对于 \(x, y \in \mathbb{R}^n\) ，点积记作 \(x \cdot y\) 定义为
\[x \cdot y = x_1 y_1 + \cdots x_n y_n\]两个数的点积是一个数，
内积是点积的推广，定义内积就是把点积的性质抽象化。为了使定义对实空间和复空间都可用，需要考虑一下复数的情况。
定义内积：\(V\) 上的内积就是个函数，把 \(V\) 中的每个有序对都映射为一个数 \(<u,v> \in \mathbb{F}\)，并且满足下列性质：
- 正性
- 定性
- 第一个位置可加
- 第一个位置齐次
- 共轭对称：\(<u,v> = \overline{<v, u>}\)
定义内积空间：内积空间就是带有内积的向量空间 \(V\) 。
一个典型的内积空间的例子 \(\mathbb{F}^n\) ，带有上面定义的欧几里得内积。
后面对于 \(V\) 的假设除了前面的，这里又要多一条 \(V\) 是 \(\mathbb{F}\) 的内积空间的假设了。
范数
定义内积的动机最初来自于 \(\mathbb{R}^2\) 和 \(\mathbb{R}^3\) 中的向量范数。
定义范数
规范正交基
定义规范正交基：如果一个向量组中每个向量的范数都是 1 且与其他向量正交，那么这个向量组是规范正交的
也就是说，\(V\) 上的向量组 \(e_1, \cdots, e_n\) 是规范正交的，有
\[\langle e_i, e_j \rangle = \left \{ \begin{aligned} 1, \quad 若 i = j , \\ 0, \quad 若 i \ne j , \end{aligned} \right .\]对于向量空间 \(V\) 的基 \(e_1, \cdots , e_n\) 和向量 \(v \in V\) ，那么有 \(a_1, \cdots, a_n \in \mathbb{F}\) 使得
\[v = a_1 e_1 + \cdots + a_n e_n\]线性组合，很容易理解。找这些数字很困难，但是，如果这组基是规范正交基，这个事情会容易起来。规范正交基的重要性也在这里体现：
将向量写成规范正交基的线性组合：
\[v = \langle v, e_1 \rangle e_1 + \cdots + \langle v, e_n \rangle e_n\]且
\[\Vert v \Vert = \vert \langle v, e_1 \rangle \vert ^2 + \cdots + \vert \langle v, e_n \rangle \vert ^2\]一个应用是写傅里叶展开的系数。
既然规范正交基这么有用，如何找到呢？一个算法，格拉姆-施密特过程，把一个线性无关组转化成与原来的组有相同张成空间的组
正交补与极小化问题
到子空间的最小距离。
内积
内积是空间的性质，定义了内积的线性空间称为内积空间。有限维的内积空间称为欧几里得空间。
标准内积是比较常见的，非标准内积也可以举出例子。事实上，每个正定二次型都对应一个内积。
更广泛的描述是复内积，实数域是复数域的子集。复内积的定义里有一些为了运算结果有意义而做的妥协。如共轭转置之类的。定义了复内积的线性空间为复内积空间，有限维复内积空间为酉空间。
在后面讨论时，大多数都是在酉空间里讨论，欧几里得空间是酉空间的一个特例。
用线性组合表示的向量之间的内积可以用数字矩阵来表示，即向量组的 Gram 矩阵。内积由度量矩阵唯一决定。
在三维几何空间中，我们认为长度和夹角是天生的，内积作为导出概念。抽象数学反过来，内积作为先行条件，然后把长度和夹角定义出来。这样就可以把直观思维的技巧用到任意空间里。
比如内积投影法，用来解决最优逼近问题。最小二乘法，卡尔曼滤波里都会涉及到的东西。找两个靠的最近的向量。
上面讨论的部分基本都是入口基，出口基，或者同一组普通基，在这些基上来研究矩阵的等价、矩阵的相似变换、投影、Gram阵。有了Gram阵（实际上可以说是因为有了内积），已经大大简化了我们的一些带有目的的计算。
但是普通的一组基的Gram阵(也就是度量矩阵）还是不够简单，Gram 阵能否足够简单，是一个单位阵？什么样的基的 gram 阵是单位阵？那肯定是两两正交，并且自己和自己内积为1这样的一组基。这就是标准正交基，从而有了以下的这一部分。
探讨标准正交基的"解耦"性质，用傅里叶级数求系数来展示标注正交基的优越性。schmitt正交化方法证明标准正交基是存在的。标准正交基向量拼成的矩阵就是酉矩阵。酉矩阵的三个用途：
- 在复空间中对一个向量组实施施密特正交化的过程等价于对这个向量组构成矩阵做QR分解(正交三角分解)
- 酉矩阵作为线性变换保长度，保内积(实际上就是空间中的旋转变换)。
- 酉矩阵作为线性变换，讲述如何联系jordan标准型求解和QR分解来使用酉矩阵对任意矩阵A进行相似化简为上三角（这就是Schur定理）。
寻找"最简单"是许多问题的源头。比如使用酉矩阵作为线性变换，可以让一个矩阵最简单到上三角这个样子。那么什么样的矩阵可以被酉矩阵变换为对角阵呢？正规矩阵。即找一个更简单的形式。由正规矩阵再引出Hermit矩阵的定义以及两条基本性质。 60—非负定Hermit阵的最大特征值的极值规划问题，以及Ratleign商求解法。 61—引入奇异值分解，先入为主 直接告诉结论 62—这是最关键的一章，要用到之前基本上所有的知识，才能连接起来，将61讲的结论半证明半验证的解决出来。 63– 奇异值在控制论中的一些应用
范数
向量范数、矩阵范数、矩阵级数
前面的内容对一个抽象空间做了许多铺垫，空间自身的性质。
这里对空间的元素本身，元素序列进行研究。把微积分的方法和思想引入抽象空间。
定义范数的最大好处是可以研究极限。极限是用两个元素之间的距离足够小来描述的。
定义了范数，可以用范数来计算两个元素的距离。
把抽象极限问题转化为实数序列的极限问题。然后就可以讨论收敛了。
向量是特殊的举证，于是就想把向量范数推广到矩阵范数。
为何要进行这种推广呢？矩阵的极限，状态转移矩阵。
