哈尔滨工业大学 矩阵分析 全72讲 主讲-严质彬 视频教程
# 1~25线性空间与线性映射
引理：扁的线形方程组必有非零解
不定方程
回顾：线形空间（一种运算系统）的抽象概念定义
线形空间可以是有限维的
证明：维数的唯一性
定理：基或坐标系实现了抽象线性空间到标准线性空间之间的一一对应
满射单射
一一映射=同构
用矩阵语言表达
标准基
无限维空间的例
1.3子空间
kernel & image
定义：子空间的交与和
线性映射 入口基矩阵 = 出口 矩阵表示
pr+1…pn kernel
q1...qr image
方阵的不变子空间
不变子空间与相似三角化的等同性
总结 & lambda矩阵与jordan标准型
# 26~40λ矩阵与Jordan标准型
d不变因子 通过D行列式因子可以证明d不变（有唯一性）
dn=Dn/D（n-1）
特征矩阵的smith型
初等因子ci
r1+…+rn=ni
P^-1 AP=J
P=[P1 P2 P3…Pq]
APi=P1 0+…+PiJi+…
另一种说法：AP=PJ，P为未知数矩阵，解耦成q个矩阵
广义特征向量pr链
与它相应的不变子空间
与第r个jordan块相应的变换矩阵p的基向量组
1对称性
2线性性<v_1, v_2 k+v_3 l>
x固定
<x,``` · >：R^2 -> R
有限维的内积空间=>欧几里得空间
<0, v(一个数)>=0
# 41~63内积
- 复内积共轭对称43 P43 - 02:50
- 第二变元线性性
- <v, v>实数且大于0
有复内积的线性空间=复内积空间
有限维的复内积空间=酉空间
注：复内积对第一个变元是共轭线性的
该基（一种特殊的向量组）的**度量矩阵**=基向量组（坐标系）的Gram矩阵
内积由度量矩阵唯一确定
- Gram矩阵的性质（几乎所有书上都没讲）共轭转置（H->Hermite）等于它自己44 P44 - 03:17
- 非负定性 自己和自己的内积一定大于等于0
- G正定<=>线性无关44 P44 - 14:59
beta是具体向量，beta向量组（aka B矩阵的列向量组）的gram矩阵↓
beta_i和beta_j的标准内积=(beta_i)^H * beta_j
正性，正其性，三角不等式，cauchy-schwartz不等式，平行四边形公式
cauchy-schwartz不等式证明中若<a,b>不是实数的情况
证完了关于长度||a+b||的三角不等式
证完了关于距离d(a,b)的三角不等式
定义：实内积空间中的夹角=arccos(内积<a,b>/长度||a||·长度||b||)
*有c-s不等式做前提来保证
*定义链：（反直觉）内积->长度->夹角
定义：内积=0 = 正交垂直
*0向量自动正交
定理：勾股定理，复内积
*5个等价：实5条
复4条（没有2）1←→3，4←→5，**1→4）
复<a,b>+<b,a>=Re<a,b>
3.2 投影定理（beta投到W）
注：在W中找一个向量，与beta的距离d(beta,alpha)最近
投影定理=解一个最佳逼近问题
参数化后得到映射：C^s→R+
多元函数的最小值问题（行不通）
总结：内积空间
自己和自己：Gram矩阵
自己和别人：交互（协）Gram矩阵
alpha = arg min d(beta, w) = d取到最小时的自变量w的值
arguement=自变量
解最优问题，正规方程
把alpha参数化=>(((🔔)))求k的重要公式：sxs的Gram矩阵 sx1的协Gram矩阵
alpha是beta在W上的投影
beta-alpha⊥W（W上任意的向量w）
把alpha和w连起来
最优解的存在性
可能发生变化的地方：选不同的基
最优解的唯一性由勾股定理保证（斜边不可能和直角边相等）
最优解如何求解
注：alpha \in W 参数化后，最优逼近问题的实质是s元函数的极值问题
用微积分的方法解多元二次函数f(s_1,...,s_k)的极值
G是二次，Σ是一次
向量组[基]用span{基} = 矩阵A用image(A)
最优解的例子1
例子2：向量子空间imA的正交投影
Anxs
P_A(beta)=beta的向量在A的列向量所张成的空间上的投影
“这个符号太好了，没有一本书上这么写真是太奇怪了。”
投影矩阵P_A=A*(\bar{A}^T*A)^(-1)*\bar{A}^T的3个性质：
- 共轭转置等于它自己
- 幂等的P^2=P
- rank(P_A)=rank(A)
例子1：求beta在A上的投影=P_A*beta
例子2：观测数据的最小二乘拟合
抽象化
拟合问题翻译为
c_1^2+...+c_100^2=...=||c||^2
*观测数据的最小二乘拟合的几何实质
因变量y的观测/采样值所拼成的列向量
以上**N维列向量**
**向**
自变量x_i的观测值在k+1个基函数上的k+1个采样所构成的**k+1个列向量**
**进行投影**
一个列向量向k+1个列向量装在子空间里进行投影
二乘=用误差的平方对误差的大小进行度量，二次方的意思
总结：投影定理
标准正交组
Gram矩阵有什么好处：
用坐标和矩阵计算内积
“万物皆矩阵”
- G（alpha_1...alpha_s）=单位阵
- 标准正交组alpha_1...alpha_s=>线性无关
标准正交组解耦性
Fourier傅里叶三角多项式
V=定义在0到2pi的平方可积函数的全体
有些函数在平方之后不是一个有限数
土壤热传导偏微分方程
《热的解析理论》-傅里叶
标准正交基
存在性：schmidt正交化方法
从这里开始不谈抽象内积空间了，讨论标准内积空间
例子
正交多项式序列->高精度数值积分计算：切比雪夫多项式
标准正交基在标准酉空间中的具体化
酉矩阵=bar(A)^T*\A=I_n
标准酉空间=C^n
引入酉矩阵的原始动机motivation: 酉矩阵的列向量组是标准酉空间C^n中的标准正交基拼成的基矩阵
Kronecker符号
"万物皆数"-毕达哥拉斯
"除了自然数是上帝造的意外其他都是人造的"-Kronecker->还原成自然数
schmit正交化方法的矩阵表述=正交-三角分解
在C^(n*n)中A非奇异，分解A=QR
QR分解=正交-三角分解=任何一个非奇异的矩阵可以写成正交矩阵（在复的场合就是酉矩阵“酉”）*上三角矩阵（对角线上是大于0的实数且有唯一性“正线”）
总结
从C^n→C^n，
酉矩阵作为U线性变换的特点：下列等价
U是酉矩阵，保持长度/内积
证明方法：长度、夹角就一定决定内积
例子：平面旋转theta角
i→像i'
正交矩阵旋转
线性变换scr(A)的矩阵表示：
[i', j']=scr(A)[i, j]=[i, j][cosθ -sinθ; sinθ cosθ]（←平面旋转矩阵）
验证以上旋转矩阵是不是正交矩阵
性质：酉矩阵U的特征值的模为1
问题：如果只允许用标准正交基，可将一个矩阵A相似变换到多么简单的形式
schur定理
对A∈C^(n*n)有酉矩阵U使U^(-1)AU=bar(U)^(-1)AU
基于jordan标准型AP=PJ的有意思证明:
QR分解：P=UR代入AP=PJ→AUR=URJ
U^(-1)AU=RJR^(-1)
正线上三角矩阵（R）的逆还是上三角（R^(-1)），3个上三角的乘积还是上三角（RJR^(-1)）
U矩阵把矩阵A相似化为对角线=每个jordan块都是1阶的=P正好是特征向量
<==几何说法等价于代数说法==>
有一组线性无关的特征向量；换句话说，C^(n*n)有一组由特征向量构成的（标准正交）基
定理：bar(A)^T*A=A*bar(A)^T
矩阵的共轭转置和老矩阵（乘法）可交换
注：满足的矩阵A=正规矩阵
验证定理
Hermite矩阵bar(A)^T=A
性质：
- H是正规矩阵
- 存在U使A相似于对角矩阵
Hermite矩阵的特征值肯定是实数
验证“Hermite矩阵的特征值肯定是实数”
“有些同学数学学到这个程度挺高兴的，吃什么都香”
定义：非负定（暗指Hermite） 有两个条件
非负定矩阵A的最大特征值的极值刻画
A特征值的最大值=一个函数的极值
Rayleigh商：用商刻画极值
单位圆
《数学物理方法》-希尔伯特
证明“很简单”
最大值必须lambda_1
当y_1=1,其他y=0
“引导你们欣赏一下”
总结：
1. 标准正交基拼成的矩阵是酉矩阵
2.酉矩阵决定了一个保长度保内积的线性变换
3.标准正交基把矩阵化简到什么程度（不能jordan标准型但可以上三角）：schur定理
4.什么时候能用酉矩阵化为对角线：（正规矩阵）自己和自己的共轭转置可交换
5.一种正规矩阵叫Hermite矩阵（实数：对称，复数：共轭）
Hermite化为对角线的对角线上一定是实数特征值
开始上奇异值分解
动机：P,Q都是C^n,C^m上的酉矩阵（变成V,U）时，A还能化为这个样子的最简吗？AP=Q[I_r, 0;0, 0]
定理：奇异值分解
证明：
bar(\A)^T*\A=H本质是一个gram矩阵（一列乘一行）
H非负定，而且秩就等于rank(A)
bar(\H)^T=H
注1：bar(\A)^T*\A(体积m*m)和\A*bar(\A)^T(体积n*n)的秩一样，非零特征组一样
注2：奇异值分解的精髓：解耦
注3：σ=
像和像源长度的比例，长度的最大放大率（可在控制中取无穷）
噪声信号作用在系统上产生响应（干扰），设计抑制干扰，用量化指标（最大奇异值）表达这个观念
用向量与矩阵的范数的观点：向量的二范数导出矩阵的二范数就是矩阵的最大奇异值：导出（induced）范数
# 向量矩阵的范数
范数是一种映射，一种函数
向量范数=线性空间映射（定义在V函数）V→（什么时候有资格成为取实值的函数）R
正性
正齐性：没常数项的一次→齐次
三角不等式
例子：一范数二范数（由内积决定的长度）p范数行范数
动机：通过范数定义距离，从而考虑极限（plus平移不变性）
距离是二元函数
有资格在一定程度上模拟d(e_1, e_2)距离的三个要求：非负性，对称性，三角不等式
好处：定义极限
平行四边形法则||a+b||^2+||a-b||^2=2(||a||^2+||b||^2)^2
平行四边形法则是检验a,b是不是由内积推出的试金石
内积推出的范数有好的几何结构：除了长度还可以使用夹角
矩阵范数=定义在全体矩阵几何上的函数=一种映射规则（函数）
映射规则||·||：{矩阵}→取值范围R^+
4个性质：正性，正齐性，加法相容性（三角不等式，条件：AB可相加），乘法相容性 （条件：AB可相乘）
向量的一范数导出矩阵的一范数就是矩阵的最大列和
向量的二范数导出矩阵的二范数就是矩阵的最大奇异值
向量的无穷范数导出矩阵的无穷范数就是矩阵的最大行和
向量与矩阵序列的极限
定义：矩阵序列
不熟悉的被定义者
熟悉的定义者
矩阵取极限等于每个数取极限
证明
“智者见于微末”
三个1xm, mxn, nx1的矩阵相乘
再加上乘法相容性
引入矩阵范数的好处就在于把矩阵许多个元素的每个极限问题归结为同一个极限问题
e^a问题
定理：矩阵级数e^A=
收敛，即矩阵序列S_n
是收敛的
柯西收敛准则：自己和自己的差越来越小
对矩阵一样成立
为了说明矩阵级数是收敛的，只需要S_q-S_p趋向于0
再利用加法相容性
小于等于下式
怎么算出e^(At)
引理：e^(A+B)=e^A*e^B一般情况下不成立，除了
AB=BA这种A，B可交换的情况
J_1=lambda*I+N
N=幂零矩阵=幂足够高了就变0矩阵了
↑
准备
把e^(A*t)拆成若干个若当jordan标准型
e^(J_1*t)
把E^(N*t)展开
一个普通的指数函数*由t的多项式带上系数组成的上三角矩阵
向量与矩阵值函数A(·)
定义：极限，导数，积分
矩阵函数通过矩阵范数定义的一个矩阵极限=mxn个普通函数的极限
矩阵函数通过范数定义的一个导数等价于mxn个函数的普通导数
矩阵函数通过范数定义的矩阵积分等价于作为mxn个普通函数的积分
意义：用一个事物驾驭mxn个事物
性质：
总结：矩阵序列和矩阵级数
向量与矩阵的范数→极限，研究导数积分级数
“非常自然的事情，成为大家日常的工具”
e^(A*t)
证明(e^(A*t))'
线性系统没有输入项的自由运动（振动）
矩阵A的Hurwitz稳定
1.Hurwitz渐进稳定：A的所有特征值的实部是小于0的=Re lambda(A)小于0
2.Hurwitz（临界）稳定
若Re lambda(A)小于等于0且特征值对应的jordan块都是1x1的（即对应的初等 因子为1次的）
“爱是做学问的本质”
稳定=微分方程的解（振动）有界
初值小=不会过界
渐进稳定=渐进于0（比稳定加强了一步stablization趋于0）
线性系统是特殊情况
e^(lambda*t)=
系数是特征值的实部，特征值的虚部简谐运动
如果在实数域上看：
在自由振动中，实指数决定趋势取决于特征值的实部，第二部分简谐运动的频率取决于特征值的虚部b，第三部分是其余多项式
指数函数趋于无穷的速度超过多项式即三角函数
多项式不出现可保证临界稳定=jordan块都是1x1，只有三角函数没有多项式=但不保证趋于0，只是稳定
“这个事情有些人搞了一辈子还不知道，太奇怪了”
李雅普诺夫方程的动机：实矩阵能不能用一个不解方程的方法，直接的方法来判断特征值的实部小于0
Herwitz稳定判据
“不是因为偷窥了天书”
x点(t)=Ax(t)
动能是速度的二次函数
=-x^T(t) * x(t)小于等于0(A^T * P + P*A=-I时)
“负定，定负是也。”
V(·): R^n→R^+
x(·): [0,+∞)→R^n
P是未知的
定理：关于P的方程A^T * P + P*A=-I有正定解的充要条件是Re(A)<0
证明
考试
抽象的线性相关性：线性表示
线性空间的维数积
子空间：交并，张成的子空间
线性映射，线性变换：用坐标
矩阵的等价与相似：换基底，线性变换的出口基入口基一样
多项式矩阵的smith标准型
初等因子不变因子
矩阵的相似（特征矩阵一样） 和多项式的等价
