原理层 T10 / 27 · 线代与几何
特征向量:矩阵不敢动的方向
矩阵扭歪大多数方向,但有几个方向只被拉长或缩短——那是特征方向,缩放倍数是特征值。点云的主轴、振动的主模态、系统的主时间尺度,全是它们。
一句话结论
T8 说矩阵是「串联的变换」。作用在满空间的向量上,大多数向量既转又歪。但总有几个特殊方向:矩阵作用上去,只是被放大或缩小,方向纹丝不动。这几个「矩阵不敢动」的方向藏着一个矩阵的全部性格。点云拉成一团后最长的方向、结构振动的主频率、控制系统的响应速度,都是特征值在说话。
动图版 · 点云轻轻漂移,主轴箭头实时跟随——PCA 就是这一根永远指向「散开最大」方向的箭头
机器人学的三个高频场景都靠它:①点云/数据的协方差矩阵——主轴方向 = 特征向量(把 3D 点云对齐、做 PCA、估平面法向量全靠它);②惯性张量——自由旋转的主轴 = 特征向量;③控制系统——收敛/发散速度 = 特征值的大小与符号。
为什么需要它
本篇只做 2×2,全部计算初中毕业就能动手——但三个应用场景在工业机器人里每天跑。
定义
定义 4.1 特征向量与特征值
方阵 A 的特征向量 v(非零)与特征值 λ 满足 Av = λv:作用完方向不变,只缩放 λ 倍。λ 可以是负(反向)或零(压扁到零 = 奇异的一个信号)。
定义 4.2 协方差矩阵
一堆数据点,每个维度减去均值后,两两乘积的平均排成矩阵 C:对角元 = 各维度自己的方差(散得多开),非对角元 = 两个维度同增同减的程度(相关)。C 一定是对称半正定的——这是它能被「读出主轴」的资格证。
定理与证明
定理 4.1 特征值的求法与 2×2 完整解
Av = λv 有非零解 ⟺ det(A − λI) = 0(特征方程)。对 A = [[a, b], [c, d]]:λ² − (a+d)λ + (ad − bc) = 0,两根之和 = 迹 a+d,两根之积 = 行列式 ad − bc。
证
Av = λv ⟺ (A − λI)v = 0。齐次方程有非零解 ⟺ 系数矩阵奇异(否则唯一解 v = 0,被定义排除)⟺ det(A − λI) = 0。
2×2 展开:det([[a−λ, b], [c, d−λ]]) = (a−λ)(d−λ) − bc = λ² − (a+d)λ + (ad−bc)。这是关于 λ 的二次方程,韦达定理给出两根之和与积。∎
注迹与行列式是特征值的两张「摘要卡」:不用解方程就能说出两根之和与积。实对称矩阵的两根必为实数(定理 4.2)——一般矩阵可以有复特征值(旋转矩阵的特征值 e±iα,「旋转 = 复平面上转」,这正是 T6 四元数篇的伏笔)。
定理 4.2 实对称矩阵:特征值全实、特征向量正交
A = A^T 时,特征值全为实数;不同特征值的特征向量互相垂直。2×2 时 A = [[a, b], [b, d]]。
证
实数性(内积论证):Av = λv,取与复向量 v 的内积:v̄ᵀAv = λ v̄ᵀv。左边是标量,取共轭转置后仍等于自身(A 实对称),故 λ 与 λ̄ 相等,虚部为零。
正交性:设 Av = λv,Aw = μw,λ ≠ μ。第一式左乘 wᵀ:wᵀAv = λ wᵀv。第二式转置后左乘 v 并用对称性(vᵀA = (Av)ᵀ = λvᵀ):λ vᵀw = μ vᵀw。两式相减:(λ − μ) wᵀv = 0,而 λ ≠ μ,故 wᵀv = 0,垂直。∎
注「对称 = 可读」:对称矩阵永远有一套互相垂直的特征方向,像一副正交的骨架。这就是为什么协方差、惯性张量、Hessian(全是实对称)都能画出「主轴」——不是巧合,是谱定理在保证。
定理 4.3 协方差的主轴意义
点云的协方差矩阵 C 的特征向量 = 点云散开最大的方向(按特征值从大到小排),特征值 = 点云在该方向的方差。
证
把点云坐标写成均值为零的列向量集合,C = (1/n) Σ x_i x_iᵀ(协方差的定义)。
沿单位方向 u 投影的方差 = (1/n) Σ (uᵀx_i)² = uᵀ[(1/n)Σ x_i x_iᵀ]u = uᵀCu。
「在 u 方向方差最大」是约束优化 max uᵀCu, ‖u‖=1。由谱定理(定理 4.2)C 有一套正交特征基,把 u 在这套基下展开直接计算得 uᵀCu = Σ λ_k c_k²(c_k 是展开系数,Σc_k² = 1)——最大值在 c 对应 λ 最大时取到,即 u = 最大特征值的特征向量。∎
注PCA(主成分分析)整座大厦的承重墙就这三行:投影方差 = uᵀCu,最优方向 = 最大特征向量。点云配准、平面拟合、降维,全是它的下游。
手算一遍
A = [[2, 1], [1, 2]]。求全部特征值与特征向量,并指出它把单位圆扭成什么形状。
- 特征方程:λ² − (2+2)λ + (4−1) = λ² − 4λ + 3 = 0,分解 (λ−1)(λ−3) = 0,λ₁ = 3,λ₂ = 1。
- λ₁ = 3:(A − 3I)v = 0 ⟺ [[−1,1],[1,−1]]v = 0 ⟺ v₁ = (1,1)/√2(归一化)。
- λ₂ = 1:[[1,1],[1,1]]v = 0 ⟺ v₂ = (1,−1)/√2。检验垂直:v₁·v₂ = (1−1)/2 = 0 ✓(定理 4.2)。
- 几何读法:沿 45° 方向拉长 3 倍、沿 135° 方向保持 1 倍。单位圆 → 长半轴 3、短半轴 1 的椭圆,主轴 45°。没有任何「扭歪」——对称矩阵只拉伸不剪切。
λ = 3 与 1;特征向量 (1,1)/√2 与 (1,−1)/√2(自动正交)。单位圆被拉成主轴 45°、半轴 3×1 的椭圆。对称矩阵的作用 = 沿正交主轴分别缩放,这一句话就是 SVD(下一篇)的预告。
实跑一遍
数字出处
生成时实跑(500 点高斯点云,理论主轴 45°、理论方差比 4):
- 样本协方差最大特征向量方向:与理论主轴 45° 偏差 0.9°(有限样本噪声)
- 样本特征值比:4.25(理论 4.00)
- 结论:几百个点就能把「数据散开的主方向」可靠地读出来——PCA 在机器人感知里便宜、稳、快
映射回强化学习
边界:这一篇停在哪里
本篇停在哪里:n×n 一般情形的谱定理证明(归纳构造)、复特征值与旋转矩阵的对应、特征值扰动理论(Davis-Kahan)都不展开。2×2 完整、3×3 会用(数值库代劳)、理论 knowing 它为什么可靠——这是本篇的边界与承诺。
自测 4 题
全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。
01特征值和行列式有什么关系?
全部特征值之积 = det A(韦达定理)。所以 det A = 0 ⟺ 有零特征值 ⟺ 某方向被压扁 ⟺ 不可逆。行列式「体积缩放倍数」的直觉在这里落地。
02为什么协方差矩阵一定有「主轴」?
它实对称。谱定理保证特征值全实、特征向量正交——所以总能画出一副互相垂直的主轴骨架。这不是运气,是结构。
03旋转矩阵的特征值是什么?
e±iα——复数。旋转没有实数意义的「拉伸方向」(每个方向都被转走),它的特征向量活在复平面里。这正是「复数乘法 = 旋转」(T6)的矩阵版印证。
04数据点云的「最长方向」怎么找?
算协方差矩阵,取最大特征值的特征向量。样本量几百即可稳定(实测 500 点角度偏差约 1°),一行矩阵乘法的成本。