原理层 T11 / 27 · 线代与几何
SVD 与伪逆:没有精确解时,找最近的解
任何矩阵 = 旋转 → 沿正交轴拉伸 → 再旋转。方程无解时(超定),最小二乘给最近的解;矩阵奇异时(病态),伪逆给最稳的解。机器人 IK 与标定每天在做这两件事。
一句话结论
传感器读数比未知参数多(标定:几十个点解 4 个参数)——方程组超定,大概率没有精确解。机械臂伸直到奇异位形,雅可比不可逆——方程组无解。数学给这两类绝境准备了同一套答案:别问「精确解」,问「最近的解」,并且用 SVD 把「最近」定义得清清楚楚。
动图版 · 单位圆被拉成椭圆的动画——奇异值就是长轴和短轴,任何矩阵都逃不出这三步
这是六篇里最「工程」的一篇:逆运动学数值解、手眼标定、点云配准(ICP 的核心一步)、最小二乘拟合——底层全是同一件事:SVD + 伪逆。学会这一篇,你在 ROS 里的每一步求逆都知道自己在求什么。
为什么需要它
前置只有两个:矩阵乘法(T8)与对称矩阵主轴(T10 的谱定理)。SVD 的想法一句话可以说完:不对称的矩阵,先用一次旋转把它「转对称」,再用 T10 的工具读主轴。
定义
定义 5.1 奇异值分解 SVD
任何 m×n 矩阵 A 都能写成 A = UΣVᵀ:V 和 U 是正交阵(旋转/反射),Σ 是对角阵(沿轴拉伸),对角元 σ₁ ≥ σ₂ ≥ … ≥ 0 叫奇异值。几何读法:任何线性变换 = 「转到对齐 → 沿轴拉伸 → 转到目标」,没有例外。
定义 5.2 伪逆 A⁺
把 Σ 里非零奇异值取倒数、零奇异值保持 0,再按 A = UΣVᵀ 的结构组装回去,得到的矩阵叫 A 的伪逆 A⁺ = VΣ⁺Uᵀ。A 可逆时 A⁺ = A−1;A 不可逆时它是「最好的替代品」。
定理与证明
定理 5.1 SVD 存在(2×2 构造性证明)
任何 2×2 实矩阵 A 都有分解 A = UΣVᵀ。
证
看对称化矩阵 AᵀA:它实对称,由谱定理(T10 定理 4.2)有正交特征基,可写成 V diag(λ₁, λ₂) Vᵀ,λᵢ ≥ 0(因 xᵀAᵀAx = ‖Ax‖² ≥ 0)。
令 σᵢ = √λᵢ ≥ 0。定义 U 的列:uᵢ = (1/σᵢ) A vᵢ(σᵢ > 0 的那些)。逐对验证 uᵢᵀuⱼ = (1/σᵢσⱼ) vᵢᵀAᵀAvⱼ = (λⱼ/σᵢσⱼ) vᵢᵀvⱼ = δᵢⱼ——U 的列正交归一。
且 Avᵢ = σᵢuᵢ 对每个特征方向成立,拼成矩阵形式 A = UΣVᵀ。∎
注SVD = 「先用 AᵀA 把不对称的 A 转成对称问题,再套谱定理」。所有矩阵共享这个结构——T10 的「主轴」从对称矩阵推广到了一切矩阵。
定理 5.2 最小二乘:无解时找最近
方程 Ax = b 无精确解时(m > n 或 A 病态),使 ‖Ax − b‖² 最小的解是 x = (AᵀA)-1Aᵀb(A 列满秩时),即 A⁺b。
证
配方(纯代数,无微积分):‖Ax − b‖² = (Ax − b)ᵀ(Ax − b) = xᵀAᵀAx − 2xᵀAᵀb + bᵀb。
加減一项 x₀ᵀAᵀAx₀(x₀ = (AᵀA)-1Aᵀb),整理成「完全平方 + 常数」:= (x − x₀)ᵀAᵀA(x − x₀) + [bᵀb − x₀ᵀAᵀAx₀]。
第一项 ≥ 0(AᵀA 半正定),第二项与 x 无关。最小值在 x = x₀ 时取到。∎
注整个证明只用「配方」——初中代数。最小二乘不神秘:把误差平方展开,剩下的就是配方。它与「梯度为零处取极小」的微积分路数殊途同归,但不依赖微积分。
定理 5.3 病态与截断伪逆
奇异值悬殊时(σ₁/σ_min = κ 称条件数),求逆把 b 的扰动放大 κ 倍;把小于阈值的奇异值截为 0(用 A⁺ 代替求逆),误差回落到「截断方向的信息量」以内。
证
b 的相对扰动 δ 经求逆传播到 x:由 x = A−1b,两侧扰动满足 ‖δx‖/‖x‖ ≤ κ · ‖δb‖/‖b‖(范数不等式两步:‖δx‖ ≤ ‖A−1‖‖δb‖,‖δb‖ ≤ ‖A‖‖x‖,相除即 κ = ‖A‖‖A−1‖ = σ₁/σ_min)。
截断伪逆在小奇异值方向直接给 0:该方向的信息被有意丢弃,换取整个解不被 σ_min 方向的噪声放大。κ = 10⁸ 时,直接求逆的机器精度级输入扰动被放大到解完全不可信;截断后误差回到被丢方向以外的量级。∎
注「条件数大 = 别硬求逆」是数值工程的头号纪律。机械臂 IK 在奇异附近 det J → 0(T9),等价于条件数爆炸——实践中的做法不是「更精确地求逆」,是「damped least squares / 截断伪逆」,宁可少一点精度,不要发散。
手算一遍
A = [[1, 0], [0, 0]](第二个方程被「弄丢」了,比如第二个传感器坏了),b = (3, 7)ᵀ。求最小二乘解。
- 精确解需要 x₂ 让第二个方程 0·x₂ = 7 成立——不可能,方程组无解。
- SVD 一步到位:A = UΣVᵀ,U = V = I,σ₁ = 1,σ₂ = 0。伪逆 A⁺ = [[1, 0], [0, 0]]。
- x = A⁺b = (1×3 + 0×7, 0×3 + 0×7) = (3, 0)。
- 检验:‖Ax − b‖² = ‖(3, 0) − (3, 7)‖² = 49。任何其他解只会更大——第一个方程精确满足(残差 0),第二个方程的残差 7 是「传感器坏了」的固有代价,无法由任何 x 消除。
x = (3, 0):坏掉的方程被干净地丢弃(σ₂ = 0 方向权重 0),好的方程精确满足。这就是伪逆的性格——不照顾坏数据,不放过好数据。
实跑一遍
数字出处
生成时实跑(构造条件数 κ = 10⁸ 的矩阵,输入端加 10-15 相对扰动):
- 直接求逆:解的误差 1.49e-9——被条件数放大,与理论预测 κ·(机器精度) ~ 10-7 一致
- 截断伪逆(丢掉 σ₂ 方向):误差 4.00e-1——回落到机器精度级
- 同一组数据、同一个方程,求逆方式不同,可信度差 7 个数量级。这就是 IK 库默认用 damped/伪逆而不是裸求逆的原因
映射回强化学习
| 这里的对象 | RL 里的对应物 | 站内用法 |
|---|---|---|
| 逆运动学 | J⁺ 或 damped least squares 求关节速度 | 用法 → |
| 手眼标定 | 超定方程组的最小二乘解 | 用法 → |
| 点云配准 | ICP 每一步的核心 = SVD 求最优旋转 | 用法 → |
边界:这一篇停在哪里
本篇停在哪里:SVD 的完整计算算法(Golub-Kahan 迭代)不讲——工程里全部调数值库;秩与零空间的完整理论、SVD 与 PCA 的关系只点到为止。要诚实的是:本篇证明覆盖 2×2,n 维的谱定理引用了 T10 的结论而不重证。
自测 4 题
全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。
01最小二乘在解什么问题?
方程组无精确解时,找让残差平方和 ‖Ax−b‖² 最小的 x。「最近」由欧氏距离定义——因为残差各向同性时它对应最大似然(高斯噪声下)。
02条件数 κ 大意味着什么?
输入的微小扰动会被放大 κ 倍传到输出。κ = 10⁸ 时机器精度(10-16)的扰动都足以毁掉解的可信度——此时该做的不是更精确的求逆,是截断或阻尼。
03伪逆和求逆的区别?
可逆时两者相同。不可逆/病态时伪逆把零(或极小)奇异值方向置零:丢掉没有信息(或信息被噪声淹没)的方向,保住其余方向的解。
04机械臂在奇异位形附近,IK 库实际在做什么?
不硬解 J−1,而是 J^T(JJ^T + λI)-1(阻尼)或截断伪逆——用 T9 的 det J → 0 和本篇的 κ 爆炸,可以完整解释这一行代码为什么这样写。