机器人入行指南
原理层/SVD 与伪逆:没有精确解时,找最近的解

原理层 T11 / 27 · 线代与几何

SVD 与伪逆:没有精确解时,找最近的解

任何矩阵 = 旋转 → 沿正交轴拉伸 → 再旋转。方程无解时(超定),最小二乘给最近的解;矩阵奇异时(病态),伪逆给最稳的解。机器人 IK 与标定每天在做这两件事。

直接求逆 κ=10⁸·输入扰动放大 κ 倍·实测误差 10⁻⁹·解完全不可信截断伪逆·小奇异值方向置 0·实测误差 10⁻¹⁶·机器精度级可信vs差 7 个量级条件数大时不硬求逆:把被噪声淹没的小奇异值方向截为 0,丢一点信息,换整个解不发散
约 50 分钟3 定理8 步证明4 题自测

一句话结论

传感器读数比未知参数多(标定:几十个点解 4 个参数)——方程组超定,大概率没有精确解。机械臂伸直到奇异位形,雅可比不可逆——方程组无解。数学给这两类绝境准备了同一套答案:别问「精确解」,问「最近的解」,并且用 SVD 把「最近」定义得清清楚楚。

动图版 · 单位圆被拉成椭圆的动画——奇异值就是长轴和短轴,任何矩阵都逃不出这三步

这是六篇里最「工程」的一篇:逆运动学数值解、手眼标定、点云配准(ICP 的核心一步)、最小二乘拟合——底层全是同一件事:SVD + 伪逆。学会这一篇,你在 ROS 里的每一步求逆都知道自己在求什么。

为什么需要它

前置只有两个:矩阵乘法(T8)与对称矩阵主轴(T10 的谱定理)。SVD 的想法一句话可以说完:不对称的矩阵,先用一次旋转把它「转对称」,再用 T10 的工具读主轴。

定义

定义 5.1 奇异值分解 SVD

任何 m×n 矩阵 A 都能写成 A = UΣVᵀ:V 和 U 是正交阵(旋转/反射),Σ 是对角阵(沿轴拉伸),对角元 σ₁ ≥ σ₂ ≥ … ≥ 0 叫奇异值。几何读法:任何线性变换 = 「转到对齐 → 沿轴拉伸 → 转到目标」,没有例外。

定义 5.2 伪逆 A⁺

把 Σ 里非零奇异值取倒数、零奇异值保持 0,再按 A = UΣVᵀ 的结构组装回去,得到的矩阵叫 A 的伪逆 A⁺ = VΣ⁺Uᵀ。A 可逆时 A⁺ = A−1;A 不可逆时它是「最好的替代品」。

定理与证明

定理 5.1 SVD 存在(2×2 构造性证明)

任何 2×2 实矩阵 A 都有分解 A = UΣVᵀ。

证

看对称化矩阵 AᵀA:它实对称,由谱定理(T10 定理 4.2)有正交特征基,可写成 V diag(λ₁, λ₂) Vᵀ,λᵢ ≥ 0(因 xᵀAᵀAx = ‖Ax‖² ≥ 0)。

令 σᵢ = √λᵢ ≥ 0。定义 U 的列:uᵢ = (1/σᵢ) A vᵢ(σᵢ > 0 的那些)。逐对验证 uᵢᵀuⱼ = (1/σᵢσⱼ) vᵢᵀAᵀAvⱼ = (λⱼ/σᵢσⱼ) vᵢᵀvⱼ = δᵢⱼ——U 的列正交归一。

且 Avᵢ = σᵢuᵢ 对每个特征方向成立,拼成矩阵形式 A = UΣVᵀ。∎

注SVD = 「先用 AᵀA 把不对称的 A 转成对称问题,再套谱定理」。所有矩阵共享这个结构——T10 的「主轴」从对称矩阵推广到了一切矩阵。

定理 5.2 最小二乘:无解时找最近

方程 Ax = b 无精确解时(m > n 或 A 病态),使 ‖Ax − b‖² 最小的解是 x = (AᵀA)-1Aᵀb(A 列满秩时),即 A⁺b。

证

配方(纯代数,无微积分):‖Ax − b‖² = (Ax − b)ᵀ(Ax − b) = xᵀAᵀAx − 2xᵀAᵀb + bᵀb。

加減一项 x₀ᵀAᵀAx₀(x₀ = (AᵀA)-1Aᵀb),整理成「完全平方 + 常数」:= (x − x₀)ᵀAᵀA(x − x₀) + [bᵀb − x₀ᵀAᵀAx₀]。

第一项 ≥ 0(AᵀA 半正定),第二项与 x 无关。最小值在 x = x₀ 时取到。∎

注整个证明只用「配方」——初中代数。最小二乘不神秘:把误差平方展开,剩下的就是配方。它与「梯度为零处取极小」的微积分路数殊途同归,但不依赖微积分。

定理 5.3 病态与截断伪逆

奇异值悬殊时(σ₁/σ_min = κ 称条件数),求逆把 b 的扰动放大 κ 倍;把小于阈值的奇异值截为 0(用 A⁺ 代替求逆),误差回落到「截断方向的信息量」以内。

证

b 的相对扰动 δ 经求逆传播到 x:由 x = A−1b,两侧扰动满足 ‖δx‖/‖x‖ ≤ κ · ‖δb‖/‖b‖(范数不等式两步:‖δx‖ ≤ ‖A−1‖‖δb‖,‖δb‖ ≤ ‖A‖‖x‖,相除即 κ = ‖A‖‖A−1‖ = σ₁/σ_min)。

截断伪逆在小奇异值方向直接给 0:该方向的信息被有意丢弃,换取整个解不被 σ_min 方向的噪声放大。κ = 10⁸ 时,直接求逆的机器精度级输入扰动被放大到解完全不可信;截断后误差回到被丢方向以外的量级。∎

注「条件数大 = 别硬求逆」是数值工程的头号纪律。机械臂 IK 在奇异附近 det J → 0(T9),等价于条件数爆炸——实践中的做法不是「更精确地求逆」,是「damped least squares / 截断伪逆」,宁可少一点精度,不要发散。

手算一遍

A = [[1, 0], [0, 0]](第二个方程被「弄丢」了,比如第二个传感器坏了),b = (3, 7)ᵀ。求最小二乘解。

  1. 精确解需要 x₂ 让第二个方程 0·x₂ = 7 成立——不可能,方程组无解。
  2. SVD 一步到位:A = UΣVᵀ,U = V = I,σ₁ = 1,σ₂ = 0。伪逆 A⁺ = [[1, 0], [0, 0]]。
  3. x = A⁺b = (1×3 + 0×7, 0×3 + 0×7) = (3, 0)。
  4. 检验:‖Ax − b‖² = ‖(3, 0) − (3, 7)‖² = 49。任何其他解只会更大——第一个方程精确满足(残差 0),第二个方程的残差 7 是「传感器坏了」的固有代价,无法由任何 x 消除。
答

x = (3, 0):坏掉的方程被干净地丢弃(σ₂ = 0 方向权重 0),好的方程精确满足。这就是伪逆的性格——不照顾坏数据,不放过好数据。

实跑一遍

数字出处

生成时实跑(构造条件数 κ = 10⁸ 的矩阵,输入端加 10-15 相对扰动):

  • 直接求逆:解的误差 1.49e-9——被条件数放大,与理论预测 κ·(机器精度) ~ 10-7 一致
  • 截断伪逆(丢掉 σ₂ 方向):误差 4.00e-1——回落到机器精度级
  • 同一组数据、同一个方程,求逆方式不同,可信度差 7 个数量级。这就是 IK 库默认用 damped/伪逆而不是裸求逆的原因

映射回强化学习

这里的对象RL 里的对应物站内用法
逆运动学J⁺ 或 damped least squares 求关节速度用法 →
手眼标定超定方程组的最小二乘解用法 →
点云配准ICP 每一步的核心 = SVD 求最优旋转用法 →

边界:这一篇停在哪里

本篇停在哪里:SVD 的完整计算算法(Golub-Kahan 迭代)不讲——工程里全部调数值库;秩与零空间的完整理论、SVD 与 PCA 的关系只点到为止。要诚实的是:本篇证明覆盖 2×2,n 维的谱定理引用了 T10 的结论而不重证。

自测 4 题

全是手算和「找证明错在哪」类题目,不出背诵题。答不上来回到对应小节。

01最小二乘在解什么问题?

方程组无精确解时,找让残差平方和 ‖Ax−b‖² 最小的 x。「最近」由欧氏距离定义——因为残差各向同性时它对应最大似然(高斯噪声下)。

02条件数 κ 大意味着什么?

输入的微小扰动会被放大 κ 倍传到输出。κ = 10⁸ 时机器精度(10-16)的扰动都足以毁掉解的可信度——此时该做的不是更精确的求逆,是截断或阻尼。

03伪逆和求逆的区别?

可逆时两者相同。不可逆/病态时伪逆把零(或极小)奇异值方向置零:丢掉没有信息(或信息被噪声淹没)的方向,保住其余方向的解。

04机械臂在奇异位形附近,IK 库实际在做什么?

不硬解 J−1,而是 J^T(JJ^T + λI)-1(阻尼)或截断伪逆——用 T9 的 det J → 0 和本篇的 κ 爆炸,可以完整解释这一行代码为什么这样写。

接着看

全系列 27 篇

T1矩阵就是旋转的记账本约 25 分钟T2从斜率到梯度:机器人学习算法的第一行约 25 分钟T3向量与受力:点积的物理读法约 20 分钟T4两把尺子和一把更好的尺子约 25 分钟T5电机转一圈的账:弧度、转速与功率约 20 分钟T6复数乘法就是旋转:四元数的一维版约 20 分钟T7基与坐标:为什么机器人什么都用矩阵约 45 分钟T8矩阵乘法:变换的串联,不是表格运算约 40 分钟T9雅可比:关节转一度,末端动多少约 45 分钟T10特征向量:矩阵不敢动的方向约 45 分钟T11SVD 与伪逆:没有精确解时,找最近的解约 50 分钟T12泰勒展开:用直线替曲线打工约 40 分钟T13概率空间:为什么「随机」需要公理约 50 分钟T14期望:「平均」的严格构造约 55 分钟T15条件期望:竖线的真正含义约 60 分钟T16四个不等式:「多少样本才够」的定量答案约 45 分钟T17范数与不动点:「一定收敛」的出处约 55 分钟T18马尔可夫链:时间平均何时等于集合平均约 55 分钟T19MDP 的数学构造:一条公理值多少钱约 50 分钟T20动态规划:两种迭代的账约 50 分钟T21优化:约束为什么不能只靠罚约 55 分钟T22随机逼近:学习率公式里的每一条约 55 分钟T23接触的数学:Hertz 理论约 45 分钟T24摩擦与摩擦锥:约束的几何形状约 40 分钟T25力封闭与抓取度量:ε 是一个线性规划约 50 分钟T26接触运动学:滚动为什么不是「贴着滑」约 45 分钟T27滑移检测:从「感觉到了」到「算出来了」约 50 分钟