IsoHC: Fixed-Vector Isometric Residual Mixing

IsoHC: Fixed Vector Isometric Residual Mixing IsoHC 的出发点不是“能不能再设计一个残差混合矩阵”。这个问题太容易给出一个看起来漂亮的答案。真正麻烦的是：如果把一个残差流拆成多条 stream，再让它们在每一层互相混合，什么量应该被完整保留下来？ 标准残差网络有一条很朴素的生命线： x {l+1} x l+F(x l, theta l). 无论 F 多复杂， x l 至少有一条 identity path 穿过深度。很多深层网络的稳定性，都在某种程度上依赖这条路径。Hyper Connection 这类多 stream 结构把残差流展开成矩阵： X l in mathbb{R}^{n times d}, 其中 n 是 stream 数， d 是每条 stream 的 hidden dimension。此时一个简化的 residual transport 可以写成： X {l+1} H l^{ mathrm{res}}X l+ mathcal{A} l(X l), 问题也随之出现： H l^{ mathrm{res}} 不是 identity，而是每层都会变的混合矩阵。单层看起来很温和的混合，乘过几十层、几百层之后，可能把某些方向悄悄放大，也可能把有用差异磨平。 IsoHC 试图回答的是一个很窄的问题： 多 stream 残差混合能不能既允许 stream 之间互动，又不要破坏残差网络最该保留的几何量？ 这篇笔记只讲机制和数学边界，不把它写成“万能稳定性方案”。 1. Motivation 直觉可以从两个极端开始。 如果所有 stream 只是简单平均，模型会很稳定，但 expressivity 会受限；如果所有 stream 都可以自由线性混合，模型会更灵活，但深度方向的谱行为会变得难以控制。 于是问题变成：混合矩阵 H 至少应该满足什么？ 一个自然答案是保留 stream mean。令 mathbf{1} 表示全 1 向量，stream mean 是： bar{x} frac{1}{n} mathbf{1}^{ to...