GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models

01. 引言：高维迷宫中的黑盒危机与第一人称的哲学反思

作为一名长期扎根在大模型机械可解释性（Mechanistic Interpretability）前沿的研究者，我常常沉思这样一个终极命题：“当一个拥有数百亿甚至上千亿参数的大语言模型在几毫秒内流畅地撰写代码、推导数学定理时，它内部数十层神经元激活构成的‘隐空间’，究竟在发生着怎样的拓扑演化？”

过去五年，深度学习领域的无监管扩展定律（Scaling Laws）创造了无数令人惊叹的技术奇迹。然而，这种繁荣背后却悬挂着一把达摩克利斯之剑——“黑盒危机”。我们在实践中发现，随着 Transformer 层数的加深，隐空间中的激活向量呈现出一种非常可怕的退化趋势：高维表示的各向异性（Anisotropy）剧烈上升，几何上表现为表示锥体坍缩（Representation Cone Collapse）。

简单来说，原本应该均匀分布在 \(d\) 维超球面 \(\mathbb{S}^{d-1}\) 上的任意 Token 向量，在经过十几层 self-attention 变换后，全部被强行推向了一个角度极窄的狭长锥体内部。在这些层级里，几乎任意两个 Token 之间的余弦相似度都逼近于 1！这意味着虽然向量的绝对模长很大，但它们的方向却高度收敛，丧失了在极高维度上区分复杂语义的自由度。

💡 Quanta 风格生活化类比： 想象一片辽阔广袤的三维天空，成千上万只不同品种的鸟儿（象征着各种复杂的语义概念，如“性别偏见”、“事实真实性”、“逻辑因果”）原本应该在广阔的苍穹中自由翱翔，占据属于各自的飞行高度与绝密方位。然而，由于传统 Loss 缺乏对几何拓扑的显式约束，所有鸟儿都被强行塞进了一条极窄的透明塑料吸管中！虽然鸟儿们依然在向前飞行（模型依然能输出表面合理的概率文本），但它们之间的距离被拉近到了极限。此时，任何可解释性探针（Probing Vector）伸进吸管，都无法分辨哪只鸟代表“客观事实”，哪只鸟代表“偏见与幻觉”。

这种锥体坍缩直接导致了“概念缠绕”（Concept Entanglement）：代表性别偏见的基向量与代表逻辑因果的基向量重叠相交，使得安全对齐（Alignment）变得极其脆弱。为了破解这一困局，我和我的合作者决定打破传统仅仅依靠交叉熵（Cross-Entropy）损失函数的局限，将经典调和分析与微分拓扑中最精妙的几何工具引入神经网络优化中，这便是 GeoLAN 的诞生缘起。

通过将隐层空间重构为一个极富弹性的拓扑流形，我希望给每个语义概念重新赋予独立的正交维度。这不仅是对人工智能透明度的探索，更是一场追寻模型内部“真实思想几何”的哲学探索。

02. 理论突破：卡客雅猜想、挂谷集与沃尔夫发丝束的几何灵感

为了给高维向量空间中的各向同性恢复提供坚实的数学基础，我们必须向二十世纪最高深、最优雅的纯数学分支之一——调和分析（Harmonic Analysis）与欧氏空间几何测度论寻求智慧。

1. 挂谷集与卡客雅猜想 (Kakeya Conjecture)

1917年，日本数学家挂谷宗一（Soichi Kakeya）提出了一个著名的几何问题：“在平面上，一个能让长度为 1 的针旋转 360 度的区域，其最小面积是多少？” 俄罗斯数学家 Besicovitch 证明了一个惊人的结论：这样的区域（挂谷集，Kakeya Set）其测度（面积）可以任意小，甚至趋近于 0！

但在高维空间（\(\mathbb{R}^n, n \ge 3\)）中，卡客雅猜想探究的是：如果一个集合在每一个方向上都包含一条单位线段，那么这个集合的 Hausdorff 维数与 Minkowski 维数是否必然等于空间维数 \(n\)？这一猜想至今仍是数学界的顶峰难题，而解答它的核心钥匙之一，正是数学家 Thomas Wolff 在 1995 年提出的沃尔夫发丝束界限（Wolff Hairbeam Bounds）。

2. 从发丝束到 Token 几何管道 (Token Tubes)

Nets Katz 与 Terence Tao（陶哲轩）在 2002 年的研究中进一步引入了“粘性条件”（Stickiness Conditions）。他们发现，如果高维空间中的一组线段（或管道）在各个方向上过分集中或互相平行相交（即高度“粘在一起”），就会引发严重维数退化；反之，如果限制管道族之间的交集重叠测度 \(\mu(T_i \cap T_j)\)，就能强制管道分散在整个空间的全部维度上。

受此启迪，我意识到：大语言模型中一个 Token 沿着网络深度 \(t \in [0, L]\) 演化的激活向量序列，本质上就是高维空间中的一条光滑微分曲线 \(\gamma_i(t) \in \mathbb{R}^d\)。我们在曲线周围赋予一个半径为 \(\delta\) 的邻域，即构成了一个Token 语义管道（Token Tube） \(T_\delta(\gamma_i)\)：

当模型陷入锥体坍缩时，对应于绝大多数 Token 管道在隐空间中高度平行且大量交叠。这种交叠在数学上表现为相交体积测度 \(\mu(\bigcup T_i)\) 急剧缩小。因此，解开黑盒的突破口，就是设计一种能够在训练反向传播中精确惩罚这些几何管道相交体积的可微规则器！

通过约束管道的几何“粘度”，我们成功将极富深度的卡客雅定理转化成了梯度下降算法中引导向量分散的正向推力。

03. 核心工程设计：KT-CW 与 KT-Attn 双驱动正则器

理论转化为工程落地的关键，在于将无限维的几何分析规约成计算高效、完全可微的 PyTorch 损失函数。我们在 GeoLAN 中构建了两个互相补充的核心正则项：

1. Katz-Tao Convex Wolff 正则器 (KT-CW)

KT-CW 正则器专门针对隐层激活向量的定向共线惩罚。对于同一 Batch 内任意一对 Token 激活向量 \(v_i, v_j \in \mathbb{R}^d\)，KT-CW 的损失函数形式如下：

式中 \(\theta_{ij} = \arccos\left(\frac{v_i^\top v_j}{\|v_i\| \|v_j\|}\right)\) 为向量夹角，\(\sigma\) 为控制高斯局部范围的带宽超参数。当两向量欧氏距离很小且方向近乎平行（\(\cos^2(\theta_{ij}) \to 1\)）时，该损失项爆发极大值，并在反向传播中产生一个切向推斥力：

该推斥力会将向量沿着高维球面推开，强制恢复全方向的各向同性（Isotropy）。

2. Katz-Tao Attention 谱规则器 (KT-Attn)

除了激活向量本身，Transformer 的多头自注意力机制（Multi-Head Self-Attention）也是引发表示退化的重要源头。如果所有注意力头（Attention Heads）都关注相同的特征子空间，模型本征维度就会断崖式下跌。KT-Attn 损失函数定义为：

其中 \(A_h \in \mathbb{R}^{N \times N}\) 为第 \(h\) 个注意力头的归一化权重矩阵，\(I\) 为单位矩阵。该正则项通过惩罚自相关矩阵的非正交分量，迫使不同注意力头在特征空间中选择相互正交的投影平面，实现了多维语义维度的并行提取。

04. 实验实证：Gemma-3 与 Llama-3-8B 上的几何解缠革命

为了全方位检验 GeoLAN 的实际成效，我们在多种量级的现代开源大模型上展开了长达数百个 GPU 小时的深度训练与可解释性解剖实验。基座模型涵盖 **Gemma-3 (1B, 4B, 12B)** 以及 **Llama-3-8B**。

我们构建了涵盖三大核心维度的评估矩阵：

1. 语言建模与通用推理能力 (Task Accuracy)： 包含 MMLU（综合学科知识）、GSM8K（数学推理）及 HumanEval（代码生成）。实验表明，GeoLAN 引入的几何正则化在所有尺寸模型上均保持了下游任务准确率（波动 < 0.3%），打破了传统几何约束必然牺牲泛化能力的迷思。
2. 几何各向同性指标 (Isotropy Index)： 余弦相似度均值 \(\bar{S}_{\cos}\) 与本征主成分覆盖度。GeoLAN 成功将隐层余弦相似度均值从 Baseline 的 0.89 骤降至 0.04 左右。
3. 机械可解释性探针与偏见消除 (Probe Disentanglement & Fairness)： 使用稀疏自编码器（SAE）提取单特征语义向量，并在 StereoSet 和 CrowS-Pairs 公平性测试集上检验刻板偏见消除率。

令人瞩目的是，实验展现出了极为明显的模型规模临界效应（Scale-dependent Trade-offs）：在中等规模模型（如 Gemma-3-4B 与 Llama-3-8B）中，GeoLAN 带来了最显著的综合收益。4B 与 8B 模型拥有足够的参数表达容量来接纳各向同性约束，同时隐层维度 \(d\) 适中，使得探针特征解离的准确率提升了整整 4.2 倍！

05. 技术细节、公式推导与消融实验附录 (Appendix)

在本技术附录中，我们详细梳理 GeoLAN 框架的严密数学推导、算法伪代码及消融实验超参数细节，供前沿人工智能审计与可解释性研究领域的学者参考。

A. 管道交集测度与 Katz-Tao 沃尔夫下界推导

设 \(\mathcal{T} = \{T_\delta(e_i)\}_{i=1}^N\) 为方向分布在球面 \(\mathbb{S}^{d-1}\) 上的管道集合。几何分析证明，相交体积测度下界满足：

其中 \(k\) 为管道集聚的流形维数。当 \(k < d-1\) 时，发生了流形退化。KT-CW 规则项通过将局部欧氏距离与余弦夹角结合，显式最大化上式右侧的流形维度 \(k\)，从根本上阻止了低维坍缩。

B. 梯度计算与高效并行实现

在具体工程实现中，KT-CW 梯度的显式计算公式可展开为：

通过 PyTorch 批处理矩阵乘法（Batch Matrix Multiplication, BMM），计算复杂度从 \(O(N^2 d)\) 优化至利用 Tensor Core 高度并行的单次前向传导，额外训练耗时仅增加约 4.8%。

C. 超参数敏感性与消融分析

消融实验表明：对于 4B 和 8B 模型，设置 \(\lambda_{\text{CW}} = 0.05\), \(\lambda_{\text{Attn}} = 0.01\), 高斯带宽 \(\sigma = 0.5\) 能够达到 Pareto 最优前沿。若 \(\lambda_{\text{CW}}\) 设置过大（如 \(>0.5\)），则会导致表示过分发散，损害语言模型的连贯性表达。