文本范畴有多大？语言模型、Magnitude 与熵

导读目录

500 字摘要
研究问题
文本树与终止状态
概率如何变成几何
Möbius 反演与 Magnitude
Tsallis 与 Shannon 熵
Magnitude 同调
边界、局限与未来
技术附录
来源与定理地图

Nature-style abstract · 证据综述

摘要：从局部预测到全局文本空间

语言模型逐词生成文本：给定一个提示，它为下一个 token 分配概率，再把抽中的 token 接回提示。这个熟悉的工程过程是否同时隐藏着一种几何与拓扑结构？我们证明，在给定有限词表、句首与句末标记以及最大生成长度后，任意自回归语言模型都自然定义一个以文本为对象、以前缀延伸为方向的 \([0,1]\)-富集范畴。若文本 \(y\) 可由提示 \(x\) 逐步延伸而来，二者之间的 hom-object 就是整条生成路径的条件概率乘积 \(\pi(y\mid x)\)；取负对数后，它变成非对称、允许无穷远与零距离退化的广义度量 \(d(x,y)=-\ln\pi(y\mid x)\)。我们严格处理了生成何时终止，并证明：尽管 \(\pi(-\mid x)\) 在全部文本上不是概率分布，它在提示 \(x\) 的终止状态集合 \(T(x)\) 上确实归一化。

在这一概率几何上，我们显式求出 zeta 矩阵的 Möbius 逆，继而得到核心等式：文本空间的 magnitude 函数由所有非终止提示处的 \(t\)-对数（Tsallis）熵的 \((t-1)\) 加权总和，再加模型理论上可能输出的数量构成。其在 \(t=1\) 处的导数恰为各提示下一 token 分布的 Shannon 熵总和。我们还把 magnitude 写成 magnitude 同调群 Euler 特征的加权和，由此把生成不确定性、广义几何与拓扑不变量置于同一公式中。由于构造只要求下一 token 概率，它不仅适用于大型神经网络，也适用于马尔可夫链和 \(n\)-gram 模型。这不是一次“机器已经理解意义”的实验证明，而是一座可检验的数学桥：语言模型的局部预测概率，能够一致地拼成一个全局文本空间；在这个空间里，可能性、距离、大小与熵不再是彼此孤立的概念。

论文证明

终止归一化、富集范畴、magnitude 公式与 Euler 特征表达式均有形式证明。

解释

“概率几何”“逆温度”等说法帮助读图，不把类比当成额外实验结论。

开放边界

高阶 magnitude 同调消失仍是猜想；本文没有语义基准或模型对比实验。

01 · Research question

我们真正问的不是“词是什么意思”，而是“所有续写如何组成一个空间”

【解释】想象一本拥有无数岔路的互动小说。每读到一个逗号，你都要从若干后续词中选择一个；选择之后，新的页面又给出新的岔路。语言模型做的事情与此相似，只不过每条岔路都带有一个条件概率。通常，人们只关心某一条最终生成的句子，或者用困惑度评价这条路径。但我们换了观察尺度：不只看被抽中的路径，而把模型在每个提示处允许的全部右向延伸同时保留下来，问这棵概率树有没有一个内在的“形状”。

【论文证明】答案是肯定的，而且无需假设模型是 Transformer。只要它是自回归语言模型，即每个有限提示 \(x\) 都给出下一 token 的概率分布 \(p_x=p(-\mid x)\)，构造便成立。因此，本文结论同样覆盖简单的 \(n\)-gram 模型、马尔可夫链式模型和现代解码器语言模型。网络参数有多少、注意力头怎样排列，都不是定理的前提；我们的对象是模型已经给出的条件概率结构。

【解释】这一区分非常重要。论文讨论的是“文本生成概率的数学组织”，不是直接解码神经网络内部的语义表征。标题中“文本范畴”也不是把句子装进几个主题抽屉，而是数学意义上的 category：对象之间有可复合的箭头。这里的箭头回答一个极朴素的问题——一个文本是不是另一个文本的前缀。

【研究脉络】这项工作承接 Bradley、Terilla 与 Vlassopoulos 在 2022 年提出的语言富集范畴：早先工作把文本嵌入富集余预层范畴，并用类似逻辑运算的极限与余极限探索意义表示；Liu 等人在 2024 年又为相关 co-Yoneda 表示提供了实验支持。但那项早先理论没有从具体语言模型显式构造 \(\pi(y\mid x)\)，也没有处理句首、句末与截止长度。本文补上的正是这条概率地基，并把研究重心转向广义度量的 magnitude。这里提到的语义实验属于被引用的其他研究，不能写成本文自己的实验结果。

静态图 1 · 构造路线

一个下一 token 分布，怎样一路变成熵与拓扑

图示是论文论证路线的压缩：箭头代表数学构造或已证明的等式，不代表神经网络内部真的按这些方框依次运算。

02 · Finite text tree

把生成过程冻结成一棵有限的文本树

【论文定义】设 \(A\) 是有限 token 集，\(\bot\) 是句首标记，\(\dagger\) 是句末标记，\(N\) 是截止长度。我们考虑的对象是所有以 \(\bot\) 开头、总长度不超过 \(N\) 的合法字符串；\(\dagger\) 若出现，只能在末尾。对象集合精确写成：

\[ \operatorname{ob}(\mathsf L) =\{\bot a:a\in A^*,\ |a|\le N-1\} \sqcup \{\bot a\dagger:a\in A^*,\ |a|<N-1\}. \] 若 \(x\) 是 \(y\) 的前缀，我们就画一支箭头 \(x\to y\)。\(\bot\) 是整棵树的根。

句末带 \(\dagger\) 的文本是“已完成文本”；没有句末标记且尚未达到截止长度的文本仍可生长。截止长度不是无关紧要的工程补丁：magnitude 的矩阵定义需要有限对象集，而真实模型也总有上下文或输出上限。于是 \(N\) 同时给出数学上的有限性和生成过程的终止保障。需要注意，这个理想化构造把“截断”写成固定长度，也不处理超过窗口后通过滑窗或摘要得到替代提示的具体策略。

【论文定义】给定未完成提示 \(x\)，终止状态集合 \(T(x)\) 包含两类叶端：一类是在达到 \(N\) 前抽到 \(\dagger\) 的完成文本；另一类是尚未抽到 \(\dagger\)、却已经达到长度上限的文本。它们与模型从 \(x\) 出发理论上可能返回的输出一一对应。这里“理论上可能”按字符串树定义，因而包括概率可能为零的叶端。

一条路径的概率，如何成为箭头强度

【论文定义】若 \(x=\bot a_1\cdots a_s\)，而 \(y=xa_{s+1}\cdots a_{s+k}\) 是它的延伸，我们令：

\[ \pi(y\mid x)=\prod_{i=1}^{k}p(a_{s+i}\mid y_{<s+i}). \] 若 \(x=y\)，规定 \(\pi(x\mid x)=1\)；若 \(x\) 不是 \(y\) 的前缀，则令 \(\pi(y\mid x)=0\)。

【解释】比如提示是“雨后的空气”，某条路径依次追加“很”“清”“新”再结束，那么它的权重不是最后一个词的概率，而是每一步在当时完整上下文下的条件概率相乘。一次很不可能的转弯会让整条路径迅速变轻。这与在地图上累加路程相似，只不过我们此刻先乘概率，稍后再用负对数把乘法变成加法。

【论文证明 · 命题 2.9】概率只在叶端守恒。 \[ \sum_{y\in T(x)}\pi(y\mid x)=1. \] \(\pi(-\mid x)\) 不能在所有可延伸文本上直接叫作概率分布，因为 \(\pi(x\mid x)=1\)，同时更长文本仍可能具有正权重。论文用剩余步数归纳，把每个内部节点的概率质量逐层分到普通 token 与 \(\dagger\)，最终全部质量落到叶端。

交互 1 · 终止归一化

跟随概率流走到叶端

像把一杯带颜色的水倒进树根：每处分叉只重新分杯，水不会在中途凭空增加或消失。

动画状态就绪

当前叶端—

路径概率—

叶端概率总和1.000

玩具模型，非论文实验数据

03 · Enrichment and distance

从概率到富集范畴，再到非对称距离

【论文证明 · 命题 2.16】单位区间 \(([0,1],\le,\cdot,1)\) 是一个交换幺半预序。以所有文本为对象，以 \(\mathcal L(x,y)=\pi(y\mid x)\) 为 hom-object，我们得到一个 \([0,1]\)-富集范畴。恒等律来自 \(\pi(x\mid x)=1\)；复合律来自路径概率的链式乘法。若 \(x\to y\to z\)，则：

\[ \pi(y\mid x)\,\pi(z\mid y)=\pi(z\mid x). \] 对任意三对象，相应的富集复合不等式仍成立。

【解释】普通范畴只会说“箭头存在或不存在”；富集范畴还记录箭头有多强。两个候选续写都能接在提示之后，但一个概率为 \(0.4\)，另一个为 \(10^{-6}\)，它们在普通前缀树上同样有箭头，在富集范畴里却不再被视作等价的连接。

【论文证明】通过 \(-\ln:[0,1]\to[0,\infty]\)，同一结构可改写为 Lawvere 广义度量空间 \(\mathcal M\)：

\[ d(x,y)=-\ln\pi(y\mid x),\qquad d(x,z)\le d(x,y)+d(y,z). \]

【解释】概率乘法变成距离加法：高概率延伸离提示近，零概率或非前缀方向的文本位于无穷远处。但这不是欧氏空间。距离通常不对称：从“猫”走到“猫睡着了”可能有限，反向却不是右向生成，故为无穷；不同对象间也可能出现零距离，例如某段延伸的条件概率全为一。所谓“文本几何”必须按这个广义意义理解，不能想象成句子已被嵌入一张普通二维语义地图。

交互 2 · 概率距离

把概率旋钮拧成一把非对称尺

概率越小，\(-\ln p\) 拉出的路越长；把两段概率相乘，恰好等于把两段路程相加。

第一段概率

\(\pi(y\mid x)\)0.500

\(d(x,y)\)0.693

复合校验等待计算

玩具模型，非论文实验数据

04 · Möbius inversion

magnitude：不是对象计数，而是考虑重叠后的有效大小

【解释】若直接数对象，词表大小和截止长度会让文本树呈指数爆炸，而且不区分必然续写与高度不确定的岔路。magnitude 的思想更像统计一群彼此重叠的影子：完全独立的对象各算一份，连接紧密的对象会相互抵消一部分。它原本统一推广了有限集合的基数、某些范畴的 Euler 特征以及度量空间的“大小”。本文问的是：一个由语言模型概率塑形的文本空间，其有效大小是什么？

【论文定义】对 \(t>0\)，距离缩放后的 zeta 矩阵为：

\[ \zeta_t(x,y)=e^{-t d(x,y)}=\pi(y\mid x)^t, \qquad \operatorname{Mag}(t\mathcal M)= \sum_{x,y\in\operatorname{ob}(\mathcal M)}\zeta_t^{-1}(x,y). \] 参数 \(t\) 可理解为观察尺度，也可类比统计物理的逆温度；它不是模型训练步数，更不是文本长度。

【论文证明】我们先以无退化路径的交错和显式求逆：

\[ \zeta_t^{-1}(x,y)= \sum_{k\ge0}\ \sum_{\substack{x=y_0\to\cdots\to y_k=y\\ \text{nondegenerate}}} (-1)^k\prod_{i=1}^{k}\pi(y_i\mid y_{i-1})^t. \]

由于有限前缀树无环，形式级数实际只有有限项，不存在收敛难题。更关键的是，链式乘法使一条复合路径的权重只取决于起终点；Philip Hall 型 Möbius 消去则让长度超过一步的贡献彼此抵消。最终逆矩阵只剩三种元素：

\[ \zeta_t^{-1}(x,y)= \begin{cases} 1,&y=x,\\ -\pi(y\mid x)^t,&y\text{ 是 }x\text{ 的一步 token 延伸},\\ 0,&\text{其他情形}. \end{cases} \] 【论文证明 · 命题 3.6】复杂的整棵树被 Möbius 反演压缩成局部的一步分支。

交互 3 · Möbius 消去

看见长路径怎样在逆矩阵里相互抵消

像把一张透明树影与它的反色底片叠起来：多步路径一层层消掉，只留下节点自身和不可再拆的一步边。

尺度 \(t\)

magnitude8.700

选中逆矩阵元—

消去状态就绪

玩具模型，非论文实验数据

05 · Magnitude and entropy

核心等式：文本空间的大小，显露为每个提示处的不确定性

【论文证明】定义 \(t\)-对数熵（常称 Tsallis 熵）：

\[ H_t(p)=\frac{1-\sum_i p_i^t}{t-1}. \]

把 Möbius 逆的非零项求和，我们得到全文的核心公式：

\[ \boxed{ \operatorname{Mag}(t\mathcal M) =(t-1)\sum_{x\in\operatorname{ob}(\mathcal M)\setminus T(\bot)}H_t(p_x) +\#T(\bot),\qquad t>0.} \] 【论文证明 · 命题 3.10】求和只遍历仍可继续的提示；\(\#T(\bot)\) 是字符串树的终止叶端数。

【解释】右侧有两部分。\(\#T(\bot)\) 是整棵生成树的叶端数，即从句首出发理论上可能的终止输出数量；求和项则遍历每个仍可继续的提示，记录它下一 token 分布的岔路程度。magnitude 因而把“边界有多少叶子”和“内部每个路口有多犹豫”装入同一个全局量。注意它对所有提示位置等权求和，并不按模型真正到达这些提示的概率加权；所以它不是一次平均生成过程的期望熵。

【论文证明】当 \(t=1\) 时，每个概率分布满足 \(\sum_a p_x(a)=1\)，故 \(\operatorname{Mag}(\mathcal M)=\#T(\bot)\)。但函数在这一点的斜率保留了信息：

\[ \left.\frac{d}{dt}\operatorname{Mag}(t\mathcal M)\right|_{t=1} =\sum_{x\notin T(\bot)}H(p_x), \qquad H(p_x)=-\sum_a p_x(a)\ln p_x(a). \] 【论文证明 · 备注 3.11】这里是对 magnitude 求导；\(\lim_{t\to1}H_t(p)=H(p)\)。

也就是说，Shannon 熵不是被外加到范畴上的统计量，而是 magnitude 随尺度改变时在 \(t=1\) 处自然显出的导数。

统计物理读法：token 是微观状态，负对数概率是能量

【论文解释】对每个提示定义：

\[ Z_x(t)=\sum_{a\in A\cup\{\dagger\}}p_x(a)^t =\sum_a e^{-tE_x(a)}, \qquad E_x(a)=-\ln p_x(a)=d(x,xa), \] \[ \operatorname{Mag}(t\mathcal M) =\#\operatorname{ob}(\mathcal M) -\sum_{x\notin T(\bot)}Z_x(t). \]

\(Z_x\) 像以 token 为微观状态、以负对数概率为能量、以 \(t\) 为逆温度的配分函数。当“温度”改变，不同概率的分支被重新加权；在 \(t=1\) 处，\(-Z_x'(1)=H(p_x)\)。称 magnitude 为配分函数式对象，不是因为语言模型真的具有热力学温度，而是因为二者共享同一种指数加权结构。

【论文证明】当 \(t>1\) 时，确定性模型在每个提示只允许一个概率为一的后继，所有 \(H_t(p_x)=0\)，magnitude 取得最小值 \(\#T(\bot)\)。每处都对 token 均匀分布的最大随机模型使熵最大，从而达到相应上界；当 \(t\to\infty\) 时：

\[ \#T(\bot) \le \lim_{t\to\infty}\operatorname{Mag}(t\mathcal M) \le \#\operatorname{ob}(\mathcal M). \]

【论文限制】\(t<1\) 的解释并不清楚；极小尺度下 magnitude 甚至可能为负。即便在普通度量空间中，小尺度极限也可能表现复杂，因此不能把 magnitude 在所有参数范围内都简单称为“模型能力”或“语义丰富度”。

【解释性推论】公式也揭示了该不变量会看见什么、忽略什么：它看见每个提示处分布的集中或平坦程度，却不会仅凭熵辨认 token 的名字。若在某个节点只把两个 token 的概率互换，\(H_t(p_x)\) 不变，全局 magnitude 也不变；但两条实际文本的内容已经不同。因此 magnitude 能测量生成空间的结构性不确定性，却不是一把可单独恢复语义内容的万能尺。

交互 4 · 熵曲线

在 \(t=1\) 处读出 Shannon 熵

把 magnitude 曲线看成山坡：\(t=1\) 是一根路标，路标处的坡度正好累加了每个岔路口的 Shannon 不确定性。

尺度 \(t\) 分布混合度

\(\operatorname{Mag}(t\mathcal M)\)8.700

\(\operatorname{Mag}'(1)\)2.86112458

各提示 Shannon 熵H⊥=1.0297，H⊥甲=1.0297，H⊥乙=0.8018

玩具模型，非论文实验数据

静态图 2 · 论证依赖

从定义出发，主结果怎样一层层长出来

依赖图依次区分定义、命题、主结果与猜想：后面的结论要用到前面的结构，而最高阶同调消失仍停留在开放问题。

06 · Magnitude homology

从熵抵达拓扑：同一个量的第二种读法

【论文证明】对总长度为 \(\ell\) 的非退化路径建立 magnitude 链复形 \(MC_{k,\ell}(\mathcal M)\)，其生成元是序列 \((y_0,\ldots,y_k)\)，且相邻对象不同、各段距离之和为 \(\ell\)。微分在删除中间点不改变总长度时删除该点。令其同调为 \(H_{k,\ell}(\mathcal M)\)，我们证明：

\[ \operatorname{Mag}(t\mathcal M) =\sum_{\ell}e^{-t\ell} \sum_{k\ge0}(-1)^k\operatorname{rank}H_{k,\ell}(\mathcal M). \] 【论文证明 · 命题 3.14】这是 magnitude 同调的加权 Euler 特征表达式。

【解释】上一节把 magnitude 读成熵的总和；这个公式则把同一个 magnitude 读成各尺度 Euler 特征的加权总和。于是概率论中的“不确定性”和拓扑中的“分级链与 Euler 特征”并非被比喻性地并列，而是通过一个严格相等的中介量相遇。这里的同调生成元不能直接当作普通空间里的“洞”。

【论文证明】本文还明确描述了低阶同调：\(H_{0,0}\) 是以全部文本对象为基的自由阿贝尔群，\(\ell>0\) 时 \(H_{0,\ell}=0\)；\(H_{1,\ell}\) 由距离为 \(\ell\)、且中间不存在严格对象的有序对生成。在前缀树里，这些正是一 token 的不可再分边。

【展望／猜想】我们猜想更高阶同调群全部消失，但论文没有证明。因此不能把“高阶同调为零”画成确定结论。我们还提出未来可研究任意子串关系、语法 Merge 操作或富集余预层的范畴；这些结构可能有环，本文依赖无环前缀树的简单 Möbius 消去将不再直接适用。

交互 5 · 低阶同调

数对象，也数不可再拆的一步边

零阶像给每个车站发一张名牌；一阶则登记那些中途没有站点、无法再拆短的直达线。更高阶车票目前仍贴着问号。

\(\operatorname{rank}H_{0,0}\)10

一阶不可分边数9

证据状态高阶消失：尚未证明

玩具模型，非论文实验数据

07 · Meaning and limits

这项工作把“意义”推进了多远？

【解释】我们的结果提供了一种哲学上节制、数学上具体的回答：意义未必住在某个孤立词向量里；至少，语言模型呈现出的结构来自“一个片段能以多大可能性通向另一个片段”的关系网。对象本身只是字符串，丰富性来自箭头及其权重。范畴论在这里强调的不是事物是什么，而是它们怎样组合、怎样延伸、怎样在不同尺度上保持一致。

【论文证明 · 第 4 节】与困惑度的联系也很直接。对序列 \(y=a_0a_1\cdots a_n\)，令 \(t=1/n\)，则：

\[ \operatorname{PPL}(y) =\exp\!\left(-\frac1n\sum_{i=1}^{n} \ln p(a_i\mid a_0\cdots a_{i-1})\right) =\frac{1}{\zeta_{1/n}(a_0,y)}. \] 单条文本的困惑度是这套几何中一条路径的量；magnitude 汇总的则是整个有限文本空间。

对某个具体提示 \(x\)，论文还给出子空间 \(\mathcal M_x\) 的同型公式，把求和限制在所有以 \(x\) 为前缀的文本上。这为今后比较不同提示诱导出的局部生成空间提供了数学入口。

【证据边界】本文没有运行 GPT、Llama 或任何语料实验；没有比较模型优劣；没有证明 magnitude 与人类语义判断、事实性、创造力或意识相关；也没有展示它可直接改进训练。公式中的 \(\#T(\bot)\) 还会随词表与截止长度剧烈增长，并把概率为零的理论叶端算进去。

因而最准确的评价不是“我们找到了意义的位置”，而是：我们证明了一种标准自回归过程可以被一致地提升为概率范畴、广义度量和同调对象，并发现其 magnitude 精确编码一族局部熵。它为研究意义提供了语言，却不是意义研究的终点。

静态图 3 · 结论边界

论文证明了什么，没有证明什么

三栏分别放置论文严格证明、作者给出的解释和仍待回答的问题。页面中的所有动画都使用同一个透明的玩具模型，不冒充论文数据。

Technical appendix

技术附录：边界条件与三段证明链

A. 符号与对象边界

\(A\)：有限普通 token 集；下一 token 分布定义在 \(A\cup\{\dagger\}\) 上。
\(\bot,\dagger\)：句首、句末特殊 token；它们不被当作可在任意位置出现的普通 token。
\(N\)：字符串总长度的截止值，且 \(|\bot|=1\)。
\(\mathsf L\)：有限前缀偏序，也可视作薄范畴；\(x\to y\) 当且仅当 \(x\) 是 \(y\) 的前缀。
\(T(x)\)：从未完成提示 \(x\) 出发，提前以 \(\dagger\) 结束或达到 \(N\) 的全部终止状态。
\(\mathcal L\)：hom-object 为 \(\pi(y\mid x)\) 的 \([0,1]\)-富集范畴。
\(\mathcal M\)：hom-object 为 \(-\ln\pi(y\mid x)\) 的 \([0,\infty]\)-富集范畴，即 Lawvere 广义度量空间。

B. 三段关键证明链

【论文证明】第一段是终止归一化。设从 \(x\) 到截止还剩 \(m=N-|x|\) 步。\(m=0\) 时 \(T(x)=\{x\}\)；\(m=1\) 时结论就是下一 token 分布归一。归纳步把长度 \(m\) 的未完成叶端按前 \(m-1\) 个 token 分组，再将同一父节点下普通 token 与 \(\dagger\) 的概率相加为一，由此退回 \(m-1\) 的情形。

【论文证明】第二段是 Möbius 求逆。令 \(\delta\) 为单位矩阵，则：

\[ \zeta_t^{-1}=\sum_{k\ge0}(-1)^k(\zeta_t-\delta)^k, \qquad \zeta_t^{-1}(x,y)=\pi(y\mid x)^t\mu_{\mathsf L}(x,y). \] \(\zeta_t-\delta\) 是有限无环有向图的加权邻接矩阵，所以高次幂最终为零；前缀树的 Möbius 函数只在自身与一步延伸处非零。

【论文证明】第三段是 \(t=1\) 的导数。由下式逐项求导，并用 \(\frac{d}{dt}p^t=p^t\ln p\) 与约定 \(0\ln0=0\)：

\[ \operatorname{Mag}(t\mathcal M) =\#\operatorname{ob}(\mathcal M) -\sum_{x\notin T(\bot)}\sum_a p_x(a)^t, \] \[ \operatorname{Mag}'(1) =-\sum_{x\notin T(\bot)}\sum_a p_x(a)\ln p_x(a) =\sum_{x\notin T(\bot)}H(p_x). \]

C. 阅读公式时最容易犯的四个错误

第一，\(\pi(y\mid x)\) 只在终止集合上组成概率质量函数，并非对所有中间文本归一。第二，\(d\) 是有方向、可取无穷的广义距离，不满足对称性要求。第三，本文 magnitude 对提示等权，而通常的序列熵率按到达概率加权；二者不可混称。第四，熵—拓扑联系由两条已证明的 magnitude 表达式建立，但“更高同调消失”仍只是猜想。图示应分别标成“定理”“直觉解释”“开放问题”，不能让视觉上的确定性越过论文的证据等级。

D. 有限性、零概率与“可能输出”

【论文设定】有限词表与固定 \(N\) 使对象、路径以及可出现的总长度 \(\ell\) 都只有有限多个，因而 zeta 逆的路径展开和同调 Euler 特征都是有限和。若某一步 \(p_x(a)=0\)，则对应距离为 \(\infty\)，这条边不进入任何有限 \(\ell\) 的链生成元；但按纯字符串定义，对应叶端仍可属于 \(T(\bot)\)。因此“终止状态数”是组合边界大小，并不等于正概率输出的支持集大小，更不等于模型实际采样若干次后观察到的答案数。

【论文设定】文中讨论标准的右向自回归生成，所以前缀关系形成无环树状骨架。若改成“任意子串包含”，一个文本可能从不同位置嵌入另一个文本；若加入句法子树重排，还可能出现非平凡环。此时 \((\zeta_t-\delta)\) 未必幂零，本文的有限交错路径和不能原样照搬，需要更一般的 Möbius 反演技术。

E. 同调公式的证据等级

【论文证明】论文由直接 magnitude 公式以及已知的 \(H_0,H_1\) 描述，精确改写出：

\[ \operatorname{Mag}(t\mathcal M)= \operatorname{rank}H_{0,0}(\mathcal M) -\sum_{\ell\ge0}e^{-t\ell}\operatorname{rank}H_{1,\ell}(\mathcal M). \] 这是论文式 (15) 的精确等式，并不以高阶同调消失为前提；它只说明高阶项在完整加权 Euler 和中的净贡献相消，不能据此断言每个 \(k\ge2\) 的同调群本身为零。后者仍是猜想。

Sources and theorem map

来源与定理地图

本页数学结论以 Bradley 与 Vigneaux 的正式论文为唯一判定依据。为避免把导读类比误当成原文结论，下面列出正文最关键论断在论文中的位置。

本页主题	论文位置	证据等级
终止状态上的概率归一	命题 2.9	论文证明
语言模型给出 \([0,1]\)-富集范畴	命题 2.16	论文证明
zeta 逆只留下自身与一步延伸	命题 3.6	论文证明
magnitude 与 Tsallis 熵核心公式	命题 3.10；备注 3.11	论文证明
magnitude 同调的 Euler 特征表达	命题 3.14	论文证明
困惑度、局部提示空间、未来方向	第 4 节	论文讨论／展望

Tai-Danae Bradley、Juan Pablo Vigneaux，The Magnitude of Categories of Texts Enriched by Language Models，Theory and Applications of Categories 44 (2025), No. 37, 1256–1281。
作者公开预印本：arXiv:2501.06662。若预印本与 TAC 排版编号有差异，以正式版为准。
面向大众的研究背景可参阅 Quanta Magazine 访谈；它不是本文定理的证明来源。