arXiv · ML· Xiahui Zhu, Zhenyi Qi, Wanwei Liu, Haoang Chi, Yang Tan, Xinyu Sun, Ji Wang·· 2026-10-14AI 评分30
LLM自回归解码的鞅特性:生成随机动力学的刻画
Autoregressive Decoding as a Martingale: Characterizing the Stochastic Dynamics of LLM Generation
AI 导读
研究者将LLM自回归解码过程定义为鞅,并推导出其可预测二次变差项的闭合表达式,该值仅由已实现token概率决定。 在Llama-3.x和Qwen2.5系列模型(1B至72B参数)上进行的白盒实验验证了该理论预测。 这为LLM生成文本检测与不确定性量化提供了严密的数学基础。
来源:arXiv · ML · arxiv.org