跳到正文
arXiv · ML· Ilan Doron-Arad, Idan Mehalel, Elchanan Mossel·· 11 天前AI 评分34

Stochastic Autoregressive Learning 提出二值随机自回归学习的 PAC 学习模型

Stochastic Autoregressive Learning

AI 导读

针对 LLM 迭代采样特性,论文引入二值随机自回归学习的 PAC 模型,推广确定性框架。 考虑链式思维(CoT)等三种监督形式,研究在 KL 散度下学习一步概率及最终 token 概率所需的最小样本数。 证明随机学习在比例关系上与确定性理论存在本质差异,并给出紧确样本复杂度上界。

来源:arXiv · ML · arxiv.org