arXiv · ML· Jingquan Yan, Yuwei Miao, Yang Xie, Junzhou Huang·· 17 天前AI 评分23
精确似然训练:一种用于舍入、有界及截断数值标签的自回归语言模型方法
Training Autoregressive Language Models on Rounded, Bounded, and Censored Numerical Labels via Exact Likelihood
AI 导读
提出边界边缘化方法,首次实现自回归语言模型基于舍入、有界及截断数值标签的精确似然训练。 该方法通过固定宽度且保持顺序的数字表示分组连续网格值,利用至多两个长度对数级的边界路径计算精确概率与梯度。 实验表明,该方法可从舍入和截断报告中恢复条件分布,在支持一百万数值时仍能保持计算可行性。
来源:arXiv · ML · arxiv.org