跳到正文
arXiv · ML· Lan Wu, Bruce Changlong Xu·· 7 小时前AI 评分30

机器学习模型行为一致性:推理内核差异对输出分布的影响

Behavioral Consistency in Machine Learning

AI 导读

相同权重因执行内核不同导致next-token分布产生偏差,现有模型描述忽略这种依赖。 研究通过内核契约限制推理漂移,并在Qwen2.5-7B-Instruct上验证了logit差异与KL散度的非渐近界。

来源:arXiv · ML · arxiv.org