arXiv · NLP· Toni J. B. Liu, Jiajun Bao, Gurbir Arora, Mitchell Ostrow, Yizhou Liu, Rapha\"el Sarfati, Nicolas Boull\'e, Christopher J. Earls·· 9 小时前AI 评分30
LLM 如何编码并调节一元先验：方向性未知机制分析
The Direction of Ignorance: LLMs Encode and Temper a Unigram Prior
AI 导读
LLM 在信息不足时依赖 unembedding 矩阵中的“方向性未知”作为一元先验。该现象在 0.4B 至 405B 参数的 Llama、Qwen、Gemma 和 Pythia 模型中普遍存在。
来源：arXiv · NLP · arxiv.org