arXiv · NLP· Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang·· 13 小时前AI 评分30
大语言模型上下文学习与离上下文幻觉的机制分析
A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
AI 导读
研究提出统一视角解析大语言模型在上下文学习(ICL)与离上下文幻觉(OOC)中的功能角色机制。 关键观察显示角色信息内部表示无法可靠约束输出,需满足贡献幅度与符号聚合一致性。因果分析表明角色跨度贡献影响响应结构、内容选择及事实值等关键决策。
来源:arXiv · NLP · arxiv.org