跳到正文
arXiv · ML· Vladimir Kazei·· 17 天前AI 评分31

小语言模型中虚构与拒绝行为的几何结构分析

Geometry of Confabulation and Refusal in Small Language Models

AI 导读

针对小语言模型面对不可回答问题的行为,研究引入 784 项基准 ConfabQA 以解耦知识截止混淆。 实验基于 Qwen3-1.7B、Gemma 2 2B 及 Llama 3.2 3B,使用线性探针和 SAE 映射隐藏状态几何。

来源:arXiv · ML · arxiv.org