跳到正文
arXiv · NLP· Marcus Armstrong, Navid Ayoobi, Pradham Mummaleti, Alexander Chulzhanov, Arjun Mukherjee·· 2026-10-06AI 评分40

LLM 隐藏状态中的几何答案选择:正确性方向研究

Correctness Is a Direction: Geometric Answer Selection in Language Models

AI 导读

语言模型隐藏状态中的答案正确性可恢复为几何方向。基于 50 个标注样本在约 70% 模型深度计算的平均位移方向,在 ARC-Challenge 和 MMLU 事实基准上比零样本对数概率评分高至多 32.0 个百分点,在 TruthfulQA 上高 38.1 至 51.8 个百分点。

来源:arXiv · NLP · arxiv.org