arXiv · AI· Kaiyang Wan, Forrest Sheng Bao, Amin Ahmad, Yuxia Wang·· 4 小时前AI 评分24
微调目标如何塑造 LLM 幻觉检测中的层级信息
How Fine-Tuning Objectives Shape Layer-Wise Information in LLM Hallucination Detection
AI 导读
研究证实分类器头微调范式在二元幻觉检测中优于 LLM-as-Judge 序列到序列方法，归因于其诱导出的清晰双簇几何结构。 分析揭示任务信息在窄中层窗口涌现，移除该窗口上方 31% 网络层后，Qwen3-4B 和 8B 模型准确率不变且延迟降低 1.4 倍。 该深度比例迁移至 Llama-3.2-3B 和 Mistral-7B-v0.3 模型，为高效任务特定 LLM 设计提供指导。
来源：arXiv · AI · arxiv.org