arXiv · AI· Aizierjiang Aiersilan·· 8 小时前AI 评分33
量化 LLM 中 Hallucination 可从中层隐藏状态线性解码
Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs
AI 导读
研究在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 的 4-bit NF4 量化模型上，验证 Hallucination 信号可从隐藏状态线性解码。
来源：arXiv · AI · arxiv.org