跳到正文
arXiv · ML· Zeyong Zhang, Tung Sum Thomas Kwok, Tengfei Ma, Mengjia Xu·· 2026-10-05AI 评分29

HEST双曲熵探针提升LLM稀疏激活转向效果

Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

AI 导读

研究人员提出双曲熵转向(HEST)框架,通过Poincaré球嵌入模型隐藏状态并基于熵值执行地理测地线移动,优化了稀疏激活转向。在Qwen2.5-Math和Llama-3.1系列指令微调模型上,HEST使MATH-500和GSM8K基准的贪心准确率在六种设置中的五种里提升最高1.8分,且增益集中在模型高熵犹豫问题上。

来源:arXiv · ML · arxiv.org