arXiv · ML· Parsa Rahimi, Azim Dehghani Amirabad·· 6 小时前AI 评分38
知识与推理基准是否会在 LLM 中诱导稳定的表征特征？
Do Knowledge and Reasoning Oriented Benchmarks Induce Stable Representation Signatures in LLMs?
AI 导读
研究发现，在五个 7B 至 31B 的 LLM 中，知识/推理标签无法定义可复用的内部表征特征。 原始探针虽能恢复 MMLU 八类学科划分（macro-F1 0.78-0.81），但提示词文本预测效果相近，激活优势不显著且经词法调整后失去统计意义。 该协议为未来内部监控提供了一组必须通过的测试标准，但无法排除中等效应。
来源：arXiv · ML · arxiv.org