跳到正文
arXiv · NLP· Fahd Seddik, Fatemeh Fard·· 6 小时前AI 评分31

LLM 中潜空间思维表征的定义与审计

What Makes a Latent Thought Valid? Defining and Auditing Thought Representations in LLMs

AI 导读

该研究形式化了“有效思维表征空间”,提出因果性、最小性、可分离性和稳定性四个属性及其度量。 对三种无训练和三种有训练方法审计发现,无训练方法未满足上述任一属性,有训练方法在替代性上有所改善。 该框架为潜空间推理方法提供了超越下游任务准确度的理论评估手段,揭示潜在失效模式。

来源:arXiv · NLP · arxiv.org