跳到正文
arXiv · ML· Abdullah X·· 24 天前AI 评分26

Markovian Circuit Tracing:测试 Transformer 状态抽象的基准

Markovian Circuit Tracing: Ground-Truth Tests of Transformer State Abstractions

AI 导读

研究提出 Markovian Circuit Tracing 基准,通过训练小规模因果 Transformer 测试激活值是否支持可恢复的状态抽象。 在易观测条件下,模型恢复的真实转移矩阵 KL 散度为 0.114;中等条件下为 0.221,而困难条件下性能崩溃,与随机对照组持平。 该基准用于判断何时支持状态机解释,何时拒绝,为机制可解释性提供了区分因果有用性与可访问性的测试工具。

来源:arXiv · ML · arxiv.org