跳到正文
arXiv · ML· Mufei Li, Nikki Lijing Kuang, Zhuoer Wang, Samson Koelle, Jie Yuan, Manqing Mao, Hong Wang, Yanjun Lin, James Feng, Daniel Edmiston, Pan Li, Wei Niu·· 9 天前AI 评分28

多轮在线策略蒸馏中动作序列对齐作为成功参考选择的准则

Which Successes Make Good References? Action-Sequence Alignment for Multi-Turn On-Policy Distillation

AI 导读

在 ALFWorld 和 airline 域实验显示,LCS 是唯一在两者上均优于无参考 OPD 的选择器。 LCS 基于最长公共子序列,识别动作共享骨干并允许可恢复偏离,作为隐藏状态兼容性的可观测代理。 在 airline 域训练的模型无需额外优化即可迁移到 retail 域,且 LCS 提升该域全部三项指标。

来源:arXiv · ML · arxiv.org