arXiv · ML· Mufei Li, Nikki Lijing Kuang, Zhuoer Wang, Samson Koelle, Jie Yuan, Manqing Mao, Hong Wang, Yanjun Lin, James Feng, Daniel Edmiston, Pan Li, Wei Niu·· 9 天前AI 评分28
多轮在线策略蒸馏中动作序列对齐作为成功参考选择的准则
Which Successes Make Good References? Action-Sequence Alignment for Multi-Turn On-Policy Distillation
AI 导读
在 ALFWorld 和 airline 域实验显示,LCS 是唯一在两者上均优于无参考 OPD 的选择器。 LCS 基于最长公共子序列,识别动作共享骨干并允许可恢复偏离,作为隐藏状态兼容性的可观测代理。 在 airline 域训练的模型无需额外优化即可迁移到 retail 域,且 LCS 提升该域全部三项指标。
来源:arXiv · ML · arxiv.org