跳到正文
arXiv · ML· Baichuan Li, Yanling Chang, Alfredo Garcia·· 17 天前AI 评分27

将变分贝叶斯智能体蒸馏至 8B 语言模型以提升信息交互能力

Learning What to Ask and What to Believe: Distilling a Variational Bayesian Agent into Language Models

AI 导读

变分贝叶斯信息搜索可被蒸馏至 8B 语言模型,通过结构化的信念状态 scratchpad 提升交互任务表现。 在 Multi-Turn Puzzles 测试中,学生模型将 Circuit Decoding 成功率从 0.00 提升至 0.93,并将词语猜测尝试次数从 32 次降至 3.4 次,性能超越最强已报告的语言模型。

来源:arXiv · ML · arxiv.org