跳到正文
arXiv · NLP· Axel Ahlqvist, Richard Guan, Juan-Pablo Rivera, Adeline Kassler, Dmitrii Troitskii, Alexandra Souly, Kai Fronsdal, Robert Kirk, John Hughes·· 10 天前AI 评分31

推理时计算与部署脚手架提升对齐评估真实性

Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds

AI 导读

针对模型识别测试环境的评估意识问题,研究者提出批评优化(critique refinement)和 DISH(部署模仿 SWE-Agent 框架)两种技术。 批评优化利用额外推理时计算生成多候选动作并依据目标模型反馈筛选最似部署的动作;DISH 通过 Agent 框架缩小编码场景下模拟与真实部署环境的差距。

来源:arXiv · NLP · arxiv.org