arXiv · AI· Jinwoo Hwang, Sukmin Cho, Tao Zhang, Soheil Abbasloo, Jongse Park, Peng Cheng·· 10 天前AI 评分28
SIRIS: 评估 LLM 在 AI 驱动系统研究中区分仿真误差重要性的能力
SIRIS: Can LLMs Tell When Simulation Errors Matter in AI-Driven Systems Research
AI 导读
SIRIS 评估 13 款前沿 LLM 在 LLM 服务设计问题中判断仿真误差影响的能力。结果显示识别局限无法确保正确选择,最强模型有时也会放弃有效推荐。 通过引入审查回合的自我纠错,部分模型恢复了有效选择,但其他模型引入了新错误。
来源:arXiv · AI · arxiv.org