arXiv · NLP· Sugam Panthi, Muhaiminul Yeamin, Rabab Abdelfattah·· 2026-10-06AI 评分21
LLM 能否区分粘贴内容与用户语音?SEAM 基准揭示未标记提示缝隙中的吸收现象
Can LLMs Separate Pasted Artifacts from User Speech? Absorption at Unmarked Prompt Seams
AI 导读
该研究针对大语言模型(LLM)将用户后续注释误并入粘贴文本的现象(吸收),引入了包含 300 个编辑示例的 SEAM 受控基准。 在 20 个模型中,仅用换行符分隔时吸收率高达 7.7% 至 66.7%,添加空行无显著改善,而 19 个模型在添加边界标记后吸收率下降,17 个模型对代码注释等贴合文本吸收更严重。 实验表明明确边界虽能降低但无法消除这一失败模式。
来源:arXiv · NLP · arxiv.org