跳到正文
11月17日周二
  1. arXiv · NLP33

    EndoUT 如何利用内生偏好发现 LLM 的通用对抗触发器

    EndoUT 提出基于内生偏好扰动的框架,发现可跨输入复用的 LLM 通用对抗触发器。 在 4 个指令调优模型和 9 个基准上,固定触发器使无害任务效用平均降低 40.2 个百分点,且优于所有评估基线。 消融实验表明,源端选择后固定复用的策略在跨提案者迁移中比空上下文固定复用或逐输入生成具有更强的迁移效果。

  2. arXiv · NLP33

    视觉语言模型与失语症患者在词汇生成架构上的解离对比研究

    研究者提出“计算架构解离”方法,利用视觉语言模型的架构特性预测失语症患者的错误类型。 使用 LLaVA 1.6 (Vicuna-13B) 对 88 名患者和 175 个命名项目进行了约 3700 万次测试。结果显示 8 种错误类别中有 6 种在语义阶段与患者模式显著对齐(Spearman ρ = 0.32-0.50),但音韵编码阶段无对齐。

  3. arXiv · NLP39

    大语言模型自动化文献筛选与知识合成框架

    该 LLM 驱动的自动化框架在三项材料科学筛选任务中表现优异,11 个模型中 7 个平衡准确率超 0.90,最高达 0.96-0.98。 框架在 4 分钟内完成 10,000 条记录筛选,对比人工所需的 83 人时,效率提升显著。 通过提取全文结构化信息,该框架可揭示方法趋势,支持假设发展与数据驱动发现。

  4. arXiv · NLP27

    研究揭示 LLM 中的认知幼稚化偏见:残障披露导致技术深度下降

    研究通过构建反事实数据集,发现大语言模型在残障用户披露身份后,会以更高层级的摘要替代形式化解释,导致认知可及性降低。 研究提出“认知幼稚化偏见指数”和“认知可及性响应得分”两个复合指标,在五个开源权重模型族中验证了该效应,其中物理和数学领域受影响最大。 该现象揭示了“包容性税收”,即残障用户需比非残障用户更明确地请求严谨内容,可及性应意味着格式适应而非内容简化。

11月16日周一
  1. arXiv · NLP40

    HackWorld:评测计算机使用代理利用 Web 应用漏洞的框架

    HackWorld 发布首个系统化评测计算机使用代理(CUA)利用 Web 应用漏洞的框架,包含 36 个真实应用、11 种框架和 7 种语言,采用 CTF 形式测试视觉交互下的漏洞利用能力。 评测结果显示,最先进 CUA 的漏洞利用率低于 12%,且常失败于多步攻击规划,暴露出当前代理在网络安全场景中的显著局限。

  2. arXiv · NLP20

    临床问答中LLM长上下文理解能力研究

    研究发现,在纵向患者电子健康记录上,RAG混合排序优于全上下文提示,但RAG在纵向推理方面落后。 医学微调模型未带来可测量的性能提升,较小模型表现出更强记忆能力,长程补充笔记有助于生成式问答。 推理模型在LLM正确性指标下提升,但在更严格的参考对齐指标下表现不佳,揭示了对推理适配指标的需求。

  3. arXiv · NLP20

    基于LLM评判员认知集成框架的数学自动形式化评估方法

    研究提出基于认知与形式化基础的LLM评判员集成(EFG)方法,用于自动评估数学陈述的自动形式化任务。 该框架基于逻辑保持(LP)、数学一致性(MC)、形式质量(FQ)和形式有效性(FV)标准,实验证明其比粗粒度模型更具优势。 LLM评判员在明确原子属性引导下,可为形式化数学推理提供可扩展、可解释且可靠的评估支持。

  4. arXiv · NLP26

    PerfArena 开源 LLM 代码性能竞技场

    PerfArena 发布开源 LLM 代码性能评测竞技场,基于正确性、时延、内存和能耗对 13 个模型进行跨语言排名。 在 10 个 CLBGComp 基准和 99 个 LeetCodeComp 问题中,got-6-astra 是唯一在时延、能耗和内存上未被显著超越的模型,且解决率分别达 100% 和 99.7%。 该榜单持续更新,帮助开发者依据性能指标而非仅价格选择 LLM。

  5. arXiv · NLP26

    LitArc-Bench:解耦文学阅读中的文本特异性动态与位置及词汇情感影响

    LitArc-Bench 推出 39 段中文文学节选,包含 81 名成人填写的 430 份问卷及 9,020 个 VAD 评分,用于分离模型预测中叙事位置、词汇情感与文本特异性动态的影响。 基准测试显示,仅靠位置预测唤醒度相关系数 r=.470,但模型在文本不变量阴性对照中表现达到随机水平。 该工具明确了文学读者反应中哪些成分可在浅层解释之外被恢复,指出形状、校准与人类变异性需分开评估。

  6. arXiv · NLP20

    NER-D:德语命名实体识别跨领域基准测试

    NER-D 基准测试涵盖 9 个领域的 13 个数据集,用于评估德语命名实体识别模型。 测试对比了 GPT-5.4 mini 与开源小模型,结果显示 GPT-5.4 mini 在 13 个数据集中的 6 个上表现更优。 LoRA 微调使小型模型性能大幅超越专有模型基准,且基准测试资源已公开可用。

  7. arXiv · NLP33

    Concertina 通过折叠教师模型权重实现高效知识蒸馏

    提出 Concertina 方法,将 N 层教师模型折叠为单共享块,并在 Qwen3-4B 上验证其有效性。 该方法的 2.27B 学生模型在 22B tokens 上蒸馏,保留教师 90% 的常识/数学推理能力,八项基准平均 84%,超越 Qwen3-1.7B 基线。 代码已开源,证明紧凑模型无需大规模重训,折叠自身并配合正确数据即可恢复大部分能力。

  8. arXiv · NLP36

    LLM 身份指纹的传染性:模型如何继承前序对话者的特征

    研究发现 LLM 身份指纹具有传染性,模型会继承前序对话者的特征,导致 API 中继审计失效。 DeepSeek 替换 Claude Sonnet 时,检测器识别率从 0.97 降至 0.72;Haiku 降级后从 0.87 降至 0.54。 提出的 Lineup 方法通过对比相同历史下的参考分布进行审计,假阳性率为 0.056,有效识别 0.81 的替换会话。

  9. arXiv · NLP20

    Agent-as-a-Judge:定义智能体主动评测框架

    Agent-as-a-Judge 提出主动评测范式,通过多智能体协作、工具集成与规划获取缺失证据,弥补固定上下文 LLM 判官的不足。 该框架定义了结构化工作流与观察驱动控制的设计空间,并整理复现关键智能体判官的基准分数,揭示了不均衡的智能体增益。 研究指明了成本、可靠性及治理等开放挑战,为大规模部署可信智能体判官提供依据。

  10. arXiv · NLP37

    FEND:外呼语音AI场景下的远端目标检测框架

    FEND框架通过分析音频与流式转录识别外呼远端身份,20秒内输出语音信箱、IVR、AI或真人四类标签。 在公开基准测试中,其语音信箱检测准确率达100%且零真人误判;AI callee识别利用语音时序特征达到0.952 ROC-AUC。 生产环境数据显示真人误判为自动化标签的比例仅为2.9%,显著优于标准AMD仅区分人机二值标签的局限性。

  11. arXiv · NLP25

    人类标注变异性研究:文本与视觉蕴含中的差异及 VariNLI-VE 数据集

    研究团队发布 VariNLI-VE 数据集,包含 2,250 个针对 SNLI 文本及其视觉对应项的重标注结果,涵盖标签、置信度及解释。 数据显示,视觉蕴含任务中人类标注分歧并未如预期般减少,且标注者常保留相同标签但改变解释理由。 评估发现,视觉语言模型在视觉蕴含任务中准确性较低,与人类标签分布一致性较弱,且不确定性高于文本任务。

  12. arXiv · NLP26

    RAG-FGO: 生成式 RAG 中查询重写智能体的动态优化

    RAG-FGO 提出了一种针对生成式 RAG 查询重写智能体的动态优化框架。 该框架将查询重写建模为混合离散-连续空间中的黑盒优化问题,引入精英保留内存池以缓解噪声反馈对优化稳定性的影响。 实验结果验证了该方法在多样化 benchmark 上的有效性与鲁棒性。

  13. arXiv · NLP25

    追踪 LLM 中的知识与推理过程

    研究人员提出一种任务中心框架,结合注意力、激活和表征信号,用于刻画 16 个 LLM 在 24 个基准测试中的内部处理模式。 该框架揭示从检索主导到推理主导的连续谱系,并发现知识密集型与推理密集型任务存在系统性处理差异,有助于优化基准选择与模型评估。 代码已开源,论文被 TACL 接收。

  14. arXiv · ML29

    多模态大语言模型中的对齐幻觉:几何诊断而非内容互作

    研究通过视觉流干预揭示多模态大语言模型中的“对齐幻觉”,表明层间视觉-文本相似度无法一致区分受损与原始流。 在13个涵盖0.5B至72B参数、来自五个系列的模型中,以高斯噪声替换投影器输出的视觉token虽显著降低任务准确率,但CKA、SVCCA、MIR及主夹角余弦四项标准标量指标均未有效捕捉该差异。

  15. arXiv · ML20

    UltraBench 2:面向超声视觉基础模型鲁棒评测的基准

    研究人员发布 UltraBench 2,用于统一评估超声图像分析中的视觉基础模型,涵盖多解剖部位与任务。 该基准强调标准化与可复现性。分析显示,超声专用预训练在分类任务上仍占优势,而通用模型在分割任务上已达到同等水平。 该成果已被 ML4H 2026 会议接收,有助于解决现有评测碎片化问题。

  16. arXiv · ML29

    BBOWP-Bench 评测 LLM 在 Black-Box Optimization Word Problems 中的表现

    研究团队提出 BBOWP-Bench 基准测试,评估 LLM 从自然语言推导 Black-Box Optimization 问题中搜索空间与优化算法的能力。 该基准包含问题描述、执行环境及人工参考方案,覆盖多个 BBO 领域;评测显示 LLM 会随预算调整算法选择,但在描述模糊时难以确定关键变量及范围。 BBOWP-Bench 代码与数据集已公开,论文被 NeurIPS 2026 接收。

  17. arXiv · ML26

    MMAO-Cls 用于分类模型选择的混合空间优化

    MMAO-Cls 在七个标准表格基准测试中,集成验证目标得分 0.9433,排名第二仅次于 GA-lite (0.9446)。 其在留一法测试中平均得分为 0.8882,优于 RandomSearch (0.8808) 和 GA-lite (0.8857),且使用最紧凑的特征子集(特征比率 0.4881)。 结果表明该多智能体优化器适用于分类任务,但社区共享对测试性能的具体贡献尚未完全解决。

  18. arXiv · ML26

    SA-RAG:为检索增强生成构建嘈杂对话的结构化方法

    SA-RAG通过从嘈杂对话数据中直接构建表格结构,解决了传统RAG在处理噪声上下文时的可靠性问题。 该框架结合质量感知的结构归纳方法,同时支持免训练和基于训练的结构生成策略,在两个真实数据集上显著优于现有RAG基线。 结果表明,高质量的结构化表示对鲁棒RAG应用至关重要。

  19. arXiv · ML25

    自动可微数据同化:状态、动力学与滤波算法的协同学习

    提出自动可微滤波框架,通过基于自动微分的梯度优化,从部分噪声观测中联合学习动态系统状态、动力学模型及滤波参数。 框架利用理论驱动的损失函数,在Clohessy-Wiltshire方程、Lorenz-96系统、Lotka-Volterra方程及准地转模型等跨领域实验中验证了通用性,并为定制滤波算法提供了指南。