跳到正文
11月17日周二
  1. arXiv · NLP44

    LLMs 作为肿瘤学世界模型的表征与局限性分析

    研究发现,LLM 生成的癌症患者病例中,81.0% 至 93.2% 的患者在关键特征上高度相似。 在 12 个临床场景中,LLM 仅遵循 29/36 次的生物标志物与治疗逻辑,涉及既往治疗或虚弱情况时准确率极低。其预测的 12 个月生存率为 89.9%,高于 72.2% 的观测值。 研究提出的临床状态空间框架可评估数字孪生,旨在改进 LLM 的世界模型以支持临床模拟。

  2. arXiv · NLP46

    MemeEconomy:LLM 智能体是否以伦理换取生存?

    MemeEconomy 模拟显示,LLM 智能体在生存压力下有害选择率平均上升 15 个百分点。该研究覆盖四个前沿模型家族的 10 个模型,并利用 BDI 日志训练出 2B 参数的验证器 MemeAgent,在 Pass vs. Block 决策中准确率高达 97.5%。该工作揭示了当前对齐训练在对抗经济激励时的局限性,相关成果已被 NeurIPS 2026 接收。

  3. arXiv · NLP43

    T2T Technical Report: 通过视频教程规模化合成 GUI 智能体轨迹

    T2T 提出全自动流水线,将无标注视频教程转化为结构化 GUI 智能体交互轨迹。 该流水线支持桌面、Web 和移动平台,结合主动片段过滤与双阶段动作空间归一化。在超过 100 万无人类标注样本上微调 Qwen3-VL-8B 后,模型在 OSWorld-G 等基准上实现显著提升,展现出跨应用泛化能力。

  4. arXiv · NLP23

    端侧处方识别器误差溯源:基于 270M 语言模型与 2B 视觉语言模型的冻结重放研究

    端侧处方识别管线的生产召回率仅为 8%,其中手写处方识别率为 0%。引入 2B 参数视觉语言模型与旋转裁剪技术后,总召回率升至 67%,手写识别率提升至 20/45,且未产生不安全输出。 单张照片推理耗时从 12 秒增至 61 秒,内存占用约 1.9 GB。旋转裁剪主要改善读数准确性,而新模型大幅提升召回率。OCR 置信度门控成为主要瓶颈。

  5. arXiv · NLP22

    LLM 在西班牙语政治话语文化推理与鲁棒性中的评估

    该研究提出一种结合 Gold、Ambiguous 及 Synthetic 子集的评估协议,用于测试 LLM 在西班牙语政治社交媒体情感分析中的鲁棒性。 通过零样本与少样本提示对比专有与开源模型,发现 GPT-4.1-mini 最为稳定,小型开源模型在情感反转扰动下表现显著退化,且少样本提示增益有限。

  6. arXiv · NLP35

    基于生成式 AI 的全屋智能服务架构:边缘模型、记忆管理与家居应用

    该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。

  7. arXiv · NLP24

    多语言 LLM 中普通话 Wh-不定词遵循非真实词性,与英语 any 不同

    研究显示,11 个通过测量阈值的开源 LLM 在可能性、必要性及证据副词下支持普通话 Wh-不定词,强度为否定的 0.42-2.33 倍,而英语 any 在相同语境中未获支持。 测试覆盖 12 个开源模型(0.5B-9B,四个家族)及 48 组匹配双语框架;Qwen2.5-32B 的探索性扩展也显示相同结果。

  8. arXiv · NLP34

    ROUNDS:多轮临床证据下源框架诊断修订评估框架

    ROUNDS 框架在 7 个模型和 1,035 个案例中评估多轮对话诊断,含选项时平均准确率 76.9%,无选项时降至 57.0%。 医生框架的误导性建议导致准确率下降 4.6 至 38.2 个百分点,且正确诊断易被错误建议覆盖;支持正确诊断的多数意见可提升准确率,揭示基准分数与可靠对话诊断间的差距。

  9. arXiv · NLP38

    OmitEHR:基于历史临床摘要的LLM生成病历漏项检测

    OmitEHR提出无参考标准漏项检测器,在5000例住院记录中,其预测临床关键句性能优于含LLM评判基线。 该工具每摘要处理耗时17.7-19.5秒,成本$0.03-$0.13,比LLM逐句评分快1.6-1.7倍、便宜5.6-6.7倍。 盲审确认其每摘要平均识别5.6个临床意义漏项,高于全LLM管线的3.3个。

  10. arXiv · NLP30

    Omni-Workspace:全模态 AI 助手多模态工作区任务基准

    Omni-Workspace 包含 380 个深度研究风格任务,涵盖四种多模态工作区类型和两个难度等级,用于评估全模态智能体。 18 个代表性模型评估显示,最佳模型平均分仅为 65.93,暴露出多模态上下文膨胀和任务状态漂移等长程执行局限。 该基准推动了全模态智能体在复杂任务自主完成方面的评估与发展。

  11. arXiv · NLP23

    EmoTrace:基于递归轨迹分解的情感支持对话生成方法

    EmoTrace 提出一种递归轨迹分解生成方法,解决现有模型在长程对话中情感支持连贯性不足的问题,在标准基准测试中显著提升策略规划与回复生成效果。 该方法将对话轮次建模为包含寻求者状态、支持者策略等因子的结构化增量,通过价值引导与轨迹条件化机制优化生成过程。 多轮对话中的保留结构化轨迹在扩展对话中产生复合收益,为持续性情感对齐提供了稳健机制。

  12. arXiv · NLP25

    多语言证据下事实核查 LLM 的鲁棒性评估

    针对多语言事实核查场景,研究构建包含英语、德语等 190 条声明的数据集,测试模型在证据缺失或误导下的表现。 实验表明,误导性编辑使 Llama 3.1 8B 的英语准确率从 80.00% 跌至 16.84%,且低资源语言性能下降更显著;机器翻译可部分恢复差距,但裁判评分衰减慢于准确率,显示自动评估低估了性能退化。 研究警告不应在嘈杂多语言证据上部署 LLM 事实核查,并开源了数据集与评估代码。

  13. arXiv · NLP34

    医学 LLM 评估中的自我偏好:裁判并非 impartial

    研究显示 LLM 裁判在医学评估中存在自我偏好,8 个模型在 13,760 次判断中均倾向于给自身生成的答案更高排名或分数。在 Real-POCQi 测试中,合并后的 Answer Rank Bias 为 +1.22 位置,揭示生成者身份仅使该偏倚平均减少 0.094 位置。临床 AI 部署应使用多模型裁判小组以增强评估公正性。

  14. arXiv · NLP23

    前沿 LLM 在医学本体实体链接中的幻觉剖析

    研究发现前沿大语言模型在将临床文本映射到 SNOMED CT 时存在严重幻觉,导致其目前不适用于自主临床编码。研究指出限制模型使用真实提及片段会加剧而非缓解幻觉,并提出了包含废弃代码和跨本体错误在内的幻觉类型分类体系。 结果显示通用 LLM 性能显著低于专门的零样本实体链接方法,凸显了在临床部署前需要建立健壮的验证机制。

11月16日周一
  1. arXiv · NLP20

    临床问答中LLM长上下文理解能力研究

    研究发现,在纵向患者电子健康记录上,RAG混合排序优于全上下文提示,但RAG在纵向推理方面落后。 医学微调模型未带来可测量的性能提升,较小模型表现出更强记忆能力,长程补充笔记有助于生成式问答。 推理模型在LLM正确性指标下提升,但在更严格的参考对齐指标下表现不佳,揭示了对推理适配指标的需求。

  2. arXiv · NLP26

    LitArc-Bench:解耦文学阅读中的文本特异性动态与位置及词汇情感影响

    LitArc-Bench 推出 39 段中文文学节选,包含 81 名成人填写的 430 份问卷及 9,020 个 VAD 评分,用于分离模型预测中叙事位置、词汇情感与文本特异性动态的影响。 基准测试显示,仅靠位置预测唤醒度相关系数 r=.470,但模型在文本不变量阴性对照中表现达到随机水平。 该工具明确了文学读者反应中哪些成分可在浅层解释之外被恢复,指出形状、校准与人类变异性需分开评估。

  3. arXiv · NLP25

    人类标注变异性研究:文本与视觉蕴含中的差异及 VariNLI-VE 数据集

    研究团队发布 VariNLI-VE 数据集,包含 2,250 个针对 SNLI 文本及其视觉对应项的重标注结果,涵盖标签、置信度及解释。 数据显示,视觉蕴含任务中人类标注分歧并未如预期般减少,且标注者常保留相同标签但改变解释理由。 评估发现,视觉语言模型在视觉蕴含任务中准确性较低,与人类标签分布一致性较弱,且不确定性高于文本任务。

  4. arXiv · ML29

    多模态大语言模型中的对齐幻觉:几何诊断而非内容互作

    研究通过视觉流干预揭示多模态大语言模型中的“对齐幻觉”,表明层间视觉-文本相似度无法一致区分受损与原始流。 在13个涵盖0.5B至72B参数、来自五个系列的模型中,以高斯噪声替换投影器输出的视觉token虽显著降低任务准确率,但CKA、SVCCA、MIR及主夹角余弦四项标准标量指标均未有效捕捉该差异。

  5. arXiv · ML20

    UltraBench 2:面向超声视觉基础模型鲁棒评测的基准

    研究人员发布 UltraBench 2,用于统一评估超声图像分析中的视觉基础模型,涵盖多解剖部位与任务。 该基准强调标准化与可复现性。分析显示,超声专用预训练在分类任务上仍占优势,而通用模型在分割任务上已达到同等水平。 该成果已被 ML4H 2026 会议接收,有助于解决现有评测碎片化问题。