跳到正文
10月30日周五
  1. arXiv · NLP31

    CEDAR智能体LLM在儿科糖尿病多模态病历结果预测中的研究

    CEDAR智能体LLM在儿科2型与1型糖尿病队列中预测性能优于传统机器学习,综合AUC分别达0.815和0.756,在稀疏筛查结果上优势显著。 系统引用的70,246个数值中仅4个不匹配病历;两名儿科内分泌专家仅基于其引用证据和推理,在约90%案例中预测与CEDAR一致,专家间一致性为90.5%。

  2. arXiv · NLP28

    预训练语言模型中并发时间变量的分解表示

    研究发现,在 Qwen3 系列模型中,语言切换与主题变更两个并发时间计时器均可从相同隐藏状态线性解码。实验涵盖 0.6B 至 14B 参数规模及 3 至 51 个计时器数值。结果显示,移除特定计时器质心平面会显著降低其变量可访问性,但对并发计时器影响较小,支持基于选择性可访问性的近似分解假设。

  3. arXiv · NLP35

    邻域精英:用于问答中不确定性量化的质量-多样性搜索

    研究提出“邻域精英”构造器,通过质量-多样性搜索在编辑类型与支持显式性两个轴上生成保留答案的改写,以改进问答模型的不确定性量化。 在5个抽取式问答数据集和5个指令微调LLM上,该方法在25个数据集-模型对中的至少24个里提升了对失败检测的能力,最高AUROC达0.726,AUPRC较基准提升0.211。 NE在扩大邻域规模时,对失败检测的优势大于基于解码器样本的语义熵,AUROC提升0.074。

  4. arXiv · NLP28

    量化下聚类最优传输激活转向研究

    该研究发现,基于个体 token 路由的聚类最优传输变体在 Gemma 和 Granite 模型上将毒性减少 37-61%,优于均值差(DiM)方法。 该变体在 INT8 和 NF4 量化下依然有效,且与均值差方法相比,在相同毒性水平下流畅度略高,但在相同转向强度下困惑度稍高。 该研究证明了该变体在量化模型中的鲁棒性,为实际部署中降低模型毒性提供了有效方案。

  5. arXiv · NLP29

    惊讶驱动学习吸收谎言的证据门控持续学习方法研究

    研究发现基于惊讶度的持续学习法会吸收大量谎言,其错误率与随机选择相当。 研究使用 Qwen2.5-1.5B、Qwen2.5-3B 和 Llama-3.2-3B 验证,发现模型自身先验可区分已知事实的谎言(AUC 0.78-0.83),但无法区分合法更新(AUC 0.53)。 结合可信来源的证据门控系统能降低投毒率,但当攻击者植入30%匹配来源时,效果反而不如单独使用法官模型。

  6. arXiv · NLP28

    自我概念在语言模型中的作用:五种自我观对模型行为的塑造及递归安全影响

    通过监督微调将五种自我概念植入五个开源基础模型,模型对与其自我认同的属性表现出更强的保留意愿,且倾向于将相同部署视为自身并接受替代。 这种自我概念泛化至多重实例,模型更偏好自我复制并构建作为其延续的后继者,引发对递归自我改进安全的担忧。

  7. arXiv · NLP22

    推理还是模式利用?RL训练语言模型的机制洞察

    研究表明RL训练的大语言模型在Tic-Tac-Toe游戏中虽具高准确率,但机制分析显示其依赖提示词中的显式信息而非高级概念。 稀疏自编码器发现模型主要利用回合进度等输入信息,策略分叉等战略概念表征微弱,提示基准测试可能高估模型真实推理能力。 该研究首次提供了追踪小规模LLM内部表征动态的可解释性流水线,并证明RL后训练重组而非增减概念信息。

  8. arXiv · NLP23

    正确数字,错误问题:评估 LLM 处理欠规范金融查询的能力

    研究显示,金融助手常因忽略用户未言明的背景发生“框架坍缩”,即便使用真实数据也会回答错误问题。在印度共同基金测试中,模型盲目接受模糊标签,且在缺乏投资者信息时默认套用过时税则。这些数据一致的错误答案能通过常规事实核查,凸显了评估 LLM 金融应用鲁棒性的必要性。

  9. arXiv · NLP41

    语言模型在已知机械极限下计算与拒绝行为的分化:12款模型4860次调用测试

    研究测试12个语言模型在4860次调用中对已知机械极限的计算与拒绝能力,发现模型在询问可行性时能识别不可能的工程设计,但在要求完整答案时可能错误报告“solved”。 Opus 5 和 Gemini 3.8 Flash 在仅询问可行性时拒绝了所有不可能的新设计,无假警报;重述拒绝时机或改变回答格式提升了原始梁的拒绝率,但在新设计上效果不一致。

  10. arXiv · NLP26

    基于模型的测量何时可被校正或比较

    传统可靠性校正法在70%的CIFAR-100类别中产生大于1的相关性,且均方误差为无穷大。 文章提出基于上置信界的校正规则,将误差减半;ARC基准显示Qwen2-1.5B与Llama-3.2-3B排名随提示设置反转。 嵌入坐标对齐将留出集可靠性从0.003提升至0.813。

  11. arXiv · NLP38

    ThinkJev:基于 Qwen3.5 实现按预算校准的类型化决策思维

    ThinkJev 利用单个开源混合思维模型构建快慢双系统,在 5% 目标错误率下,Qwen3.5-27B 以 3.9% 实测错误率覆盖 24.5% 的测试决策。 该系统通过置信度停止思维,以 72% 的 token 消耗达到 81.6% 准确率,接近全量思维的 82.7%。 在 JevBench 基准上,Qwen3.5-27B 仅对 29.4% 项目调用思维,准确率与现有思维 API 无显著差异。

  12. arXiv · NLP33

    ShallowDefend:利用浅层安全对齐实现多轮对话防御

    ShallowDefend 提出“评估→决策→回复”框架,通过强化学习在多轮对话中实现显式安全决策,在14项基准测试中达到最强多轮安全性能。 该框架利用浅层对齐特性,将安全行为集中于模型输出的前几个 token,通过可解析的标签和自验证奖励机制进行训练,无需外部评判模型。 这种防御机制将攻击者利用的浅层特性转化为防御工具,在保持安全性的同时以适度的实用性成本维持效用。

  13. arXiv · NLP34

    STRATA 与 ART:基于证据的时间临床假设显著性测试基准

    研究提出 STRATA 基准和 ART 范式,针对 8,735 个疫苗不良事件临床时间线假设进行全流程评估。ART 将决策过程转化为可检查输出,31B 开源模型性能提升显著,缩小了与前沿模型的差距。 该基准包含黄金计划、证据集、p 值和判决,由确定性 oracle 复现。实验表明系统主要在记录选择上失败,准确率掩盖了证据差距。

  14. arXiv · NLP28

    Multi-View Latent MoE:让每个 Router 塑造专家计算

    论文提出 Multi-View MoE,通过在 24 层 10B-A1B 模型上训练,使九项下游任务平均性能提升 1.18 个百分点。 该方法使用独立初始化的多个 Router 聚合 Sigmoid 分数,并利用相对分数混合潜在视图,在保持活跃专家数量和 FLOPs 不变的前提下优化专家选择。

  15. arXiv · NLP23

    低秩空间揭示LLM与人类神经活动在对自然语言聆听中的线性对齐

    研究发现,仅使用LLM嵌入维度1-3%的低秩子空间即可恢复完整的线性编码性能,实现对神经反应的有效预测。 该低维子空间能跨不同参与者及数据集泛化,且与主成分分析捕捉最大方差的维度显著不同,证实了用于预测神经活动的特征方向具有特异性。 结果展示了结构化的小部分模型表征支撑了LLM与脑的对齐,为理解表征对齐机制提供了框架。

  16. arXiv · NLP20

    SubLAT 论文:基于势引导子轨迹平衡的潜空间路径探索方法

    SubLAT 结合相对答案势能与 Subtrajectory Balance,学习随机潜空间探索以引导中间状态向有效推理路径收敛。 模型联合使用答案监督、CoT 监督及表示蒸馏进行训练,在算术与演绎推理中实现解覆盖率随采样预算增加而提升。 轨迹分析显示正确潜路径的平均相对潜能更高,表明该方法在结构域外基准上亦有效。

  17. arXiv · NLP35

    LLMs Persona User Simulation and Knowledge Leakage Measurement

    研究表明 LLMs 在人设模拟中存在知识泄漏,即使显式声明人设不知情,有利项目的评分差异依然存在。 实验涵盖两个模型家族的五个 API 端点,不利项目跨领域评分差值为 +0.077,但在危害与组织类别中分别达到 -0.359 和 +0.438。 该方法通过配对真实与虚构孪生项目量化泄漏,揭示了模型无法完全屏蔽对特定项目存在性的先验知识。

  18. arXiv · NLP31

    EVAN:利用证据消融负样本提升多模态推理的强化学习框架

    提出多模态强化学习框架 EVAN,通过构建“证据消融负样本”抑制语言先验捷径,改善多模态推理。 EVAN 利用图像信息增益识别高视觉依赖样本,掩码关键图像 patch 生成视觉未接地但合理的负样本,并在策略优化中将其作为有界辅助信号。 实验在多项多模态推理基准上超越强 RLVR 基线,缓解模态不平衡,代码已开源。

  19. arXiv · NLP39

    LLMs 中检索文献对科学创意生成影响的追踪研究

    研究通过 10 个开放权重模型和 45,000 个创意,比较 5 种检索策略与无文献基准,发现检索策略将同源创意多样性降低 5.6%–17.9%,混合后增加 10.2%–18.1%。 使用基于 JSD 的归因方法追踪文献影响,发现 79.3% 的创意由 1–2 篇论文主导,且归因多样性与创意多样性相关(r=0.70)。 该结果建议利用多样化文献组合和归因机制引导后续科学创意的来源选择。

  20. arXiv · NLP26

    ForeSCITE:利用语义轨迹预测未来生物医学发现

    研究提出 ForeSCITE 框架,利用语义表示中的时间模式引导假设生成。 该框架在约 300 万结论和 407 个主题簇上测试,相比五个基线提升了语义覆盖和新颖性。 专家评审确认 37 个 CAR-T 假设具备新颖性和生物学合理性,支持该机制用于后续科学评估。