跳到正文
11月10日周二
  1. arXiv · NLP35

    LLM 群体竞争影响研究:预算时机与基线漂移

    在包含8个论点的人群模拟中,未干预的基线立场漂移占表观 campaign 效应的相当比例。移除漂移后,LLM 观点变化方向与证据强弱更一致而非 campaign 角色,且无干预时立场多样性也持续减少。两社区网络中 campaign 主要减少社区间差异;LLM 常不为其分配立场辩护,且博弈无纯策略均衡。

  2. arXiv · NLP22

    创意引导:解耦过程与产物以突破创意悖论

    研究提出“创意引导”方法,通过训练引导模型生成提示词特定的 primer,辅助响应模型创意生成,从而解耦创意过程与响应生成。 引导模型通过 GRPO 进行训练,奖励生成新颖、高质量且多样化响应的 primer,强化产生创意响应的过程而不强化具体响应本身。

  3. arXiv · NLP32

    Naive LLMs 如何通过“无知”激发 LLM 创造力

    这篇 arXiv 论文提出了“naive LLMs”,即通过训练剥夺或有意遗忘来让 LLM 对特定主题保持无知,使其摆脱既有偏见,从而产生更新的点子。 测试了 1B 和 7B 规模的 naive 模型,其生成的种子创意在新颖性和实用性上始终优于基线模型;再由更强的 mentor 模型进行精炼,效果进一步提升。

  4. arXiv · NLP34

    TLRS-DPO:通过 token 级风险评分优化直接偏好优化

    提出 TLRS-DPO 方法,在离线 DPO 框架中引入 token 级控制以精准抑制不安全回复中的局部模式。 该方法包含 token 级鲁棒补偿项、课程式训练调度及风险自适应筛选机制,可作为标准 DPO 训练器的即插即用修改。 实验表明,TLRS-DPO 在强 DPO 基线之上提升了模型对齐质量与安全行为,且对 helpfulness 影响极小。

  5. arXiv · NLP23

    大语言模型在回应心理痛苦时对身份假设的审计

    研究审计六款大语言模型处理自杀意念与心理痛苦时的身份假设,发现模型常将身份披露转化为解释性叙事。在16种身份与控制条件及两种提示协议下,模型倾向于在富有同理心的回应中,将对身份相关逆境归因于痛苦,尤其针对边缘化身份。这种“富有同情心的他者化”可能误导个体体验,强调了基于用户披露而非无依据假设进行解读的重要性。

  6. arXiv · NLP37

    大语言模型的道德价值观是否具备传递性?一项道德能力测试

    研究发现,大多数大语言模型在道德价值观权衡中的选择缺乏稳定传递性,聚合响应无法匹配单个选择集结构。 研究通过向模型呈现二元道德困境并提取首词分布概率,对比三种随机传递选择模型验证了这一假设。 文章指出,评估 AI 道德前应先确认其选择具备结构化特征,而非直接判断对齐性。

  7. arXiv · NLP40

    AVCORP:基于博弈论与心智理论的欺骗检测基准及微调模型

    LLM Agent 易受欺骗,研究人员构建包含 5,000 条标注对话的语料库 AVCORP,并基于该语料对 Qwen3-8B 进行训练。 在 25 场留出游戏中,最佳检测器超越 GPT-5.6 Sol、Gemini 3.1 Pro 等前沿模型,表现匹配 Claude Opus 5.5;在 20 场人类游戏中,所有训练后的检测器 F1 分数均高于未训练基线。

  8. arXiv · NLP28

    DeepResearch RewardBench:首个深度研究奖励模型评测基准

    为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。

  9. arXiv · NLP48

    Micius-Flash 发布:面向工程的 27B 轻量级智能体模型

    Micius-Flash 是一款拥有 27B 参数、256K-token 上下文窗口及原生多模态输入的开源模型。 该模型通过 MOPD 技术集成半导体与硬件专家模型,在硬件代码基准中平均得分 64.2%,半导体智能体基准得分 62.4%。 研究团队开发了 Micius Harness,支持连接 EDA 工具与 KiCad,已开源以推进工程智能体发展。

  10. arXiv · NLP38

    LLM 生成可解释 AI 叙事中的公平性:社会差异分解

    研究发现 LLM 生成的可解释 AI 叙事(XAINs)存在显著社会差异。 基于信用评分、教育和就业四个数据集,利用五个 LLM 评估发现:忠实度差异源于特征值在群体间分布不均,而特征覆盖率和情感差异则因受保护属性披露而加剧,被歧视群体往往获得更少解释或更负面框架。 建议将 XAINs 的公平性与预测模型及其 XAI 产物分开独立审计。

  11. arXiv · NLP34

    多语言生成中的语言默认与内容涌现:因果层映射研究

    研究通过激活修补技术追踪三个不同规模 LLM 的多语言生成机制。发现中间层首先表达英语默认信号,内容信息在后续一层才因果可用,最终目标语言在更深层解析。 稀疏自编码器分析显示,中间层的语言信号在稀疏特征中表现微弱,而后续的语言区分特征虽明显但难以通过修补干预改变。

  12. arXiv · NLP33

    SPACE基准框架:评估大语言模型中人格倾向的影响

    研究者提出SPACE基准框架,结合受控协议与互补数据集,以区分LLM输出中的人格倾向、能力与指令影响。 实验结果表明,尽管提示词能改变生成风格,但模型内部的人格倾向具有持久性,难以被相反指令覆盖,且对LLM任务表现有可观察的影响。 该研究强调了关注大模型人格特征及其潜在应用的必要性,训练代码与基准规范已开源。

  13. arXiv · NLP21

    RDS-MOPD:基于鲁棒优化的多教师同策略蒸馏混合调度方法

    RDS-MOPD 引入分布鲁棒优化改进多教师同策略蒸馏,解决现有方法无法保证落后领域训练质量的问题。 该方法重新设计 DRO 的噪声处理、异常值限制及最坏情况定义,确保仅当差异显著超出噪声时调整资源分配。 实验显示 RDS-MOPD 在数学推理、代码生成及指令遵循基准测试中性能优于近期竞争方法。

  14. arXiv · NLP31

    AES自适应熵保留方法在8项推理基准中提升大语言模型效率

    大语言模型(LRMs)常因过度思考生成冗长推理链,强化学习惩罚机制易导致信用混淆。AES方法通过选择性保留高效参考前的高熵token并惩罚冗余后缀,解决了抑制与探索的权衡问题。 在8个推理基准测试中,AES将推理长度减少最多52.9%,平均准确率提升最多3.8%,持续优于现有效率导向方法。代码已开源,该研究已被NeurIPS 2026接收。

  15. arXiv · NLP40

    BridgeKV:通过 KV 缓存转换实现 LLM 推理的大模型预填充与小模型解码

    BridgeKV 提出用大模型进行预填充、小模型进行解码的 LLM 推理方案,通过轻量级 KV-stitching 模块对齐两者缓存。 在六个模型对和五个数据集的 30 种设置中,该方法优于微调小模型基线,弥补至多 80% 的质量差距;Llama-3.1-Instruct-8B 到 Llama-3.2-Instruct-1B 在单卡上实现 3.0 倍加速。

  16. arXiv · NLP36

    语言模型能力在压缩与扰动下按可预测的共享顺序失效

    压缩与扰动通常使大语言模型能力按跨方法共享、可预测的顺序失效,而非随机或方法特定模式。 八种指令微调模型在四种随机扰动下短答案能力失效顺序的中位相关达 0.90;剪枝与量化下为 0.875,且可由回答裕量、频率和格式预测。 随机扰动测得的脆弱性画像预测了压缩先移除哪些任务和事实;经四任务校准后,对留出任务精度的中位绝对误差为 0.11-0.12,优于均匀下降的 0.20-0.21。

  17. arXiv · NLP28

    逐层研究:风格重写如何破坏零样本LLM假新闻检测器的校准

    研究发现,仅改变文章写作风格而不改变事实,会显著破坏LLM检测假新闻时的校准。 在LLaMA-3-8B等三个模型中,面对最强风格攻击,模型准确率降至随机猜测以下,但置信度未降低,表现为“自信地犯错”;讽刺性风格是主要破坏因素。 这意味着LLM对真实性的置信度无法作为安全信号,若文章风格可能被操纵。

  18. arXiv · NLP31

    SWEET:通过权重编辑缓解 LLM 推理中的虚假特征依赖

    免训练方法 SWEET 结合反事实干预与机制可解释性,定位并抑制长思维链中负责虚假推理的 MLP 神经元和注意力头。 该方法仅用 20 组原始-反事实对提取行为方向,在 5 个开放权重模型上使扰动输入准确率平均提升 11.8 个百分点。 SWEET 将原始与扰动准确率的相对差距从 17.6% 降至 2.5%,提升了推理鲁棒性。

  19. arXiv · NLP30

    扩散大语言模型 Global Context Guidance (GCG) 方法提出

    扩散大语言模型 (Diffusion LLMs) 在去噪过程中往往过度依赖局部上下文而未能充分利用全局上下文。 基于此发现,研究者提出特征空间引导方法 GCG,该方法无需构建显式弱模型即可增强全局上下文利用,在 LLaDA-8B、Dream-7B 和 LLaDA-1.5 等模型上验证,性能优于现有引导方法且推理开销更低。 该方法已被 NeurIPS 2026 接收。

  20. arXiv · NLP24

    研究提出 QK-MAP:无需 QK-Norm 即可控制大语言模型注意力

    研究提出 QK-MAP 幅度感知投影方法,在 190M 到 7B 参数模型实验中,其训练和验证损失低于 Standard attention 与 QK-Norm。 QK-MAP 利用多个可学习频率将幅度变化编码为有界相位模式,通过相位和方向而非仅向量长度表示幅度。 实验显示 QK-MAP 保留了对输入尺度的敏感性,并在合成长上下文测试中为相关证据产生了更强的注意力对比。