跳到正文
10月7日周三
  1. arXiv · NLP42

    Infinity-Chat 揭示 LLM 开放生成中的“人工蜂群”同质化效应

    Infinity-Chat 数据集揭示 LLM 开放生成中存在显著的“人工蜂群”效应,表现为模型内重复与模型间输出高度相似。该研究包含 2.6 万条真实用户查询及 3.1 万条人工标注,发现现有评分模型在偏好分歧场景中校准度不足。 该资源旨在引导未来研究以缓解由输出同质化引发的长期 AI 安全风险。

  2. arXiv · NLP33

    LLM 中情绪概念的表征比人类更分类化、同质化且确定性强

    研究发现大语言模型(LLM)在行为上表征情绪概念时,比人类表现出更强的分类性、同质性和确定性。 研究基于认知评估理论构建涵盖 15 种情绪类别的情境基准数据集,对比 LLM 与人类的行为表征结构相似度。分析表明这种离散化表征在中训练阶段后出现,且不受后训练策略影响。

  3. arXiv · NLP29

    Common Corpus: LLM 预训练最大开源伦理数据集

    论文提出 Common Corpus,这是目前最大的 LLM 预训练开源数据集,总规模约 2 万亿 token。 数据均无版权或采用开放许可证,涵盖高资源及低资源语言,并包含大量代码数据。 基于该数据训练的模型性能与同级模型相当,表明其适用于多语言预训练,推动了 LLM 开放科学生态发展。

  4. arXiv · NLP34

    生成式信息检索中语义标识符空间的系统性研究

    针对生成式信息检索(GIR)中文档标识符(DocID)设计缺乏统一标准的问题,提出一个统一乘积量化(PQ)与残差量化(RQ)的设计空间框架。 定义了一组免训练的内在指标,用于在无需完整模型训练的情况下量化 DocID 质量与结构保真度。 在 MS MARCO 300K 和 NQ320K 数据集上的实验表明,DocID 的层级与并行结构等特性显著影响检索效果。

  5. arXiv · NLP24

    STRUCTURALCOST:用于建模人类句子处理难度的受控阅读时间数据集

    研究者发布STRUCTURALCOST数据集,包含475名参与者和40,800条观测数据,隔离长距离主谓依存解析的处理成本。 数据集复现了心理语言学发现:人类在主动词处的阅读时间随依存长度增加,且受句法嵌入驱动。 n-gram、SSM和Transformer模型部分映射此难度分布,但低估人类整合成本,该差距跨架构和模型规模持续存在。

  6. arXiv · NLP30

    识别大语言模型内部自省:通过低秩适配器与归因修补区分忠实自我报告

    该研究在受控环境下识别了大语言模型忠实自我报告的机制特征。利用低秩适配器训练模型基于潜在线性偏好函数为虚构角色做决策,发现持续微调可涌现出准确的偏好自我报告能力,无需显式监督。 权重消融实验表明偏好表征随训练向早期层转移,归因修补分析显示忠实模型在决策与自我报告任务间具有更高的归因相似度。该机制性签名可用于区分忠实与不忠实的模型计算模式,发表于 COLM 2026。

  7. arXiv · NLP26

    Turnslide: 基于有限状态机的可扩展多轮数据合成

    提出 Turnslide 框架,将 API 建模为有限状态机,单次 LLM 调用生成完整多轮示例。 微调后模型在多轮工具调用任务中达到 70.7% 完整准确率,优于现有方法的 63.4% 和 53.7%,且 token 用量减少 3.6-6.6 倍。 该方法被 NeurIPS 2026 SLM-Agents Workshop 接收,显著提升了小语言模型在私有基础设施上的多轮工具调用能力。

  8. arXiv · ML21

    基于纠缠 Pauli 字符串特征映射的量子核方法:面向交互驱动相似性的学习

    summary_zh: 该研究提出薄板交互模型及基于纠缠 Pauli 字符串特征映射的交互驱动量子核,能够显式编码稀疏高阶块交互。 在包含三阶至八阶交互的合成实验中,该核函数一致优于线性、RBF、拉普拉斯及多项式核;在真实欺诈检测基准中取得最高平均准确率与 F1 分数,并在 156 量子比特 IBM 处理器上保持优势。

  9. arXiv · ML36

    Token-Level Off-Policy Labeling: 通过 Token 级离策略学习提升分布偏移下的生成忠实度

    研究者提出 Token-Level Off-Policy Labeling (TOPL) 框架,将后训练重构为 token 级正确性预测任务。 该方法在 11 个数据集上验证了文档摘要任务中强大的分布外泛化能力,并证实信号可迁移至机器翻译。 消融实验确认 token 级学习信号是关键,其 LoRA 适配器展现出可解释的分类头特性。

  10. arXiv · ML30

    多目标对齐中的跨目标干扰:系统研究、理论分析与 COVER 方法

    该研究系统分析了 LLM 多目标对齐中的跨目标干扰现象,并提出了单侧控制器 COVER。 COVER 通过调整目标权重,在缓解干扰的同时,当目标共同改善时能匹配线性标量化的性能。 该工作还结合了局部协方差定律与全局收敛性分析,将干扰归因于模型几何结构。

  11. arXiv · ML35

    引入 Mask Fine-Tuning 提升 LLM 性能的研究

    研究提出 Mask Fine-Tuning (MFT),一种通过应用二元掩码而非更新权重来提升大型语言模型性能的新范式。 在 LLaMA2-7B 和 LLaMA3.1-8B 模型上,MFT 在 IFEval 基准上分别带来平均 2.70 和 4.15 的性能提升。 该方法扩展了掩码操作的应用范围,使其不仅限于模型压缩,还能与主流优化流程兼容以增强模型整体能力。

  12. arXiv · ML24

    Grand Canonical Generators (GCG):扩展Boltzmann生成器至巨正则系综的生成框架

    研究团队提出巨正则系综生成器(GCG),一种将Boltzmann生成器扩展至巨正则系综的生成框架。 该框架包含两种设计:一种将变尺寸生成模型条件于化学势并联合采样粒子数与构型;另一种将分布分解为粒子数分布与正则系综Boltzmann密度,支持自归一化重要性采样。 实验表明GCG在Lennard-Jones流体和沸石甲烷吸附中能准确重现巨正则可观测值,并展示了对化学势的泛化能力。

  13. arXiv · ML26

    KO:受动力学启发的PDE模拟神经网络优化器

    KO 提出一种基于动力学理论和偏微分方程的即插即用优化模块,通过玻尔兹曼输运方程的离散化增强参数多样性,缓解权重凝聚。 该方法在 CIFAR-10/100、ImageNet 等图像分类基准及大规模语言模型预训练中,以可忽略的额外计算成本持续提升精度。 KO 保持了收敛性保证,并显著改善了泛化性能。

  14. arXiv · ML31

    CoDe-LoRA: 通过知识巩固与解耦缓解 LLM 持续学习中的正交性困境

    提出无需重放的方法 CoDe-LoRA 解决 LLM 持续学习中的“正交性困境”,在 4 个骨干网络和 3 个基准测试中取得最佳平均准确率。 该方法利用自适应零空间投影和语义路由机制,将学习过程解耦为通用知识巩固与任务特定知识分离,以平衡知识积累与适应。 研究已被 EMNLP 2026 主会接收,代码已公开。

  15. arXiv · ML21

    HyperNSDE: 用于联合静态-纵向临床数据生成的个性化神经随机微分方程

    HyperNSDE 提出一种连续时间生成模型,通过超网络将静态患者表示条件化到潜在神经 SDE 上,无需轨迹编码器即可让基线特征塑造轨迹演化。 该模型结合潜在状态相关的强度过程观测时间,并通过确定性-随机路径分解与非对抗签名核目标稳定训练。 实验显示其在模拟和真实临床数据集上提升了观测时间保真度,且在匹配网格分析中表现出具有竞争力的预测与相关性指标。

  16. arXiv · ML27

    基于早期记忆选择平衡 Adam 优化器参数的方法

    该研究提出一种基于短初步训练的共享 Adam 参数 $\beta$ 选择方法,通过 200 步初步训练和 16 个梯度探测点生成优化系数。 该方法在 11 项视觉与语言任务上的回溯评估中,相较于固定 $\beta=0.95$,平均相对验证差距降低 40.7%,最差四分之一任务差距降低 44.3%。 其平均差距也优于在全部 11 项任务中选出的最优固定 $\beta$ 32.3%。

  17. arXiv · ML21

    研究揭示模型学习方式影响其遗忘效果

    论文指出模型训练中的泛化策略会加剧后续遗忘过程的保留集性能下降。 研究通过模块加法中的 grokking 机制区分了偏重记忆与泛化的模型,并在桶化模块加法中验证了这一单调趋势。 该关系在 LLM 的逐字与事实召回设置中也成立,提示需将学习动态纳入遗忘方法设计。

  18. arXiv · ML24

    DeltaTTT: 面向非线性循环内存的逐层优化

    研究指出固定基并行 TTT 基线优于串行版本,提出 DeltaTTT 以逐层学习替代联合内循环优化。 该方案通过状态依赖 delta 规则更新各层局部预测目标,保留非线性读出并支持分块并行计算。 实验表明 DeltaTTT 在 DeltaNet 和 LaCT 骨干上的语言建模与检索性能优于循环基线。

  19. arXiv · ML33

    Bregman 散度如何塑造 Shampoo 优化器的预条件机制

    统一 Bregman 散度框架揭示了散度选择对 Shampoo 预条件器的影响。研究发现部分散度能补偿有限样本下二阶矩的经验估计偏差,进而解释不同 Shampoo 变体在训练中的行为差异。 该结论通过 GPT-2 预训练实验验证,表明散度选择与实际操作行为直接相关。这一框架为理解并改进 Shampoo 优化器的理论基础提供了原则性指导。