跳到正文
10月19日周一
  1. arXiv · NLP35

    探索合成数据的实证隐私景观:隐私感知改写比 DP-SGD 和直接微调更优

    研究表明,在合成医疗数据中,隐私感知改写能实现比 DP-SGD 和直接微调更优的能力与隐私平衡。 直接微调在能力指标上表现最佳但隐私泄漏最多,而 DP-SGD 虽降低泄漏却大幅牺牲模型能力。 引入“独特性感知”指令来替换私人细节的隐私感知改写,相比朴素改写提升了跨模型隐私保护。

  2. arXiv · ML29

    深度学习网络的符号编码:隐藏的二进制本质

    研究发现过参数化视觉分类器主要依赖神经元符号而非幅值进行分类。仅基于二元符号编码的 K 近邻分类器,精度即可与完整模型相当。 该发现跨架构、激活函数和数据集普遍成立。若翻转 20% 符号,准确率将降至随机水平,证实符号对性能的决定性影响。 这表明离散符号编码可能是比连续权重空间更合适的分析单元,为理解网络泛化机制提供了新视角。

  3. arXiv · NLP27

    中文姓名性别推断模型:基于汉字解决拼音歧义提升科学计量准确性

    研究人员开发针对中国姓名的汉字性别推断模型,解决拼音形式固有的性别歧义问题。模型在回归任务中达到0.85 R²,分类任务宏平均AUC为0.97,表现优于Namsor、GPT和Claude等现有工具。在APS期刊独立测试中,该方法实现100%姓名性别分类,而现有方法存在20%-100%未分类率,证明汉字级信息对可靠性别推断的关键作用。

  4. arXiv · NLP26

    利用 LLM Token 概率从 L2 英语推断 L1 背景

    研究提出基于 LLM token 概率的方法,通过指定候选 L1 前缀对文本评分来推断母语背景。 该方法在 TOEFL9 等三个数据集上使用 Llama 3.1 8B 和 70B 模型进行评估,结果显示 token 概率评分显著优于直接分类,其中 70B 模型在所有数据集上均达到 SOTA 性能。 这表明预训练 LLM 的 token 概率包含可用于区分 L2 英语生产中 L1 背景的信息。

  5. arXiv · ML22

    MoEvolve:通过基于策略的双向蒸馏强化 MoE 模型

    MoEvolve 提出双向蒸馏框架,利用激活扩展的 MoE 模型作为教师,使低激活配置模型性能提升最多 22.2 个领域平均分。 该框架采用先恢复后强化策略,将增强能力反向迁移至原低激活模型,优于同预算 RLVR 基线最多 6.5 分。 最终低激活模型常超越其扩展教师,且在多样化 MoE 模型和基准上验证了有效性。

  6. arXiv · ML25

    局部代理实现 Transformer 内存高效训练

    研究提出局部代理网络通过蒸馏预测全局输出,在 Transformer 训练中规避反向传播的激活存储瓶颈。 理论上该方法在深度线性网络中精确,非线性残差模型中可界定梯度误差;在 CIFAR-100 上展示了优于其他局部算法的精度/内存权衡。 该方法在低内存预算下微调大语言模型时,训练速度更快且性能高于零阶学习算法。

  7. arXiv · ML45

    AlphaBet:用于LLM事件预测智能体的强化学习框架

    研究提出AlphaBet智能体强化学习(RL)框架,训练单一LLM策略跨多个预测日期搜索证据、推理并报告概率。 在GLM-4.5-Air模型上,AlphaBet将Forecast-Dojo数据集的Brier score从0.731降至0.626,FutureX数据集从0.612降至0.528。该框架将预测遗憾分解为证据获取差距与概率报告差距,证实多日期训练带来的提升源于信息获取与概率报告两方面。

  8. arXiv · NLP28

    CoLU 提出置信度加权逐层大模型遗忘算法

    CoLU 通过更新单个 Transformer 层结合置信度加权正则化,在 TOFU 数据集六项设置及 MUSE 两项指标上全面超越 NPO、SimNPO 等 SOTA 方法。 配合 Brief Layer Screening 策略可减少 60.2% 至 79.7% 运行时间,平均 GPU 显存占用降低 77.4% 至 79.5%。 实现了大语言模型遗忘与保留平衡的高效能新基准。

  9. arXiv · ML38

    Sigma-Delta采样器用于二值和三值AI模型的边缘端可扩展训练

    Sigma-Delta采样器将随机采样与退火步骤嵌入一阶噪声整形循环,推动量化噪声移出低频适应带,使离散权重更新沿崎岖损失景观中的平滑下降轨迹执行。 在CIFAR-10上,13M参数三值模型精度距全精度不足1%;在MatMul-free语言模型(2.7B参数)上,该方法优于直通估计器基线。 与标准量化感知训练相比,该框架降低训练内存占用超50%,速度提升一个数量级,适用于设备端大模型训练与微调。

  10. arXiv · NLP27

    TGS 缓解临床分类中的虚假特征偏差

    大型语言模型在临床分类中受虚假特征影响,交换单个性别词会导致高达 53.5% 病例的无关诊断发生改变。 TGS 通过预测轨迹判断修正时机,在 i2b2 数据集上修复 17.7% 错误,仅破坏 1.3% 正确预测;高血压性别切换不一致率从 53.5% 降至 38.0%。 该方法无需反事实数据或虚假特征先验知识,可迁移至 3 个模型族及其他临床生物医学数据集。

  11. arXiv · NLP22

    视角主义 NLP 模型预测哪些标注者?分析标注者一致性、稀疏度与性能关系

    该研究构建了迄今最大规模的带有序标注的视角主义 NLP 数据集,用于评估不同算法在预测多样化人类评分时的表现。 研究发现,算法在处理倾向于与他人保持一致的标注者时表现更好,但标注者的响应率与算法性能之间不存在具有统计学意义的正相关。

  12. arXiv · ML21

    微调更新的秩度量需要噪声基线:针对语言模型权重变化的基准研究

    研究发现微调权重更新的高秩度量在噪声基线下表现各异,13个最大8B参数的模型均显示少量强方向伴随长尾。 指令数据更新并未显著优于维基百科或代码,DPO在偏好标签随机交换时更新相同,随机文本产生最集中更新。 论证了权重有效秩变化微小说明后训练表象化的近期主张,证明随机更新仅微调秩但破坏模型。

10月16日周五
  1. arXiv · NLP25

    LLM 时代众包数据收集能否生存?一项关于人类数据收集的社区调研

    一项针对 155 名 NLP 研究人员的调研显示,44% 的受访者在众包数据中观察到 LLM 使用。 93% 的受访者预见了这一问题,但一半不清楚应采取何种预防措施。最常见的检测策略包括识别独特的文本风格模式和异常快的完成时间。 研究发现现有努力不足以完全解决该问题,并提出了 LLM 时代众包数据收集的考量建议。

  2. arXiv · NLP22

    指令微调数据的选择:基于加权上下文影响的 wICI 框架

    针对指令微调数据冗余与低质问题,研究提出基于加权上下文影响(wICI)的选择框架,旨在衡量候选样本对语义相关同伴降低指令遵循难度的贡献。 实验跨越多个模型与基准测试表明,在受限数据预算下该方法优于现有基线,且实证发现样本难度与上下文影响呈负相关。 该研究为从上下文学习视角构建高效指令微调数据集提供了系统性指导。

  3. arXiv · NLP32

    Composition-RL:通过组合可验证提示词优化大语言模型强化学习

    研究人员提出离线数据增强方法 Composition-RL,通过组合现有提示词解决强化学习中易例占比过高的问题,避免修改优化器。 在 4B 至 30B 参数规模实验中,该方法持续提升推理能力;课程学习变体与跨域提示词组合进一步增强了模型性能。 论文完整代码、数据及模型已公开,该版本为 NeurIPS 2026 接收稿。

  4. arXiv · NLP32

    CLUE: 揭示社会语境以实现语用理解

    CLUE 提出结合监督证据推理与 GRPO 的两阶段训练管道,利用 $\mathrm{IU}_{\mathrm{G}}$ 奖励机制提升模型对社会语境的识别能力。 在基于 Qwen 基座模型的测试中,CLUE 在域内加权 F1 提升 17.3%,域外提升 9.3%,且推理 Token 减少超 80%,证据对齐度获人工评估认可。

  5. arXiv · NLP34

    大语言模型记忆中心式长上下文压缩综述

    该综述将长上下文压缩重构为推理时资源分配的记忆管理问题,区分计算活跃与非活跃内存,并提出预算成本模型。 框架统一了短期压缩与长期记忆管理,将写入、卸载、回忆等操作定义为信息生命周期中的状态转换,旨在决定信息何时以何种形式参与高成本推理。

  6. arXiv · AI28

    TACO 校准 RLVR 中的尾部风险信用分配

    针对 RLVR 中 GRPO 类方法因均匀信用分配导致的尾部错误 Token 强化问题,提出 TACO 方法。 TACO 利用策略自参考计算 Token 稀缺度以评估尾部风险,并据此动态降低高风险 Token 的正向信用权重,从而在保留稀疏模式学习机会的同时限制错误强化。 实验显示 TACO 在四款 LLM 及八个推理基准上持续优于基线,并显著提升了长程 RL 训练稳定性。

  7. arXiv · AI40

    LLMSurgeon:诊断大语言模型的数据混合比例

    论文提出 LLMSurgeon 框架,将大语言模型预训练数据混合估计形式化为逆问题,旨在事后审计模型的数据溯源。该方法通过校准软混淆矩阵并求解约束逆问题,修正系统性领域混淆,恢复潜在混合先验。研究引入 LLMScan 评测套件,利用开源模型的高保真结果验证了 LLMSurgeon 在审计基础模型“数字 DNA”上的实用性。

  8. arXiv · ML29

    无需训练的LLM行为控制任务向量

    研究者提出无需训练任务向量(TFTVs),通过前向传播统计量将激活引导向量映射为秩一权重空间编辑,实现LLM行为控制。 该方法无需微调即可增强、抑制或组合目标行为,在保持通用知识与解题能力的前提下,比基线方法展现更强的特征控制效用。 代码已在项目网站开源,为后训练模型编辑及无需训练的控制提供新方向。

  9. arXiv · AI20

    Chronoberg:包含时间情感词典的250年历时语料库

    研究者发布 Chronoberg,一个覆盖 250 年英语书籍文本的历时语料库,基于 Project Gutenberg 构建并富含时间标注。 该语料库支持通过 Valence-Arousal-Dominance 分析量化词义变化,并暴露现代 LLM 在跨时代情感及歧视语言检测上的局限。 Chronoberg 已在 HuggingFace 公开,旨在推动具备时间感知能力的训练与评估流程。

  10. arXiv · ML30

    重新思考高稀疏度 LLM 剪枝校准:从单一来源到能力覆盖

    高稀疏度LLM剪枝的校准集选择应视为能力覆盖问题,单一来源无法保留所有能力。 在60%稀疏度下,不同策略在代码保留度上差异达51.9分;均匀混合的Balanced策略在C4上优势随稀疏度增加而扩大,IGSP方法在LLaMA上表现优于先前自我生成方法。 能力覆盖是设计高稀疏度剪枝的核心变量。