Gemma-3-27B 与 Qwen-3.5-122B 中语言模型人格依赖偏好的线性探针研究
研究人员在 Gemma-3-27B 和 Qwen-3.5-122B 的残差流激活上训练线性探针,识别出能追踪并因果控制模型成对任务选择偏好的真实偏好向量。该探针训练的通用助手偏好信息可跨人格迁移,甚至预测并引导偏好呈负相关的邪恶人格行为。该论文被 NeurIPS 接收,全文共 41 页并包含 45 幅图表。
研究人员在 Gemma-3-27B 和 Qwen-3.5-122B 的残差流激活上训练线性探针,识别出能追踪并因果控制模型成对任务选择偏好的真实偏好向量。该探针训练的通用助手偏好信息可跨人格迁移,甚至预测并引导偏好呈负相关的邪恶人格行为。该论文被 NeurIPS 接收,全文共 41 页并包含 45 幅图表。
研究利用 GPT-2 模型在匹配的单语与双语数据集上模拟语言习得,发现双语模型在第一语言和第二语言上表现均与单语模型相当。 实验涵盖了英语与西班牙语、中文及荷兰语的配对,评估指标包括困惑度、语法正确性和语义知识。 结果显示不同双语暴露模式间无显著差异,双语输入对统计学习模型不构成原则性挑战。
研究人员提出APSD方法,通过构建正确性依赖的非对称目标分布来优化LLM后训练中的自蒸馏策略。 在基于可验证奖励的强化学习实验中,该方法在Qwen3模型规模上以平均少2.6倍的训练步数达到了SDPO的性能表现。
课程学习通过逐步增加词汇量和 lookahead 微调 LLM,在相同算力下优于无课程训练;Qwen3-0.6B 在 lookahead 达 256 的问题上准确率从 45% 提升至 98%。
CoEvo-RSI框架通过双向历史继承解决模型与执行框架的脑体失配问题,使用SFT微调使Qwen3.5-9B在垂直应用中超越更大模型。 框架结合共享进化档案与执行反馈,通过元智能体协调框架开发与模型检查点选择;在TraceElephant上准确率超DeepSeek-V4-Pro 14.16,HomeBench VM成功率超GLM-5.3 4.90。
研究提出 UltraData-Code 四层数据状态,将原始仓库转化为面向任务的代码数据。 L2 层产出约 400B tokens 覆盖 11 种语言,L3 层产出约 150B tokens 用于微调。 10B 模型测试显示,L3 替换 L2 半数数据后,EvalPlus pass@1 提升 8.42pp。
研究拆解智能体强化学习数据为任务、环境、轨迹三轴,发现扩展指数顺序为环境大于任务大于轨迹。 拟合扩展律定价合成方法,推导 Chinchilla 风格计算最优配方,验证显示较传统轨迹扩展可提升 1.7 倍计算效率。 该论文已被 NeurIPS 2026 接收。
慕尼黑工业大学等提出 BSD 框架,通过外部教师生成推理轨迹作为特权上下文,解决策略蒸馏中师生不匹配问题。 该框架允许学生模型在无上下文时生成 rollout,再由带上下文的学生副本在自身 token 空间评分,适用于共享及跨分词器教师。 该统一方法在各类场景下均优于基线模型,代码已开源。
NVIDIA 与 AI4Bharat 联合推出 Nemotron-Pretraining-Indic-v1 及评测套件,构建了覆盖 22 种印度语言的 2.83 万亿 token 合成预训练语料库。
研究人员通过覆盖13类非语言发声(NVV)的自动合成数据集,提升了语音交互模型在共情互动和角色扮演中生成适当NVV事件的能力。 该方法采用多阶段微调和NVV感知的GRPO进行优化,实质性增强了VocalNet和VITA-Qinyu两个模型的表达力。 研究进一步讨论了实现高质量自然语音生成的架构必要性。
summary_zh: 提出金标条件蒸馏(GCD)方法,解决监督微调将专家响应视为 one-hot 目标从而抑制有效替代续写的问题。 GCD 利用同一模型作为教师和学生学习,教师以包含金标响应的上下文为条件,学生以原始提示为条件,通过最小化前向 KL 散度让模型利用先验知识自学新任务。
研究构建了3,395通电话、15,102个标注目标的高质量数据集,用于训练能代接电话并生成摘要的小型语言模型。 该数据基于合成通话与信息边界约束生成,经模型审查筛选。使用单个共享LoRA适配器微调0.6B-4B参数模型,测试了192通留出通话。 回复合格率从21-54%提升至94-97%,摘要合格率从0-6%提升至43-72%。后续人机研究将验证该评估标准的有效性。
研究提出代码切换任务合成方法,用于解决非英语领域跨语言 RLVR 数据稀缺问题,在韩语医疗及网络安全基准中平均性能超越单语及双语混合基线。 该方法利用填空型多选 QA 种子任务,从不可验证的英文领域文本生成目标语言变体,保持证据-答案关系一致但改变语言呈现方式。 分析显示该方法提升了目标语言输入理解与跨语言对齐,表明代码切换训练有助于利用英语中强化的领域推理能力。
summary_zh: 该研究提出了 ArabPref,这是首个支持按国家条件化对齐文化行为的大规模泛阿拉伯偏好数据集。 该数据集包含英语和现代标准阿拉伯语资源,所有测试数据均由母语者验证。
研究团队发布WorldStateMedia,这是一个包含1.36亿篇来自136个国家、114种语言国家媒体文章的开放数据集。 该数据集通过标注媒体受控级别来审计预训练语料库,发现2025年英文网络爬取中受编辑控制的国家媒体占比达93%。RAG实验表明,检索特定国家的国家媒体会显著使模型答案偏向该国的领土主张。
研究提出 21 种基于嵌入向量的多样性度量分类,并发布评估基准 EmbDivBench。 实验在模拟及自然文本上测试 variety、balance 和 disparity 三个维度,发现常用 Mean Pairwise Distance 被多种方法超越。 Graph Entropy 在整体表现最佳,研究据此提供多样性度量选用的实用建议。
在预训练阶段,该方法以一半的多 token 预测训练开销,将额外深度转化为下游推理与代码任务的准确率提升,突破了辅助模块的性能饱和瓶颈。 推理阶段,预训练模型可作为自身草案生成器,在开放生成场景保持草案与目标对齐,优势在双倍 token 预算及微调后依然稳健。
研究显示,六种先进显式记忆系统在 LongMemEval-S 和 BEAM-100K 测试中,相比原始历史 RAG 基线仅获得局部增益,且无一致优势。 部分系统因构建显式记忆耗时数小时,却未能有效保留或检索支撑答案的关键信息,检索仍是主要瓶颈。
研究团队发布了首个孟加拉语男性仇恨检测数据集 Ben-Misandry,包含 5,000 条由 GPT-4.1 生成的合成评论。 该数据集覆盖六个分类,最佳模型为 BanglaBERT 与 XLM-RoBERTa 的后期融合集成,准确率 96.6%,Macro ROC-AUC 超 99%。 这为在孟加拉语中检测和衡量反男性仇恨提供了初步的公开资源,待真实数据验证。
研究在 8B 和 30B-A3B MoE 模型上系统对比 NVFP4 低精度预训练配方,训练至 1T tokens,聚焦精度恢复的关键要素。 提出基于无偏梯度估计且量化误差低于随机取整的新配方,在 loss gap to BF16 上达到该规模下最强 FP4 训练结果。
针对可验证奖励强化学习(RLVR)削弱大语言模型推理多样性的问题,TAR 框架通过构建基模型解法记忆库并在行为受抑制时进行选择性重放,有效缓解了该现象。 该方法在六个数学推理基准及两种规模的 Qwen2.5 模型上,实现了推理性能与多样性保持的更好平衡,并显著减少了对正确基模型解法的遗忘,相关代码已开源。
研究评估记忆受限用户模拟器对事实重复与干扰的敏感性,发现部分模拟器整体准确性类似人类,但错误模式不同,人类会错误回忆而模型会遗忘特定问题。 作者将数据作为未来工作的挑战基准发布,用于改进用户模拟器在行为一致性方面的表现。
SmolLM2-1.7B 结合三层模式派生约束栈,在 linalg 方言上达到 80.0% 验证通过率,比 CodeLlama-34B 等高参数量模型高出 21-44 个百分点,且生成速度提升 8-25 倍。
研究者推出 AceFF,一款针对小分子药物发现优化的预训练机器学习原子间势(MLIP)。 该模型基于 TensorNet2 架构改进,在药物样化合物数据集上训练,平衡高通量推理速度与 DFT 级精度。 提供 AceFF-2 和 AceFF-2-OMOL 两个模型,支持 H、B、C 等元素及带电状态,权重和推理代码已公开。
GVPO 提出了一种大语言模型后训练方法,通过整合 KL 约束奖励最大化的解析解到梯度权重中,解决了 GRPO 等现有方法的训练不稳定问题。 该方法保证拥有唯一的 KL 约束最优解,支持灵活的采样分布,避免了对策略和重要性采样的限制。 该研究已被 NeurIPS 2025 会议接收,扩展版本 GVPO++ 已公开。
在数据稀缺场景下,视觉定位框架 POBF 通过“框外修补”合成图像,并结合难度与过拟合分数筛选最优训练数据。 实验显示,POBF 相比仅使用真实数据的方法平均性能提升 5.83%,准确率领先主流基线 2.29%-3.85%。 该方法验证了在不同生成模型、数据规模及架构下的鲁棒性与泛化能力。
研究熵控学习在独立任务、风险与干预约束下的机制,指出单纯降低熵并不等同于安全性。 推导了噪声校准对数行列式泛函的光谱力公式,并给出了多个保护风险下的极小极大可行性证明与锥投影公式。 理论明确了可容许熵调节的边界与局限性,但未将压缩等同于对齐或证明对人类福祉的益处。
LARS 方法将适配器激活中间值的存储复杂度从 O(BSRL) 降至 O(BRL),在 S=1024 时比 LoRA 减少 23% GPU 内存占用。 通过池化特征提取和低秩子空间调制实现,在 CPU 上平均单步优化功耗降低 22.43%。 该结果展示了激活高效适配在资源受限及端侧 LLM 微调中的实际路径。
这项研究通过 17 个涵盖编码、数学等领域的 Agent 基准,探讨了不依赖 Rollouts 预测任务难度的方法。 发现 AUC 指标可能掩盖难度估计的不足,并指出 token 级熵是有用的预测信号。 利用期望难度与观察难度之间的残差,可以暴露环境中的污染和不可行性缺陷。
针对 LLM 复杂指令遵循中硬约束易被忽视的问题,研究提出分阶段优化框架 STAIF,并在代表性基准上取得 SOTA 性能。 框架将主观软约束与可验证硬约束解耦:阶段 1 用多负样本偏好优化提升软约束敏感度,阶段 2 用 RLVR 强制满足硬约束。同时构建包含约 31,000 条复杂多约束指令的中英双语数据集 STAINSTRUCT。
summary_zh: 研究者提出包含19,176张图片的NVRD数据集,用于评估视觉-语言模型(VLMs)对全新视觉概念的映射能力。 该数据集涵盖90种视觉概念,每种包含最多20个扰动版本。
LeanTTA 提出了一种无反向传播且无状态的量化测试时自适应框架,专为资源受限的边缘设备设计。 该方法通过动态更新归一化统计量实现自适应,结合部分自适应与量化模块融合,ResNet18 模型峰值内存占用仅为 11.2MB,误差降低 15.7%。 LeanTTA 在传感器模态验证中显著优于现有最先进方法,解决了边缘部署中数据有限与环境多变导致的准确性与效率平衡难题。
宽神经网络中随机梯度下降的学习动力学可从重叠分布描述,早期阶段可用高斯近似。 通过高斯近似,学习可简化为追踪目标函数线性与二次成分的集体变量。 该机制通过二次屏蔽加速特化,滤波梯度波动。
IndicDetect 发布了针对 Hindi、Telugu 和 Tamil 的 AI 生成文本检测基准,旨在评估检测器在现实分布偏移下的鲁棒性。 该基准包含人工撰写与 LLM 生成文本的配对数据,系统评估了统计和神经检测器在领域、生成器偏移及对抗扰动下的表现。 研究发现检测器存在显著鲁棒性失效,Hindi 在对抗扰动下表现最弱,IndicDetect 为此提供了标准化的数据分割与评估协议。
在竞争风险生存分析中,直接建模累积发生率的损失函数比骨干网络选择更重要,其在两种模态下均优于其他损失。 研究在20个表格和3个病理图像数据集上测试4种骨干网络,发现表格网络在表格数据上领先,预训练视觉编码器在图像上表现更好,二者效果叠加。 该组合(如RealMLP配合累积发生率损失)取得了基准测试中最佳Brier分数,揭示了评估指标C-index的不适当性。
EKLAV 提出保留教师思维链作为上下文但仅监督最终答案的蒸馏方法,在 BRIGHT 榜单 nDCG@10 胜出 41/48 组对比。 该方案将部分推理轨迹移至提示词,训练计算减少 31.6%,推理时间减少 32.7%,超越全轨迹蒸馏 3.0 分。 方法无需学生生成数据或迭代反馈,适用于 pointwise 和 listwise 两种重排序架构。
研究者提出 RubricEM 框架,结合阶段级信用分配与基于反思的元强化学习,用于训练深度研究智能体。 框架通过监督微调植入评分标准引导的结构,使用 Stage-Structured GRPO 优化任务策略,并异步训练共享骨干的反思元策略以复用经验。 RubricEM-8B 模型在四个长文研究基准上超越更大规模的现有开源模型,性能接近专有系统。
论文提出 Rep2Text 方法,利用单个 LLM 隐藏表示重建原始文本,并发现其保留了大量信息。 该方法在约 16 词的短文本上可恢复约一半的原词及整体含义,长文本虽难恢复精确措辞,但主要思想仍可提取,揭示了内部表示的隐私风险。
研究通过微调 LLM 构建检测器,推测 GPT 及另外 23 款 LLM 的中文训练数据污染情况。实验显示 GPT 词表中超 40% 长中文 Token 涉及色情或赌博内容,并推测 GPT-4o 训练数据中特定网页占比约 0.5%。
研究者构建仅基于 1976 至 1995 年文本预训练的 NoLBERT,通过对比微调生成新闻主题,以消除回测中的后见之明偏差。 该模型在 2012 至 2024 年间 126 万篇新闻上表现稳定,预测精度与 LDA 相当,但在各调仓频率下最优模型均亏损,等权组合月净 Sharpe 比率为 1.12。 此方法验证了无标签新闻特征在量化金融中的适用性,尽管未显著跑赢纯价格基准。