跳到正文
10月14日周三
  1. arXiv · AI42

    Logit Leakage through Floating-Point Bias Addition: 浮点偏差加法中的逻辑值泄露

    研究者发现大模型 API 浮点偏差加法存在数值侧信道,能恢复未披露的公共加性分量。 在 binary32 假设下,通过至多 52 次 token 查询即可精确恢复一对 logit 及其优先级。 利用 vLLM 和 SGLang 在 128 个 Qwen3-0.6B 输入上验证,该漏洞在 7 个模型族的 11 个检查点上均被复现。

  2. arXiv · ML33

    边缘联邦学习中的客户端自适应同步

    研究团队提出了一种基于强化学习的客户端同步框架,用于解决边缘联邦学习中的同步瓶颈。 该框架将同步建模为资源感知控制问题,每个客户端根据本地进度和资源状态决定上传、下载或延迟通信。 实验表明,该策略在时空交通预测中降低了系统成本,在图像分类中提升了最终精度,证明了客户端控制优于纯服务器端协调机制。

  3. arXiv · NLP23

    结构抽取与思维链:评估 LLM 抑郁症严重度判定中的标准提取方法

    研究发现,基于 LLM 的结构化标准抽取并非在所有情况下都优于思维链方法。 在两个 Reddit 语料库和 PHQ-9、BDI-II 量表测试中,前沿模型的标准抽取仅在有标签数据校准阈值时表现更好,且提升不显著;而 9B 模型在抑郁症社区语料库中表现相反,无标签的先验规则反而优于其直接提示和思维链结果。

  4. arXiv · AI20

    MP-MNCA:利用形态先验掩码邻居交叉注意力实现高效空间域识别

    MP-MNCA 框架在 12 个人体背外侧前额叶皮层切片中表现优异,在 ARI 和 NMI 指标上优于最强基线 STAIG。 该模型通过形态先验和自监督掩码邻居对比目标,以更少训练轮次收敛,平均峰值 ARI 为 0.546,平均 NMI 达 0.657。 研究证明该方法在加快空间域识别收敛速度的同时,未牺牲聚类质量。

  5. arXiv · ML21

    Mira-Embeddings-V1:基于LLM合成数据的招聘领域语义重排序

    Mira-Embeddings-V1通过LLM合成数据优化招聘领域的语义重排序系统,无需大规模人工标注。 该系统利用两轮LoRA适配及轻量级重排序头,在300个真实JD的测试池中,将Recall@50从68.89%提升至77.55%,Precision@10从35.77%提升至39.62%。 结果显示,结合边界感知重排序的LLM合成监督策略,无需重型交叉编码器即可获得稳健的性能提升。

  6. arXiv · ML40

    双时钟框架揭示 RLVR 中大 rollout 批次学习慢但失败时点不变

    论文提出双时钟框架,解释强化学习中可验证奖励训练里大 rollout 批次为何学习更慢却失败时点相近。 基于局部二次模型,平方根学习率规则保留每样本一阶漂移但不保留进度,大批次因更新次数少、曲率损失更大导致样本效率下降。 在 Qwen2.5-Math-1.5B 上的 GRPO 实验(16 倍批次范围)验证了漂移阈值假设,并推导出先低批后大批的多步 RLVR 调度策略。

  7. arXiv · NLP37

    TrustMOPD:基于可靠性感知的多教师在线策略蒸馏方法

    TrustMOPD 提出一种标签无关、token 级别监督分配的多教师在线策略蒸馏方法,解决了动态适应性难题。 实验显示,该方法在 SingleCap 和 MultiCap 上分别填补了 91.5% 和 98.0% 的师生分数差距,优于最强基线。 其性能接近基于标签的蒸馏方法,且无需领域标签,代码已公开。

  8. arXiv · ML23

    监督微调的几何校准:SPACE 方法提升领域内与领域外性能

    研究提出无数据、免训练的 SPACE 方法,利用预微调权重主子空间选择性回退微调更新,解决领域外能力退化。 该后处理技术适用于 Qwen2.5、Llama-3.1 等 2B 至 14B 模型,在数学任务中显著提升了模型表现。 例如 Qwen2.5-7B 在数学领域的领域内与领域外分别平均提升 2.85 和 2.26 分。

  9. arXiv · ML20

    PerturbEnergy:基于条件能量先验的细胞扰动响应预测方法

    PerturbEnergy 提出一种条件能量先验方法,用于捕捉被细胞复杂性掩盖的扰动特异性信号,以加速药物发现。 该方法将能量分布倾斜至扰动偏好区域,并可集成进自编码器架构,证明优化其 ELBO 能增加表征与扰动间条件互信息的下界。 在四个基准数据集上,其扰动识别准确率最高提升 83.2%,并在差异表达基因(DEG)预测中达到最先进(SOTA)性能。

  10. arXiv · NLP28

    Activation Steering with Jungian Cognitive Functions

    提出一种基于荣格八种认知功能的 target-first 框架,并构建 NarrationDB 数据集。 该数据集将角色自我叙述与自动评估的联合分数相关联,在三个模型上验证了问卷分数的可控性及双功能目标的协调变化。 结果表明,直接提取的联合方向比无关配对更接近其个体方向,但保留有显著的残差分量。

  11. arXiv · NLP38

    ReGrad 提出可检索梯度实现持续后训练,避免累积权重漂移

    ReGrad 提出“可检索梯度”范式,将梯度作为知识单元离线预计算并存储于 Gradient Bank,推理时仅检索相关梯度进行临时权重适应,避免累积权重漂移。 方法引入双层元学习目标重塑文档梯度,使其转化为可泛化的下游任务适应信号,在通用与领域特定场景下均优于持续预训练(CPT)和 RAG 基线。 该范式实现了可扩展且可逆的参数化知识注入,有助于缓解灾难性遗忘。

  12. arXiv · NLP33

    MAPO 缓解音频推理中的晚期模态崩塌

    音频大语言模型在长链推理中常因标准 RL 方法忽视非文本模态依赖,导致晚期模态崩塌及幻觉。 研究人员提出模态感知策略优化(MAPO),一种双分支强化学习框架,通过模态相关性掩码动态聚焦关键 token,并引入辅助注意力损失以维持对源模态的关注。 MAPO 在复杂音频推理基准测试中显著提升了长程推理保真度,在开源权重模型中表现极具竞争力。

  13. arXiv · ML35

    DP-SPA:用于差分隐私持续 LoRA 的稳定-可塑子空间构建方法

    针对差分隐私持续学习中的遗忘问题,研究提出 DP-SPA 方法,通过构建稳定与可塑子空间消除双线性噪声交互。 DP-SPA 固定子空间基底,仅对 LoRA 因子进行隐私优化,并在合并前基于更新能量重标定系数。 在 5 个数据集、8 种设置下的实验表明,该方法提升了平均准确率并减少了遗忘。

  14. arXiv · ML30

    RT-J:面向上下文高效预测的大规模关系型 Transformer 预训练

    8500万参数的关系型基础模型 RT-J 引入,仅需数百个上下文示例即可在未见数据集上进行准确预测。 模型在 RelBench 上平均比强特征工程流水线少用 10 倍示例,预训练采用多达 8,192 个数据库单元格的长上下文,并基于 639 个数据库组成的 Join 数据集。该工作推进了关系型数据上下文高效预测的前沿,凸显真实世界语义与大规模预训练的重要性。

  15. arXiv · ML32

    LEAF:通过上下文内探索与自蒸馏提升 LLM 推理效率

    LEAF 方法在 LLM 推理中实现约 4 倍探索加速,较最强基线模型提升准确率 1.59 和 1.83 个百分点。 该方法注入动态问题特定记忆至上下文,并通过自蒸馏更新策略,在四个基准测试中表现优于随机采样基线。 研究结果表明,LEAF 在提升探索效率的同时显著降低了计算资源消耗。

  16. arXiv · NLP27

    ReasonXL:面向 LLM 语言特异性推理的大规模语料库

    研究团队提出 ReasonXL 语料库,包含 5 种欧洲语言超 250 万条对齐样本及 110 亿 token,旨在解决 LLM 非英语推理缺失问题。 通过监督微调 (SFT) 与可验证奖励的强化学习 (RLVR) 两阶段管线,模型可在目标语言中完成推理,两种语言性能匹配或超过英语基线。 该成果实现了跨领域推理轨迹的直接监督,提升了多语言场景下的模型推理能力。

  17. arXiv · ML36

    混合精度量化预训练扩展定律

    研究者提出针对量化预训练的混合精度扩展定律,明确区分量化对模型容量与优化效率的影响。 该定律在现有4位配方分解与Qwen3实验验证下,预测误差比现有定律降低11倍。 研究进一步扩展至逐层混合精度,揭示最优精度随计算预算增加而提升的规律。

  18. arXiv · NLP27

    训练LLM超越下一词预测:填补互信息缺口

    该论文提出基于互信息的Max(MI(S;t))启发式方法,优化自回归大语言模型的目标词序,超越了默认的下一词预测(NTP)。 在算术推理、多标签分类等任务中,该方法在不改变模型架构的前提下,提升了GPT-style及Llama/Qwen模型的性能。 其效果优于逆序、TF-IDF等基线,证明了目标词序作为训练设计选择的重要性。

  19. arXiv · ML23

    极端稀疏训练中的功能可达性与引导拓扑动力学

    研究提出引导式动态稀疏训练(guided DST),将修剪偏向非功能边缘、再生偏向功能一致候选,以在极端稀疏下保持网络连通性。 在 99.9% 稀疏度下,该方法在 CIFAR-100 上较未引导 DST 最高恢复 14.4 点准确率,且在 MLP-Mixer 于 99.99% 稀疏度下仍可训练,而未引导随机再生则性能急剧下降。 实现代码已公开,将极端稀疏训练重新定义为保持连通性的动力学过程。

  20. arXiv · NLP28

    医疗领域开源基础模型综述:生成式AI驱动个性化处方的挑战与机遇

    在100个合成患者档案中,开源权重LLM在个性化处方任务上的总体适用性准确率(0.810-0.850)匹敌或超越专有模型基线(0.780)。 引入RAG后所有模型均有提升,但排名差距缩小至0.04;双评分者主观评估发现,检索虽提升准确率,却降低了部分模型的五个维度评分。 研究强调在医疗场景中部署先进LLM和AIFM需重视伦理风险及透明化原则。

  21. arXiv · ML30

    G-Scion 提出可测量的层级式符号-谱优化器分配方案

    G-Scion 框架将优化器几何分配转化为可测量的层级决策问题,在 31M GPT-2 和 ViT-B/16 实验中验证了动态路由优于固定策略。 该方案通过有限批次比值和下界确定条件期望下降,引入局部方向二次得分控制层级路由。在受控实验中,方向曲率匹配在所有七种聚合设置中准确预测了几何选择。 这些结果表明优化器几何无需按层类型硬编码,为理解分配机制提供了基础。

  22. arXiv · ML23

    衡量习得等变性:一种信息论方法

    提出利用归一化互信息(NMI)测试有限离散设定下的习得等变性。 使用中心核对齐(CKA)扩展至高维激活,并在正交特征变换下提供精确保证。 实验显示数据增强通常提高了变换一致性,无需恢复隐藏变换规则即可直接探测表征中的等变性。