跳到正文
10月23日周五
  1. 机器之心84

    TraceForge 技术报告发布:利用原生思维链合法反超闭源模型蒸馏效果

    独立研究员王琰发布 TraceForge 技术报告,提出 family-native trace 方法,通过同族模型生成原生思维链来替代闭源模型的隐藏推理过程。在 HumanEval+ 和 MBPP+ 基准上,该方法的成绩分别比直接蒸馏 Claude 思维链高出 3.7 分和 7.1 分。整个训练过程仅使用同族模型的数据,没有任何闭源厂商的 token 进入梯度计算,提供了一条合法的蒸馏替代路径。

    推荐理由:展示了绕过闭源思维链限制的合法蒸馏方法,且合成轨迹性能反超直接蒸馏的真实轨迹。

  2. IT之家38

    日本创企 EpicAI 拟用 AI 加速车辆设计评审

    日本 AI 初创公司 EpicAI 计划帮助车企利用 AI 加快新车设计评审,以应对中国车企缩短开发周期的竞争压力。 公司计划从 2027 年春季起向多家日本车企引入软件,旨在将单个零部件设计评审时间从约 200 小时缩短至几小时。 软件采用多个生成式 AI 模型协同工作,分别分析技术规格、识别风险并核对结果,预计将首先在多家日本车企的部分部门投入使用。

  3. arXiv · ML28

    Giskard:面向大规模去中心化学习的拜占庭鲁棒且隐私保护聚合协议

    论文提出 Giskard 协议,结合差分隐私与拜占庭鲁棒性,解决去中心化学习中隐私攻击与模型投毒双重威胁。 该协议将参与者组织为 $O(\log n)$ 大小的委员会树,通过委员会适配的安全分位数搜索实现隐私保护坐标近似中位数计算。 实验表明 Giskard 相比最近竞争者将单点通信复杂度降低近三个数量级,且在高达 $n/4$ 拜占庭参与者下保持可比鲁棒性。

  4. arXiv · ML21

    DualSFT:一种用于 LLM 微调中参数与数据联合选择的共享评分算法

    DualSFT 提出共享局部响应替代评分规则,将 LLM 微调中的参数重要性(列聚合)与数据效用(行聚合)统一为单一梯度交互矩阵的闭式行对应关系。该一次性双评分算法从共享梯度统计中同时生成参数掩码和数据子集。在 3B-9B LLM 上,完整 DualSFT 在匹配预算下比顺序混合基线实现更优的联合约束权衡。

  5. arXiv · ML29

    提出“不变性审计”:利用扩散模型无训练采样不变集以验证机器学习模型

    论文提出无训练的“不变性审计”方法,利用预训练扩散或流匹配模型采样具有相同特征的输入,以诊断特征提取器的不变性是否符合任务语义。 该方法通过纤维损失引导去噪过程,替代了传统需数天训练的方法,仅需单次生成即可达到可比质量。 实验发现 Qwen-2B 模型存在将镜面人(situs inversus)与典型解剖结构归为同一不变集的潜在缺陷,代码已开源。

  6. arXiv · ML23

    基于资源利用率与机器学习的虚拟服务器能耗估算

    研究者提出一种机器学习方法,利用虚拟服务器内部可观测指标预测其独占的 CPU 功耗,训练时依赖主机侧 RAPL 数据作为目标。 评估覆盖异构 CPU 平台、多种工作负载及并发场景,显示当部署条件在训练中被代表时预测准确,但零样本迁移可靠性较低。 监测与推理带来的直接 CPU 功耗开销很小,结果支持在训练数据覆盖目标部署域时进行实用的虚拟服务器功耗估算。

  7. arXiv · AI31

    环境介导选择实现可持续自我训练:一种无需外部奖励的自洽学习架构

    该研究提出一种仅依赖环境生存性而非外部奖励的自我训练架构,旨在解决自训练退化问题。 通过资源约束下的差异性生存选择,模型发展出元学习策略,实现负空间学习,使奖励黑客在进化上不稳定。 此方法为不依赖人工数据或复杂奖励塑造的自主系统提供了通往稳健自我改进的可行路径。

  8. arXiv · AI27

    黄金数据模型驱动制药合规声明生产级生成

    采用黄金数据模型(GDM)重构检索上下文的制药声明生成系统,显著提升了生成内容的合规性与个性化。 该模型包含1867条声明数据,支持4个产品维度。在6个产品受众细分中,预期适应症准确率提升29%,目标受众匹配提升67%,每周API成本降低29.5%。 此方法证明了在高风险监管领域,数据架构重构比扩展提示词规则更具可扩展性。

  9. arXiv · ML32

    性能预测次优性及其对模型路由的影响:基于自置信度基线的理论分析

    研究证明,模型路由中的性能预测仅当候选模型次优或预测器容量显著增加时,才能胜过基于模型自置信度的简单基线。 理论推导显示预测器优势可通过再校准转化为模型损失改进,且其收益受模型次优性和额外参数增益的上界约束。 在16个大语言模型和4个基准测试中,模型越次优,预测器相比自置信度的优势越大,但该优势随微调提升模型性能而缩小。

  10. arXiv · ML30

    线性残差网络训练中宽度与深度极限的可交换性

    研究证明了在线性残差网络中,宽度与深度的无穷极限在训练过程中保持可交换性。该结果基于 $1/\sqrt{depth}$ 残差分支缩放和 $\mu$P 宽度参数化。 在固定步数的梯度下降配合梯度裁剪条件下,随着宽度和深度同时趋向无穷,网络输出在 $L^2$ 范数下收敛。若无梯度裁剪,则仅确立较弱的依概率收敛。

  11. arXiv · ML33

    Edit, Don't Imitate: 多模态推理的最小编辑在线策略蒸馏

    针对视觉语言模型(VLM)因误读图表导致推理失败的感知瓶颈,研究者提出最小编辑修正在线策略蒸馏方法。 该方法仅使用参考图表描述和验证过的参考解作为训练信息,教师模型对学生错误 rollout 进行打分,只有教师不喜欢的 token 才贡献到修正损失中;正确 rollout 则接受任务奖励强化学习。

  12. arXiv · ML42

    医学 AI 中自动化隐私风险筛选研究

    研究通过 7,789 个模型与 6 个临床数据集指出,个体患者比群体平均更容易受到成员推理攻击,且高风险患者人群在不同训练配置下基本保持稳定。团队开发了轻量级筛选工具,通过 4 个小型模型在生产模型训练前识别高风险患者,无需删除数据即可实施保护。该工具表明隐私筛选应融入临床 AI 数据准备流程,使隐私评估更具实践性。

  13. arXiv · NLP26

    AI 正在制造新的全球语言等级体系

    一项覆盖 6003 种语言的全球纵向分析显示,AI 资源高度集中于少数语言,导致数字边缘化差距呈指数级扩大,而非缩小。 研究团队对比了 AI 与早期 IT 技术的传播模式,揭示了独特的炒作驱动扩散现象,并指出现有容量在部分社区未被充分利用。 该研究提出语言 AI 准备度指数(EQUATE),旨在通过映射技术、社会经济及基础设施前提,加速语言 AI 的公平扩散并建立可持续基准。

  14. arXiv · NLP20

    SQuAT: 球面格向量量化感知训练

    提出 SQuAT,将格向量量化感知训练扩展至十亿参数 LLM 及万亿级 token 训练。 采用基于 $E_8$ 的球形码本量化方向,独立低比特量化增益,利用隐式球面优化提升精度。 通过分布式精确最近邻分配,将 VQ-QAT 训练时间缩短 12.8 倍,支持扩展至 100 亿 token。

  15. arXiv · NLP37

    推理模型中 wait 标记的来源追溯:继承而非发明

    研究表明,推理模型中的 wait 标记主要继承自训练数据而非由强化学习(RL)新发明。在缺乏该词的基础模型上,RL 显著提升 MATH-500 准确率,但 wait 保持近零;该词通过中期训练(如 OLMo-3)或微调植入。 RL 并不改变已使用该词模型的行为,且仅凭标记频率无法指示 RL 诱导的推理能力。

  16. arXiv · NLP38

    语言模型低比特 N-Gram 嵌入量化研究

    低比特 N-Gram 嵌入可将表内存降低 75%,保留 99% 验证损失提升。 在 nanochat、Llama 和 GPT-2 族模型上,4-bit 量化大幅减少内存;对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next,内存省 47-55%,困惑度增加不足 1.2%。 该方案降低内存需求并将节省容量用于增强模型性能。

  17. arXiv · NLP40

    智能体如何调试 Web 语料库:Slovak FineWeb2 的智能体审计

    使用 LLM 作为语料库调试器,通过 2650 万文档的斯洛伐克语 FineWeb2 子集发现 7 个缺陷,包括 140 万篇机器生成内容。 智能体运行成本为 $2.21-$2.84,测试套件扫描耗时 0.7 秒,无需 GPU;盲测验证了 7 个发现中的 6 个,缺陷率显著高于随机对照。 框架、斯洛伐克语测试套件及智能体轨迹已开源,该工作已被 EMNLP 2026 WaC 研讨会接收。

  18. arXiv · NLP25

    双语语言模型捕捉第二语言阅读中的跨语言影响

    双语语言模型能捕捉人类第二语言(L2)阅读中的跨语言影响。 研究利用12种第一语言(L1)背景读者的眼动数据,证明匹配读者L1背景的双语模型在预测L2阅读时间上优于单语基线。 该预测优势集中在晚期眼动指标,受L1-L2书写系统重叠度调节,并在中级熟练度读者中表现最强。

  19. arXiv · NLP37

    开放 LLM 在西班牙 MIR 考试中的不确定性、推理与图像使用研究

    研究评估四个参数量 8 至 270 亿的开放模型在西班牙 MIR 考试中的表现,三个大模型预计排名在约前 600 至 3000 名之间,可报考 41 至 43 个专业。 模型从不弃权,因为即使最不确定的答案正确率也高于 25% 的盈亏平衡点;医疗微调降低了过度自信但降低准确率且未改善置信度区分力,且 13%-38% 的正确答案基于临床依据不足的原因,移除或替换图像后准确率不变。

  20. arXiv · NLP30

    巴什库尔茨语:低资源黏着语的大模型参数高效适配与可复现基准

    针对巴什库尔茨语发布了开放语料库、数据集及可复现基准,涵盖71,567篇文档与46.9M tokens。 实验对比了8种架构的三种适配方法,YandexGPT-5-Lite-8B经持续预训练后的宏观F1达0.748。 分词器丰度影响适配质量,西里尔分词器搭配俄语预训练效果更佳,但LLM无法替代人工评估语言正确性。

  21. arXiv · NLP33

    Cola2 提出连续语义压缩与平衡离散生成的协同分层语言建模框架

    Cola2 框架结合连续语义压缩与平衡离散生成,动态分割语义片段并通过无辅助损失负反馈控制压缩率。 使用 3460.3 亿源 token 训练,未收敛检查点在 8 个任务平均分 60.10,并在 HellaSwag 和 StoryCloze 上超越 Llama-3-8B。 实验验证了该架构在 2100 亿训练 token 规模下的竞争优势,展示了连续潜在空间分层生成的潜力。

  22. arXiv · NLP22

    Delta N-gram:向语言模型原生 N-gram 记忆的前向连续写入方法

    Delta N-gram 提出一种前向写入路径,将证据存入哈希 N-gram 表,预训练表 T^0 保持不变。 方法包含 4.1M 参数写入器,通过块平均 delta 规则更新;在 Qwen3.8-Flash-Next 上测试,delta writer 抗干扰保留率达 70%。 清除 Δ 可恢复原始模型,解决了在线梯度写入易遗忘的问题。

  23. arXiv · NLP26

    谱平滑与尖峰扰动如何重构大语言模型能力配置与选择性任务表现

    研究团队对 Llama 和 Qwen 指令模型的 up_proj 和 down_proj 矩阵实施谱平滑及尖峰扰动,揭示大奇异值被放大、小奇异值被缩小的效应。 正扰动更可靠地抑制语言与演绎推理响应,适度负扰动有时能提升事实性任务性能,敏感度随模型家族与基准模块显著变化。 谱扰动可作为轻量级干预手段,用于探查 LLM 内部能力的组织方式与权衡机制。