受控预训练混合数据向代码能力转移的条件性研究
受控预训练研究发现,合成数据对下游代码能力的转移存在条件性价值。 实验显示,75% OpenCodeInstruct 混合比例下 HumanEval pass@20 达 22.6,而自适应调度器因优化短期损失导致性能落后 2.4–11.0 个百分点。 优化近期任务损失会将混合比例移离具备转移效应的区域。
受控预训练研究发现,合成数据对下游代码能力的转移存在条件性价值。 实验显示,75% OpenCodeInstruct 混合比例下 HumanEval pass@20 达 22.6,而自适应调度器因优化短期损失导致性能落后 2.4–11.0 个百分点。 优化近期任务损失会将混合比例移离具备转移效应的区域。
研究表明,总体梯度流可能定性误判有限批量随机梯度下降(SGD)行为,根源在于 ReLU 门控单元间的罕见分歧。 在双单元 ReLU 回归中,当预训练时间 $T$ 大于 $\log(b/\eta)$ 时,在线 SGD 在 $e^{c/\eta}$ 规模内以高概率失败,而梯度流仅需线性于 $T$ 的时间恢复。
Zatom-2 发布,作为在约500万条OMol25和OMat24数据集上预训练的原子生成模型。 该模型采用多尺度Transformer架构与条件流匹配,在分子分布保真度和现有分子/材料生成基准测试中表现优于Zatom-1。 通过联合生成-预测预训练及微调,Zatom-2将蛋白质骨架可设计性从67.8%提升至74.8%,增强低数据场景下的蛋白质生成能力。
研究人员提出一种结合输入窗口压缩与残差时间特征融合的轻量级时序模型,用于低成本传感器校准。 模型基于涵盖五个地点、为期六个月的室内空气质量数据集构建,在四种评估场景下均表现出优异的校准性能。 该方法有效解决了传统成对校准忽视时空异质性的局限,并在边缘端推理中保持低成本。
发布基于滴滴市场数据合成的大型网约车时间序列数据集 Ride-Hailing 及基准 RideBench。 该数据集覆盖 200 个空间区域、4 年数据及 3 类外生场景,RideBench 评估 30 余种预测方法,支持长达 2,688 步的预测。 研究发现现有模型在利用未来已知外生信息及长期预测方面存在明显不足,需提升跨异构区域扩展能力。
研究提出基于动态系统(DS)的模型压缩框架,将高维参数编码为DS轨迹索引。证明在Diophantine条件下,有限轨迹可构成权重空间ε-net,统一了Hilbert曲线、Lorenz系统等四类DS。
研究提出 SVC 方法,通过选择性更新奇异向量通道来优化 LLM 持续学习,兼顾新能力获取与预训练知识保留。 该方法利用膝点成本筛选、Pareto 前沿过滤和 Otsu 阈值化,基于适应收益与遗忘成本自适应选择可训练通道。 在四组 LLM 家族和八个下游任务实验中,SVC 相比现有 PEFT 基线在保留预训练能力的同时实现了强劲的下游性能。
研究提出谱向目标 Muon,通过设定阈值 τ 仅对大于或小于该值的奇异值进行正交化,在 CIFAR-10 和 NanoGPT 基准上验证了其有效性。该优化器利用牛顿-舒尔茨迭代在平移 Gram 矩阵上计算投影,无需 SVD 即可隔离目标奇异子空间。
KDFP 是一项新的白盒知识蒸馏方法论,用于在大型语言模型中提取通用知识。 在 9 个基准测试中,该方法性能提升 1.6% - 4.9%,同时训练效率最高提升 99.1%。 KDFP 有助于开发可在边缘设备部署的高效、隐私系统。
MotherTree 是一种表格 Transformer,它通过元学习生成独立可审计的硬轴对齐决策树。 该模型在无参考树监督下,于合成先验分布上进行预训练。 在受控样本量的基准测试中,该模型始终优于从头开始的梯度学习,并作为强大的初始化器提升任务特定调优表现。
summary_zh: Phase-HDC 方法通过仅在梯度足够大时按符号更新参数,取代了传统优化器的历史记录。在 11 个图像、表格和文本数据集上,该方法比标准 float32 Adam 少存储 16-23 倍内存,比 8-bit Adam 少 4-6 倍。
激活探针训练所需合成样本量由概念覆盖率决定,而非生成难度。 在高利害和有害回复概念下,Gemma-3-27B-IT 探针仅需 80 个样本即可接近性能上限。指令遵循类探针需要的样本量显著更多,差异主要源于不同类别样本间的迁移能力差异。
共享学习率对比不同可训练参数量的微调方法会制造假象,掩盖真实效果。 修正此偏差后,冻结解码器并仅微调编码器的方案可节省3倍可训练参数及优化器状态内存。 该方法作为低内存替代方案,用于在训练时改造低秩KV缓存压缩。
Meddies-PII-Model 在15个外部基准上取得最高性能,平均 F1 为0.827,强于最强基线的0.658。 该模型基于包含100万份合成临床文档、覆盖17种语言的 Meddies-PII-Dataset 训练,数据通过13个确定性门控验证。 团队承诺在论文被接收后,公开发布数据集、模型及生成框架,以支持多语言临床去标识化研究。
论文提出 Capability-Driven Multimodal Scaling Law 框架,利用 LLM 文本能力预测 VLM 基准准确率,无需训练即可预测。 通过 34 个 LLM 训练 150+ 个 VLM,在 250+ 个基准上验证,能精准预测不同参数规模及未见过的模型家族表现。 该框架将骨干模型选择从低效的经验扫描转变为量化的科学决策,并揭示基准作弊现象。 ```
针对固定算力预算下的 Transformer 视觉语言模型,研究发现最小目标损失遵循可预测的计算法则,而计算最优的模型规模与 token 数量呈幂律分布。语言与多模目标呈现不同分配趋势,多模态模型分配指数随多模态 token 比例增加而适度下降,转向 token 分配。下游评测显示,原生多模态预训练能提升空间推理能力并改善多模态少样本学习表现,为多模态基础模型的可预测缩放奠定实证基础。
研究者提出 LoRi 低秩蒸馏框架,在 LLaMA 和 Qwen 模型族上显著提升数学推理性能,接近显式 CoT 准确率并优于既往隐式方法。 方法基于隐藏状态推理轨迹的低秩结构,利用一阶和二阶统计量对齐师生轨迹于共享低秩张量子空间,适用于多步骤困难任务。
针对同行评审质量下降的普遍观点,新研究对 ICLR、NeurIPS 和 *ACL 等主要 AI 及机器学习会议进行了跨时间分析。 研究提出了结合 LLM 和轻量级度量的多维量化框架,结果显示中位评审质量在不同年份并未出现一致下降,否定了质量衰退的流行叙事。
Fair-GPTQ 提出首个显式降低大语言模型不公平性的量化方法,通过为量化目标添加群体公平性约束实现。该方法在处理职业偏差、性别、种族和宗教歧视性语言时,保持零样本基准测试至少 90% 的准确率,同时保留 4-bit 量化的内存和速度优势,已获 TACL 接收。
研究团队提出 GAP 方法论,通过表面重命名和内核重写生成数学等价变体,以诊断 LLM 推理失败原因。 在 PutnamGAP 数据集上评估 18 款模型,发现准确率随变换类型下降,内核重写导致最大性能缺口,且强模型未能弥合该差距。 这表明最强 LLM 的核心弱点在于将证明计划迁移至新的数学背景,而非处理表面符号变化。
针对 LLM 深度扩展中插入新层导致的神经元排列失配问题,本文提出 Optimal Transport Depth Up-Scaling (OT-DUS) 方法。 该方法利用最优传输(OT)理论逐模块对齐并融合功能对应的神经元,在通用与特定领域的持续预训练及监督微调中表现优于现有方法。 分析显示,将新层插入较高位置不仅能提升模型性能,还能改善训练效率。
WOVEN 训练源和基准通过 36,076 个实例组织视觉过渡监督,发现 38 个前沿 MLLM(如 GPT-5.4)存在系统性缺陷,最强模型仍远低于人类水平。
针对长尾分布下预训练模型对罕见概念支持不足的问题,提出 PASS 自适应指令选择方法。 该方法根据先验障碍动态分配有限预算,在 4 种骨干预算设置下表现优于 7 种 SOTA 方法。 消融实验证实自适应分配显著优于均匀分配策略。
UniData 提出了一种将简单用户需求转化为多轮多模态指令的通用生成管线,并构建了包含 20,000 条数据、覆盖九种模态的 UniDataset。 管线通过多事件扩展及 any-to-any 大模型整合生成指令,并利用轮次相关性修正无关与冗余推理流程。 实验显示 UniData 在数据质量上达到 SOTA 性能,并提升了其他多模态模型的理解与生成能力。
summary_zh: Attic-KV提出一种训练无关的KV缓存压缩方法,通过让模型自问自答来“排练”即将读取的内容,而非重读全部上下文。 该方法在RULER和LongBench基准上表现优于重读法,在3%保留率下相比全量重读提升41.9分,并能提升KVgrad和RestoreKV+的性能。
小米团队发布 MiMo-V2.6 系列多模态模型技术报告,通过大规模强化学习提升模型智能边界。该系列基于混合-SWA 架构进行中期训练,并在三维方向扩展 RL 算力:每步消耗 1,568 样本及 2.7-3.7B token(支持 1M 上下文)、覆盖代码/通用/视觉/网络领域的复杂环境,以及通过组式智能体评分生成更准确的奖励信号。
DIAL-OPD 提出一种基于对数均值权重筛选 Token 的在线策略蒸馏方法,仅保留 40% 的 Token 即可超越全量 Token 的 Vanilla OPD。
研究提出 MH-INDIC 框架,通过十维母体健康推理标准评估 10 款 LLM 在印度北部的文化对齐度。 基于 102 名女性调研,发现所有模型在人口统计与家庭画像上的行为变异度均显著低于真实人类群体。 人类接地提示(human-grounded prompting)能生成更强的文化对齐对话,证实文化画像可用于改进生成质量。
提出无需训练的 SFT-as-Context 方法,利用父模型将 SFT 模型响应作为上下文进行回答,在保留通用能力的同时获取微调后的专项能力。在 19 对父子模型和 11 个基准测试中,该方法在 AIME 2024 和 LiveCodeBench 上与 SFT 模型差距仅为 2.2 和 2.1 个百分点,通用能力平均差距保持在 2.2 个百分点以内。
微调后的Qwen3.5小语言模型在两个基准测试中,于精确率和召回率上均优于提示词驱动的GPT-5.4与GPT-5.6 Sol。 部署的0.8B模型将服务成本降低约16倍,其紧凑提示设计优于冗长指令。线上实验显示该功能带来显著收益,学习者参与度提升15.8%,新课程GMV增长13.2%。
该研究提出 LLM 辅助框架,通过微调开源模型并本地部署,将 WisTMP 历史文档转化为 JSON 问答对,实现交通管理计划(TMP)内容自动化生成。 实验显示微调显著提升文本生成指标,但模型存在策略过度生成及成本估算困难问题;从 7B/8B 扩展至 14B 模型参数提升收益有限。 框架展示了 LLM 提升 TMP 编制效率的潜力,同时揭示了 LLM 在特定领域应用中的现存挑战。
研究人员构建包含 6.75B tokens 的 Wieszcz-XIX 语料库,覆盖 1800-1918 年波兰语文档,并开源发布。 该语料库通过管道过滤、去重并审计后 1918 年文本泄漏,已知残留率为 0.04% 至 0.38%。 研究团队从头训练 47M 至 349M 参数模型,结果显示其时间受限性优于现代基础模型。
TouchScale发布了基于统一传感器和采集流程的500小时人类视觉-触觉数据集。使用TouchScale进行mid-training,机器人在4个真机接触任务上的平均成功率从22.5%提升至57.5%。实验显示,仅增加TouchScale数据规模,跨传感器触觉预测准确率和真机操作成功率均持续提升,验证了触觉数据的Scaling收益。
OpenAI 粒子理论物理学家 Nathaniel Craig 利用 GPT-6 Astra 模型,在 arXiv 发表预印本《A gauge-invariant measure for lattice chiral fermions》,扩展了 Lüscher 1998 年提出的阿贝尔格点规范理论结果至非阿贝尔情形。
作者使用 Hugging Face 的 ML-Intern 智能体,以约 103 美元的计算成本完成了多个定制化模型项目。这些项目包括柑橘叶病识别 VLM、角色 LoRA、相机视角 LoRA 以及 0.8B 和 2B 的 Pocket Rewriter 模型。其中柑橘病识别模型在单张 A10G 上训练,将 Qwen3.5-2B 对测试集的正确识别率从 14.9% 提升至 52.8%。
推荐理由:展示了Agent驱动的工作流,用极低算力成本生成多个专用模型,并公开了可直接复用的Prompt技巧。
该文章整理了约 50 种科学失败模式,并预测在全面引入 AI 研究者后,大多数模式将因实验量激增、模型同质化及相关性误差而加剧。 少数如查找引用、修 bug 等繁琐工作将因 AI 成本低而改善;文章指出,通过发表前强制复现可过滤统计噪声,但生态系统功能仍取决于 AI 研究爆发前的准备程度。
Cleer Dashboard 应用 CLEER 方法估算闭源 AI 模型的环境影响,完成了 2400+ 次测试运行及 4.25 亿+ token 的推理能耗分析。 该方法基于基准测试与代理模型匹配,估算单 token 能耗,并生成 640 gCO₂e/kWh 场景下的碳排放报告。 该仪表盘将能耗数据转化为排放数据,结合 PUE 1.45 假设,支持企业排放清单。
文章分析了美国司法部为OpenAI版权诉讼辩护主张AI训练属合理使用,却同时指控中国实验室对前沿模型进行恶意蒸馏的法律矛盾。文中对比了美国实验室在Grok等模型中使用OpenAI输出的常规做法与中国被指控的规避行为,并指出虽然蒸馏在技术上是训练的特例且美国公司也在进行,但法律界对模型输出的知识产权属性仍存歧义,且美国法院未在贸易秘密法或版权法层面明确界定蒸馏的违法性。
Epoch AI 报告估算,截至 2027 年部署的硬件可支持 3000 万至 1.7 亿个并发前沿模型智能体,相当于 1.4 亿至 7.2 亿名全职员工的周工时。若利用率仅为 20%,其对应的年度 API 等效支出将达 2.6 万亿至 5.3 万亿美元,远超 2027 年底模型开发者约 1 万亿美元的收入预期,表明算力建设可能超前于当前推理需求。
阿里巴巴主席蔡崇信表示,开源AI是欧洲摆脱对美、中依赖的最佳路径,并敦促该地区构建自有算力以训练和运行模型。 该提议的背景是,中国开源权重模型正在全球市场 gaining 份额,使开源成为介于美国与中国AI巨头之间的第三条道路。