用于多语言 LLM 对齐的偏好元学习框架
研究者提出针对多语言 LLM 对齐的元学习框架,利用跨语言偏好数据实现低资源语言的高效适配。 该方法在仅有 100 个目标语言样本的极端低资源场景下,胜率较基线提升最高 33.4%,并被 NeurIPS 2026 接收。
研究者提出针对多语言 LLM 对齐的元学习框架,利用跨语言偏好数据实现低资源语言的高效适配。 该方法在仅有 100 个目标语言样本的极端低资源场景下,胜率较基线提升最高 33.4%,并被 NeurIPS 2026 接收。
ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。
该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。
研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。
Chiron 是一款基础模型,通过联合微调 LLM 实现对心理构念的表征和个体行为预测。其训练数据涵盖 36 个行为领域和 78 个社会实验,包含 288,307 条个人记录。
Piccolo 0.8B 至 27B 多模态决策模型通过 Agentic Data Engineering 实现模型与数据协同演化。 Piccolo-27B 在 Decision Index Vision Full 榜单以 75.59 分居首,9B 与 4B 模型在各自规模 Private 基准测试中排名第一。 发布权重及工具,为构建前沿决策模型及扩展数据驱动的递归自我改进提供可行蓝图。
提出 LED 后训练框架,扩展扩散语言模型的编辑范式,支持插入与删除操作以修正序列移位错误。 基于 16B 参数 LLaDA2.1-Mini Base,置信引导解码下平均得分由 54.86 升至 57.10,置信无引导解码下由 27.52 升至 47.19。 在 block size 128 时提升鲁棒性(36.97 至 51.34),并增强生成多样性。
在黄仁勋辞职后英伟达举行的首次财报电话会议上,临时首席执行官科莱特·克雷斯表示公司业务照常开展,产品规划未受明显影响,市场需求仍保持积极。IDC分析认为大客户采购和供应安排已确定,短期内大规模暂停采购的可能性不高,但存储、电力等瓶颈仍是限制AI基础设施扩张的现实因素。
最新AI Access Index显示,684个顶级域名中79.7%对AI搜索和训练均开放,7.7%完全关闭。 11.3%的服务器拒绝robots.txt允许的爬虫,而63.7%仍提供robots.txt封锁的内容。
特朗普在菲律宾推动建设1620公顷AI枢纽,作为“Pax Silica”计划的一部分。该计划旨在建立芯片工厂和数据中心,以对冲中国在半导体制造和关键矿物加工领域的主导地位。 该枢纽预计为原住民带来土地被征用的风险,菲律宾官员称将在年底前签署框架协定,项目涉及与Nvidia、TSMC和Apple的合作意向。
研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。
SID 团队发布研究估算 2026 年全球 LLM 处理 token 总量在 200-230 千万亿之间,其中输出 token 约 1.5 千万亿。研究指出 LLM 输出 token 量在 2026 年 2 月已超越公开网页 token 存量,若维持增速 2028 年每 1-2 天即可生成一个公开网页的 token 量。
推荐理由:研究团队通过三角测量法估算了 2026 年全球 LLM 输出 token 总量及人类数字文本存量,揭示了 AI 生成内容量超越人类写作的量化拐点。
美联储《金融稳定报告》新增章节指出,主要科技公司在AI数据中心建设上存在超过3万亿美元的表外债务承诺,其中包括1万亿未开始的租赁和2万亿的合约承诺。高级计算相关的债务发行量从2023年的1300亿美元激增至6800亿美元,美国大型银行对这些技术公司的敞口接近1万亿美元。
腾讯高管表示,随着 2026、2027 年建设的基础设施在后续年份持续复用,叠加硬件采购价格下降与计算效率提升,预计 2028 年 AI 业务投入产出效率将显著改善,经营压力逐步缓解。 2026 年第三季度,腾讯录得负自由现金流 691 亿元,主要因大额算力采购预付款用于支持 Hy 系列模型升级及 WorkBuddy 推理需求;若剔除该预付款,自由现金流将转正至 169 亿元。
腾讯控股在 2026 年第三季度财报沟通中披露,受芯片限制影响,训练下一代模型将需要更长时间。腾讯本季度实现营收 2073 亿元,同比增长 8%。其最新推出的混元 Hy4 flash 模型被称为“性价比最高”,WorkBuddy 日活用户数超过 1000 万。
微信官方宣布私人 AI 助理“小微”日活跃用户数已达 3000 万,其测试范围已逐步融入微信聊天、朋友圈、公众号及视频号等场景。小微采用针对成本效率优化的 WeLM 模型,未来预计部分推理任务将在用户设备端运行,从而依托支付及小程序服务构建智能体能力,并与现有生态建立共赢关系,不会与其产生利益冲突。
Salesforce 按角色设定每月 AI token 预算,其中技术销售岗位为 $1,000,其他技术岗位为 $500,非技术岗位为 $100。 此举措源于部分员工上季度月均消费数千美元;为期一个月的试点显示团队实际支出远低于预算,且产出未下降。 此举旨在控制 AI 成本的同时避免抑制内部使用。
长鑫科技高管预计DRAM供给紧缺格局将在四季度延续,毛利率有望保持稳定,并已协商长期供货协议锁定中长期需求。 第三季度单季毛利率达89.53%,资产负债率由上年末约54%降至36.34%。 公司看好AI终端普及带来的内存增量,4F²架构将优先落地服务器等高附加值产品。
该研究揭示了高维体制下宽特征学习网络中特征可学习性由一系列尖锐相变支配,并提出了在固定数据预算下的“有效宽度”概念。 模型推导了贝叶斯最优泛化误差的两个统一缩放定律:特征学习阶段误差随 $n^{1/(2\beta)-1}$ 衰减,精修阶段随 $n^{-1}$ 衰减,且学生模型在此处表现接近理论最优。 该研究已被 NeurIPS 2026 接收,为理解大型有限宽度网络的知识转移提供了信息论依据。
针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。
针对边缘设备资源限制,提出 Mix-Opt 框架,通过自适应结合 BP-low 与 ZO-high 实现内存高效的文生图扩散模型个性化微调。 引入时间步感知的概率函数动态选择优化策略,在 U-Net 与 DiT 模型上均实现显著内存降低且保持高质量生成。
研究指出神经组合优化求解器中,均匀分布工作负载下的非均匀预算分配增益实为抽样偏差。 三个预训练求解器(POMO, AM, SymNCO)在分布内样本中报告2.2%-2.6%的伪增益,分布偏移下真实增益达11.5%。 文章发布纠正程序、报告清单及全部代码与预注册记录。
Localized LoRA-MoE 提出结合空间分块与上下文条件专家路由的框架,解决 LoRA 训练中的梯度干扰。 架构包含中心化与去中心化两种变体,在结构化基准中优于静态基线;在 Qwen2.5-1.5B 模型上,去中心化路由比 LoRA 高 3.9 分,匹配 6 倍预算的专用适配器效果。
TTCov 提出了一种数据级测试条件筛选方法,利用训练前的测试端信息而非推理时的权重更新。 该方法构建 LLM 原子命题任务 Atlas 和知识 Atlas(K-Atlas),将部署分布转化为筛选目标,在自动驾驶领域实现优于基线模型的端到端驾驶性能。
BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。
Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。
PRCO 提出基于共享策略的双角色 RLVR 框架,在 8 个基准测试中将平均准确率提升 7 个点以上。 框架通过 Observer 生成证据描述、Solver 预测答案,并采用角色特定奖励解决信用分配模糊问题。 该方法性能优于先前开源的 RL 调优基线模型。
DiffATS 框架直接在正交 Procrustes 对齐的张量基元上训练扩散模型,实现 3.9 至 210 倍的数据压缩。 该方法无需预训练压缩自编码器,通过 Tucker 分解构建数据依赖型基元,并在图像、视频及 PDE 求解上实现强生成性能。
基于丰富自我报告数据的 AI 模拟可显著降低人口统计提示带来的预测误差与样本统计扭曲,在 General Social Survey 项目中,使用访谈和调查数据使准确率从 60.4% 提升至 72.8%。 研究对 1052 名受试者进行了两小时访谈,发现组合数据可弥补 53.5% 的扭曲差距;微调模型虽达到 75.2% 准确率并修复 69.3% 的扭曲,但未能消除经济博弈中的过度理性偏差。
提出 ACC-SGD-IE 估计器,通过后续出现的 Hessian 修正早期移除对后续移除的影响,解决标准 SGD-IE 忽略交互项导致的跨 Epoch 偏差。
数据驱动优化中存在已知为优化者诅咒的乐观偏差,研究者开发了Optimizer's Information Criterion (OIC)方法来解析并修正该偏差。
研究者对比了 8 种 LoRA 方法在 200 种语言及 9000 多种评估设置下的表现,发现小尺度搜索无法可靠预测全量排名。 LoRA 在翻译数据上稳定提升模型拟合度,但削弱阅读理解能力,且对低资源语言获益最大。因此,LoRA 应被视为针对性工具而非通用多语言增强手段。
该论文提出一种基于物理仿真的推理时优化框架,确保生成式策略动作满足任务收敛条件。 在 PushT 和立方体堆叠任务中,成功率分别提升至 88.5% 和 86.0%。
团队提出 MAVE 框架及 MAVEBench 基准,通过结合度量观察、智能体建模与证据验证,从电影镜头重建可编辑 3D Blockout。 在 MAVEBench 评测中,MAVE 相比基线提升了 27.5-41.1 分;使用 DeepSeek-1017 时平均成本仅为 0.054 美元/镜头。
研究人员提出受控实验框架 Visual Generative Lab (VGL),用于评估扩散模型在尺寸、位置等7项基本视觉技能上的泛化表现。该框架通过生成合成数据,发现模型的外推能力有限,组合泛化效果主要取决于技能组合数量而非数据集大小,且各项技能通常独立失败。 VGL 采用基于规则的任务指标精确测量泛化能力,揭示了默认设计下尺寸与位置外推在训练范围附近迅速退化,计数准确率仅约50%。
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。
HubEgo-100K v1.0 发布 10,124 小时 1080p 第一人称视频,涵盖 15,548 个环境。 数据含 100 Hz IMU 数据及 72,754 个带注释片段,采用 CC BY 4.0 授权,旨在通过多样性提升机器人策略泛化能力。
论文提出 Ambient SFT 框架,利用预训练模型作为噪声教师,通过匹配高温度条件分布来防止小数据集微调导致的过拟合。该方法在领域适应、指令调优和推理任务中表现优于标准 SFT,平均相对提升达 21%。
SimAI 是一个用于机制化用户仿真的框架,通过建模心理因素如何交互塑造用户反应来模拟对话,并提出了图重建目标以基于模拟对话对底层心理关系的反映提供图级奖励。
研究者提出分层策略,在推理时将样本预算分配给k个策略,而非重复采样单一策略。每个策略由共享语言模型骨干上的独立LoRA适配器实现,并针对pass@k进行优化。 理论分析表明,在单LoRA预测误差严格为正的场景中,LoRA群体可实现零best-of-k近似误差。实证结果显示,在多个推理任务中,分层策略一致优于单一策略基线。