First-Order In-Context Shapley:LLM 对齐与评估的可扩展数据审计
提出推理型 In-Context Shapley 流水线,通过语义 k-NN 邻居计算一阶项,无需更新参数,计算量仅为多 shot Monte-Carlo 的 1/19。
提出推理型 In-Context Shapley 流水线,通过语义 k-NN 邻居计算一阶项,无需更新参数,计算量仅为多 shot Monte-Carlo 的 1/19。
研究发现标准输出级评估系统性高估机器遗忘成功率,当前方法常表现为“表观遗忘”而非重训练一致性遗忘。 重训练一致的表示空间分析显示,现有模型在遗忘样本与保留样本间存在不对称残留,且残留集中沿重训练相关方向分布。 这种结构化失配超过独立重训练的变异性,导致再学习攻击中信息恢复风险,揭示了输出遗忘隐藏的安全隐患。
研究团队推出 MedGym,这是一个基于连续时间框架的动态医疗治疗推荐基准环境。 该环境利用物理信息神经网络构建,支持在不规则治疗时序和患者特定动态下,直接比较离散时间与连续时间强化学习方法。 MedGym 允许从个性化和轨迹级安全性等临床重要视角进行评估,从而为医疗强化学习方法提供更具真实性和信息量的标准化测试。
提出贝叶斯非参数混合效应ODE模型MEGPODE,将每个受试者的向量场分解为共享群体组件与个体偏差,两者均赋予高斯过程先验。 采用状态空间高斯过程先验表示潜在轨迹,并在有限时间网格上惩罚其导数与向量场的差异,避免训练时重复求解ODE。 在异质振荡及生物医学ODE基准测试中,相比强基线模型,显著提升了群体场恢复及受试者级轨迹预测性能。
该研究证明了构造多项式键 MPO Born 机器以有界 KL 误差近似任意连续目标分布是 NP-hard 问题。 对于满足对数 Sobolev 不等式的目标分布,若损失诱导的哈密顿量是局部的且具有常数谱间隙,则存在具备可证明 KL 保证的多项式键近似。 研究还证明,构建局部重要性采样估计器所需的局部分数查询次数可以是多项式级别的。
针对直接偏好优化(DPO)在多重 rollout 场景下丢弃传递性结构的问题,论文提出 GraphDPO 方法。 该方法在由 rollout 排名诱导的有向无环偏好图上操作,将支配关系编码为边,并优化图结构的 Plackett-Luce 启发目标函数。 通过等价类构造处理并列与不可比较响应,保持每提示词线性复杂度;在推理与程序合成任务上表现优于标准 DPO。
提出一种无模型基于实例的学习框架,利用惊讶度直接分析原始数据并执行推理。 该框架消除分布建模,支持数据直接编辑与删除,在异常检测及部分监督任务中达到 SOTA 水平。 该信息力学理论为构建可维持人类可理解性的可扩展机器学习与 AI 提供了可行基础。
深度机器遗忘研究长期忽视训练样本的个体差异,导致可行性未被充分探索。论文分析指出,使数据点难以遗忘的四个因素独立于特定遗忘算法,仅与目标模型及训练数据相关。作者呼吁研究界应重视机器遗忘中的实例级难度分析。
论文提出联合条件化线性不等式约束的高斯过程PDE求解方法。 在S&P 500期权链稀疏至20个报价时,无套利约束使外推误差降低22%,日历套利率从10%降至1%。 该构建将合法性条件从后处理转为概率求解的内在条件化信息。
该研究提出一种两阶段算法,无需已知平滑常数或方差边界,即可自适应平均平滑、标准平滑及无噪声场景。 平均平滑下收敛率为 O(T^{-1/3}),标准平滑下为 O(T^{-1/4}),无噪声时达 O(T^{-1/2});未知迭代预算 T 时采用对数因子路径。
研究提出一种可扩展的 empowerment 最大化方案,将 empowerment 定义为从给定状态可执行的技能数量。 该方法适用于任意底层技能学习算法,并在 Crafter 环境中验证了资源收集、环境修改和生存等涌现特性。
提出 CIG-SFT 框架,利用条件信息增益量化任务输入对演示决策的不确定性降低,实现更优的后训练监督微调。 该框架在数学推理和代码生成基准测试中,一致性优于标准 SFT 及自适应微调基线,且无需额外训练数据或在线 rollout。 此方法显著提升了模型在挑战性评估分布上的泛化能力。
针对生成式贝叶斯后验恢复困难,提出Two-way Guidance机制联合学习摘要统计量与后验分布。 该方法通过结构限制简化后验学习,并由后验目标引导摘要趋向充分性,提供后验误差及摘要充分性偏离的理论保证。
研究指出 88% 的开源数学训练题对目标策略无效,MagicBeanStalk 通过递归数据合成生成校准难度的新题。 在 16K token 预算下,MagicBeanStalk 使 gpt-oss-120b 提升 8.6 分,DeepSeek v4Flash 提升 5.4 分,优于全量数据训练。
研究发现,预训练阶段按时间顺序组织知识形成的“专家模型”,比随机打乱顺序训练的“通用模型”更新知识所需的步骤更少。 该研究从第一性原理推导了将更新成本与模型优化动力学关联的定律,并设计了一种保留历史稳定知识且高效更新当前知识的预训练数据组织策略。 这些优势被证实可扩展至现有的预训练模型及知识更新工具,并适用于其他知识排序方式。
summary_zh: TabMF 是一种框架,它利用预训练的表格基础模型(TFM)作为编码器来提取监督数据集的高级表示,该框架在数据集检索和分布偏移监控等任务中表现优越。
summary_zh: 研究团队提出基准测试 TabReliBench,用于评估表格基础模型(TFMs)的后验预测分布可靠性。该基准涵盖点预测、分布质量、校准及区间效率等多维指标。
简单二次模型通过重尾幂律分布输入可复现大语言模型预训练中的间歇性损失尖峰。 作者建立了逐层训练动态的理论框架与模拟算法,针对已知诱发尖峰的 Adam $\beta_2$ 接近 1 配置进行验证。 模拟成功预测了特定检查点的尖峰行为,且推导的 $\beta_2$ 调度方案在实证中改善了性能。
基于 MIMIC-IV 的研究发现,复用预处理管道常导致时间泄漏、特征任务错位及偏差插补。 这三种预处理对齐违规在整体预测性能中往往隐蔽,却改变了模型依赖的信号,需遵循时间有效且临床一致的规范。
研究人员推出在线强化学习框架MORAD,通过多目标奖励联合优化,在结构条件RNA逆向设计中取得新SOTA。 MORAD结合骨架条件分组采样与扩散目标,在预训练模型RIDE上将GDT-TS提升16.0%,配对MCC提升19.4%。
论文提出CAST框架解决跨分词器在线策略蒸馏中的信用分配难题。 该方法在Qwen3-8B到Mistral-7B等模型迁移中,平均性能较基线提升2.45分。 CAST能精确求解KL正则化问题,适用于共享分词器场景。
研究发现强化学习或微调产生的策略差异比单纯模型规模差异更有效。 该论文提出统一视图,将代理专家与参考策略的对数概率比定义为隐式奖励。 这种机制支持跨规模、训练阶段或代际模型的任意到任意迁移。
小模型缺乏强上下文学习导致自我蒸馏微调失效,SynthSelf 方法通过最小化对齐器生成合成数据解决分布偏移。 结合离策略监督与拒绝采样,SynthSelf 在 4 个获取数据集和 14 个保持基准中优于 6 种对比方法,覆盖 3 种小模型规模。 该方法证明了无需打破原始分布即可实现小模型有效持续学习,为低延迟终端设备部署铺平道路。
summary_zh: AlgoPerf V1 基准更新了九项工作负载的训练算法评估,要求提交结果在固定硬件上运行。 该基准包含 13 个 PyTorch 和 JAX 提交,Schedule-Free AdamW 在自我调优规则下排名第一。
提出个性化联邦直接偏好优化(pFedDPO),允许每个客户端在共享基础模型上维护私有 LoRA 适配器以捕捉特定偏好分布。 证明了该分解将联邦直接偏好优化边界中的梯度多样性替换为更小的有效剩余异质性,实验显示其梯度范数低于原生方法且保持具有竞争力的训练损失和每客户端奖励精度。
该研究将参数高效微调方法视为流形映射,通过三个不变量建立分类框架,分析了表达力、训练动态及基底变换。 系统对来自138篇论文的382种方法进行了分类,并证明了如零初始化LoRA位于锥体顶点等关键数学性质。
OSIS 利用短时 MCMC 动力学定义局部目标,实现单步摊销推理。 模型分布收敛为 MCMC 核不动点,效率显著高于多步方法。
STAPLE提出一种将静态稀疏内存集成到预训练模型的新方法,保留FFN上投影并将嵌入作为残差路径添加,避免盲目集成导致的性能损失。 在OLMo-2 1B模型上,STAPLE在HumanEval上比密集持续训练提升4.27分,在GSM8K提升2.27分;在OLMo-2 7B骨干上改进依旧显著。
样本自适应零阶优化(SAZO)通过学习样本重要性并自适应分配查询,加速大语言模型零阶微调的收敛。 该方法无需额外模型评估,仅比 MeZO 增加 O(N) 标量状态,证明其渐近匹配最小方差采样或acles的收敛主项。 在四个模型族上的实验表明,SAZO 提升了平均下游性能,且达到相同训练损失所需的查询次数最多快 6 倍。
提出代数整数量化(AIQ)作为 LLM 推理的有损压缩格式,在相同 bit-per-parameter 预算下,其在多个模型和 benchmark 上的精度表现与行业标准 MX 格式相当。 该框架通过将算术简化为纯整数运算,实现无误差的乘加操作,并利用现代硬件加速器上的矩阵乘法引擎,性能在可预测倍数内接近最高效的数值替代方案。
丘成桐数学与人工智能实验室联盟在清华大学成立,将发起数学专用大模型研发、AI 辅助数学形式化证明等攻关,推动 AI 与数学深度融合。 联盟集结超 1000 位数学家和科研工作者,联合多个机构发布了 10 余项“AI+数学”重点成果,探索属于中国自己的数学大模型建设路径。 这将倒逼重新思考数学的本质价值,推动在 AI 浪潮中主动探索而非逃避。
数据工程是构建多模态 AI 系统的基础。 该领域需处理图像、文本、音频等多种格式的数据。
AI体育硬件公司庞伯特近日完成数亿元B轮融资,由上海国投先导基金领投。资金将重点投向AI体育大模型研发、运动视觉技术与全球市场拓展。 公司构建“手-眼-脑”一体化架构,Aura机器人搭载10Tops端侧算力,平台已积累超100万组球路数据。 官方合作伙伴身份提升品牌认知,旨在通过智能化降低专业教练门槛,让普通用户获得专业级训练体验。
Sumitomo Bakelite 将在苏州工厂和新加坡新增模具底部填充及压缩成型颗粒生产线,用于先进芯片封装材料。这是该公司在不到四个月内第二次扩大其中国业务。 AI 芯片依赖先进封装,目前该领域需求正传导至供应链下游的材料供应商。
魏茨曼理工学院开发的 Brain-IT 模型能根据脑活动重建视觉场景,仅需1小时数据即可适配新用户,远少于传统模型所需的数十小时。该模型通过构建双向编码器与解码器利用7.3万对图像-fMRI数据训练,并发现128个共享脑功能区域。
AI 模型解决数学难题后向领域倾倒海量发现,速度远超科学界处理与理解能力。 这种“发现倾倒”使答案先于理解,导致证明廉价而理解成为瓶颈,甚至一夜间颠覆研究项目。 若 AI 发现速度完全脱离理解速度,科学将陷入混乱,实验室需确保与科学界良性互动以维持理解同步。
研究表明,通过机制可解释性技术(如消融)修改 Qwen 3.5 9B 教师模型权重后,其行为变化能传递给学生模型。 这种行为继承在多代蒸馏中持续存在,但具体机制尚不明确。这揭示了通过蒸馏攻击传递未对齐行为的潜在风险。
塔林理工大学研究员Anton Sokolov指出,论文工厂交易正影响LLM查询结果。去年研究显示,模型在6500次评估中未能识别任何被撤稿论文。 目前约2万篇被标记为可疑但未撤稿的论文已被AI吸收。他建议使用数字签名验证作者身份以提高透明度。
教育部今日在京启动教师人工智能素养全覆盖培训,并升级上线国家智慧教育平台教师发展中心。 新平台开设 AI 素养专区,集成学习资源与智能工具,通过沉浸式示范培训展示 AI 在备课、教学、评价及治理全链条中的应用。 此举旨在推动从“学 AI”到“创 AI”的方法路径落地,助力人工智能与教育深度融合。
Kisoku 1.6B 是一个由单人基于 Google TPU 从头预训练的大语言模型,采用 Apache 2.0 协议开源。模型在 10 项基准测试中与 Meta 的 Llama 3.2 1B 持平,且训练数据量约为后者的 1/18。项目提供 64K 上下文支持、聊天微调预览版以及完整的技术报告和评估代码。