Microsoft Research 探讨 AI 塑造健康未来
Microsoft Research 专家在《The Shape of Things to Come》播客中探讨 AI 对医学未来的影响。 对话聚焦 AI 辅助诊断、医学影像、虚拟细胞及生物基础模型在科学发现中的作用。 他们分析了研究转化为临床应用的挑战,强调高质量生物数据与真实世界验证的必要性。
Microsoft Research 专家在《The Shape of Things to Come》播客中探讨 AI 对医学未来的影响。 对话聚焦 AI 辅助诊断、医学影像、虚拟细胞及生物基础模型在科学发现中的作用。 他们分析了研究转化为临床应用的挑战,强调高质量生物数据与真实世界验证的必要性。
提出结合前景与背景证据指导局部监督的CB-LNL方法,旨在应对噪声标签下的实例分割挑战。 该方法基于COCO和LVIS标注审计,并引入覆盖人类标注及SAM2弱提示掩码的基准测试。 实验显示,相较于直接教师掩码替换,CB-LNL在程序化轮廓噪声训练上性能更优且有害编辑更少。
外部观察者可通过监测 NVIDIA H200 的功耗,无需配合即可识别 AI 工作负载类型。 研究记录了 930 条 10 MHz 功耗轨迹,区分训练与推理的准确率达 97%。 该物理侧信道为 AI 算力验证提供了可落地的国际政策治理切入点。
研究团队发布了迄今最大规模的医学影像数据集综述,系统梳理了1000多个开放获取数据集。该工作指出现有数据集规模有限且碎片化,并提出了元数据驱动的融合范式(MDFP)以整合共享模态或任务的数据。团队同步发布了一个交互式发现门户和统一结构化表格,旨在加速数据发现,支持构建更强大的医学基础模型。
研究指出 PDE 发现的事后评估需兼顾预测精度、物理一致性、可解释性及分布外泛化能力,且这些属性往往相互冲突。现有文献多仅关注局部指标,易导致结论偏差及方程排序改变。 作者提出首个 PDE 评估指标分类体系,并发布基于规则的 Pde-Check 协议,指导根据数据可用性和物理先验等场景选择评估策略。
summary_zh: Proxy OPD 提出一种后训练方法,利用目标冻结基策略作为参考,通过代理奖励引导探索生成 token 级对数概率变化信号,实现在线策略蒸馏中跨目标复用奖励诱导改进。
Layer patching 的顺序显著影响大语言模型插值性能,简单顺序策略(首层至末层或末层至首层)常表现优异。 该工作将最优层子集寻找建模为无环图中的最短路径优化问题,并提出基于 KL 散度的贪心算法 KLPatch,通常优于从末层开始的策略。
研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。
研究人员开发了肾癌视觉-语言基础模型 RenalCLIP,旨在通过无创评估提升诊断精度。 该模型利用 27,866 例 CT 扫描数据,采用两阶段预训练策略,在十个核心临床任务上性能显著超越通用模型,且仅用 20% 数据即达基线峰值表现。 RenalCLIP 展现出强大的零样本诊断能力,有助于优化肾实质的预后分层与个性化治疗管理。
提出自适应逐层变换框架,将 LLM 量化中的激活和权重离群值转化为可微分优化问题,并根据权重分布峭度指导逐层选择最优变换。 在 LLaMA-3-8B 模型的 W3A3KV2 低比特量化下,该方法比现有最优方法 FlatQuant 降低高达 4.58 点的困惑度,并将六项零样本任务的平均准确率提升 2.11%。 该工作证明了采用异构逐层变换策略对于实现最优 LLM 量化是必要的。
研究首次系统分析大语言模型对逆关系方向性的建模能力,基于包含5457个实例、覆盖27类逆关系标签的基准,评测了5个开源LLM。 发现模型在逆关系分类中存在系统性不对称,关系描述未带来一致性能提升,且模型性能对实体表示的变化较为敏感。 该研究已被EACL 2027 Findings接收。
该研究探讨无外部预训练数据的生成式数据增强对分类器测试准确率的影响,通过四个骨干网络在六个数据集上的实验,界定了合成数据带来的超额风险上限。 理论表明,当生成与真实数据分布差异较小时,合成数据增益最大;总变差距离下界较大的生成器在六个数据集中的五个上效果较弱。
LLM-as-a-Tutor 框架扩展了大语言模型在强化学习中的角色,从仅作为评分者升级为既能识别非挑战性提示词,又能通过添加原子级约束来动态生成更复杂提示词的教育者。
研究指出,在有限高维数据集上使用闭式概率流向量场进行少步生成是行不通的。 高维扩散过程的解析解近似于线性变换,训练效果与独立配对无异。 理论量化表明,漂移携带的端点能量比例随数据集规模 $N$ 和对数关系 $\frac{\log N}{d}$ 变化。
论文提出SARL无标签强化学习框架,通过奖励推理拓扑结构替代结果验证。在可验证数学任务中,SARL在AIME25上通过GRPO算法提升44.7%;在开放任务中,WildBench平均分提升30.4%。该框架代码和数据已开源。 ```
GAAMA通过以话题为中心组织对话,结合LLM提炼事实与概念,在LoCoMo10基准上取得79.1%最高平均分,且GRAFT机制能离线修复检索不足。 该方法定义了四种节点类型与五种结构边,利用话题概念提供跨切路径避免超大节点;检索融合最近邻相似度搜索与基于边类型的个性化PageRank。 概念链接事实比实体关系三元组提升3.0个百分点奖励,GRAFT将接地答案记录为新事实,使后续查询直接命中。
研究人员提出Concept Influence方法,将模型行为归因于语义方向(如线性探针或稀疏自编码器特征),而非单个测试样本,从而克服传统影响函数计算成本高且偏向句法相似性的缺陷。 探针归因法作为一阶近似,性能相当但速度快一个数量级以上,实验验证其在新兴错对齐基准和真实后训练数据集上具备可扩展性,支持通过数据更可控地管理模型行为。
基于 10 周真实软件开发场景分析,缓存上下文读取占 API 报告 Token 的 94.8%,缓存感知混合估算器评估该工作负载能耗约为 250 kWh。 现有基于输出的 EcoLogits 估算器仅评估 10 kWh,两者存在 25 倍差异;父会话日志对委托子代理 Token 存在 10 倍低估。 研究凸显工作流级能耗核算的必要性,需涵盖上下文累积、缓存复用及委托执行场景。
在EmbryoNet数据集上,ResNet50结合SwAV的自监督模型表现最优。线性分类器准确率达86.4%,与全监督模型持平。 标签稀缺时,SwAV模型在5%标签下准确率70.2%,远超从头训练的45.7%。 迁移至未见数据集,SwAV模型达81.3%,优于EmbryoNet的75.9%。
Olmo-core 更新训练栈以支持可扩展 MoE 训练,采用 DDP 及 Expert Parallelism,避免传统 FSDP 的高吞吐损耗。 支持 1.2 万亿参数在 512 GPU 下达到 858 TFLOP/s/GPU,DeepEP v2 后端可扩展至 2.38 万亿。 提出 Token Gerrymandering 缺陷,发现重叠通信会显著拖慢 Kernel 速度。
ENA架构通过进化搜索生成专家网络,结合环境检测和贝叶斯策略重用,旨在缓解持续强化学习中的灾难性遗忘。 在30次重复的非平稳CartPole消融实验中,完整架构在5个测试环境中的平均成功率达到83.2%。 该架构在CartPole上适应速度低于PPO,且在HalfCheetah上的收益低于SAC。
基于 GLM-4.7-Flash,采用全文件微调、C++ 修复课程及组相对强化学习。 该流程利用执行反馈构建奖励,在 26 项 C++ 任务中评估模型性能。 最强配置首轮成功率 45.2%,两轮内达 61.5%。
MegNIST 发布首个非侵入性 MEG 内心言语解码基准,基于单参与者想象数字 0-9 的 12,000 次试验,支持 BIDS 格式。 包含 306 通道 250 Hz 数据,提供 10,000 训练、1,000 验证及 1,000 测试集,基线解码显著高于偶然,配套 PyTorch 加载器降低门槛。 标准化分割与验证基线降低非侵入性脑机接口解码方法的开发与评测门槛。
Open-fMIND 发布首个大规模开放获取 fMRI 语料库,基于 322 项 OpenNeuro 研究,涵盖 11,379 名受试者与 45,731 个功能运行序列。
潜反馈(Latent Feedback)机制在固定数据或算力时,分别比标准Transformer减少48%算力和47%数据消耗。 该结论基于60M至778M参数模型的实验与缩放定律拟合,预测误差控制在0.3%以内。 当数据而非算力成为瓶颈时,潜反馈是给定规模模型更高效的算力利用方式。
基准数据污染正以前所未有的尖锐形式出现。过去一个月,基准数据泄露已从后训练扩展到预训练。针对四个公开基础模型,研究通过20项基准的少样本续写发现,部分模型会输出未出现在输入中的其他完整测试题及选项。
论文提出联邦数据集模拟任务,通过预训练嵌入和视觉语言模型标准实现无标签划分,覆盖四类数据集。实验显示其诱导的异构性不低于标签偏斜方法,并开源了包含模拟、测量及训练全流程的模块化包 fds。该方法解决了非分类任务缺乏模拟方法的问题,为联邦学习评测提供了新基准。
研究提出介观神经算子(MNO),一种从分子动力学数据学习的非局部本构模型,用于大尺度断裂模拟。 模型内置归一化核与重缩放临界键伸长率以保证跨尺度物理一致性;在粗粒度MD数据中,学习到的应变能密度和临界能量释放率误差在3%以内。 该框架在面积扩大4000倍的含缺陷板材上成功复现了动态脆性断裂及分叉网络特征。
GEAR^2 在 16B 至 106B 参数的 5 个 MoE LLM 上剪枝 25% 至 50% 专家,无训练重建功能。 利用门控复用激活专家输出,并引入超轻量残差块补足无法表达的内容。 在 9 项零样本基准上超越基线最高 2.75 个百分点,剪枝率更高时优势显著。
PBit1 将预训练网络每个参数映射为一个可编程 p-bit,12-bit 指令设定其概率,通过共享仿射范围映射至权重域,并以时间观测重建权重用于推理。 在 GPT-2、DistilBERT 和 LFM3-1.7B 上,转换所有可学习标量且无微调,困惑度分别增加约 0.66% 和 0.26%,DistilBERT 准确率从 87.51% 变为 87.49%。
HARMONIX 框架揭示了局部有效的决策未必能维持人类决策中的上下文关系。 该研究利用 19,745 条记录进行实验,发现综合约束在稳定结构中提高约 5 个百分点的根音程一致性,但在转调跟踪情境下降低近 9 个百分点。 这一结果证明可解释约束可能引入被整体准确率指标掩盖的系统性失败。
Qwen3-4B 通过自提议 Lua 5.1 程序并经解释器标注进行训练,在后续 2340 项新考试中准确率从 8.3% 提升至 16.7%。该流程分三轮增加数据量,累计 3300 条程序;在 27B 智能体及仓库任务上未观察到增益。
研究显示,后门语言模型的触发器仅通过权重即可被识别,无需运行模型。 该方法利用静态统计读取细调检查点,无需数据、标记毒化模型群体或预先知道后门存在,即可将触发短语中的一个词元标记为词汇表中的最高候选项。
summary_zh: EHRDiB 提出了一种统一电子健康记录(EHR)补全与合成的框架,结合共享多模态表示与证据条件化潜在扩散桥,区分原始缺失与隐藏输入。
研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。
基于1000份全球ML与SE职位数据的分析显示,88.6%的ML职位要求合作技能,72.2%要求沟通技能,显著高于以往基于关键词的估算。 约五分之一的合作及四分之一的沟通要求以隐含方式表达;ML职位更侧重面向受众的展示,而SE职位侧重团队内部实践。
研究提出SLICES框架,用于在共享临床设置下对比评估ICU时间序列的自监督学习方法。该框架基于MIMIC-IV和eICU-CRD数据集,固定使用Transformer编码器和24小时输入,涵盖MAE、JEPA及对比学习等参考实现。
Qwen2.5 在药物文献中展现适应症与禁忌症的记录不对称(LABEL),574 种药物中适应症提及频率约为禁忌症的 2.19 倍。 Qwen2.5 从 0.5B 扩容至 14B 时,适应症准确率提升 18.3 个百分点,而禁忌症准确率接近随机猜测;提供检索片段或路由至 FDA 标签可显著改善安全性问答效果。
Meta 部署的 CLEAR 推荐架构将用户偏好转化为可检查、可修改的自然语言兴趣层,取代不可见的向量表示。 用户评价约 88.5% 的显示兴趣准确;离线测试中 3B 专用生成器 F1@10 达 0.3967,优于 Gemini 2.5 Pro。 该系统已在 Instagram 和 Facebook 运行超一年,支持用户对推荐兴趣进行纠正和引导。
提出ECOD方法,在ALFWorld和WebShop基准上,使用Qwen2.5-1.5B和7B模型时,将标准OPD的相对成功率提升最高4.06%。 通过在任务、轨迹和回合层面分配教师监督,ECOD在ALFWorld未见任务上实现6.20%平均相对增益,WebShop增益介于2.29%至21.60%。 该机制可作为跨不同蒸馏目标的可复用监督分配方法。