MOTIF:利用LLM定义的材料分类学通过不变特征选择实现OOD性质预测
提出MOTIF框架,利用大语言模型生成候选材料分类学,通过不变特征选择提升分布外(OOD)泛化能力。在二维卤化物钙钛矿带隙预测任务中,MOTIF将平均OOD MAE从0.122 eV降至0.111 eV。
提出MOTIF框架,利用大语言模型生成候选材料分类学,通过不变特征选择提升分布外(OOD)泛化能力。在二维卤化物钙钛矿带隙预测任务中,MOTIF将平均OOD MAE从0.122 eV降至0.111 eV。
统一因子化表示(UFR)网络能显著抵抗灾难性遗忘,且无需修改微调算法或网络架构。UFR 中特征的协调变化比纠缠表示(FER)的破坏性变化更能缓解遗忘。 实验表明,通过 UFR 兼容的变体反复微调,UFR 网络的遗忘程度远低于 FER 网络。
GradReason 利用 LLM 分析权重与梯度历史,通过无梯度的“虚拟 epoch”替代部分训练轮次。 在 CIFAR-10/100 的 120 次运行中,Claude Opus 5.5 使数据 epoch 减少 32.8%,测试准确率仅低 0.31 个百分点。 单次 Opus 运行成本 0.68 美元,但智能体延迟超过了其节省的 GPU 时间。
Hydro-Dataset v1.1 发布了一个融合瑞典和芬兰 582 个气象站 2015-2024 年数据的开源管道,生成 180 万条注释站天记录。 该数据集包含雪水当量、融雪速率等 6 类衍生参数,可作为水文基础模型的基准标签;ERA5-Land 交叉验证显示观测锚定 SWE 比再分析数据更具可靠性。
针对持续模型合并中任务组件纠缠导致奇异几何扭曲的问题,作者提出 GS3R 方法。 该方法通过恢复保留的奇异几何并分离任务子空间,公平重新分配秩资源;结合预合并恢复与刷新(PRF)机制降低内存开销。 在视觉、NLP 和多模态基准测试中,GS3R 实现了强准确率与效率平衡,已被 NeurIPS 2026 接收。
针对LLM后训练中复用采样rollout导致的训练崩溃或梯度截断问题,提出有界残差对齐训练(BRAT)。 BRAT通过线性衰减的token梯度权重和归一化组中心奖励,避免额外超参并保持优势有界。 在四轮复用下,BRAT避免了训练崩溃,在多数基准上实现了更低的种子方差和更高的平均准确率。
InfraRSI 通过五阶段智能体工作流将开放式人类指令转化为经验证的训练优化,在四项单节点及多节点 MoE 任务中实现最高 2.75 倍加速。 该框架通过全局执行时间与内存模型修正 LLM 先验,将平均 Model FLOPs Utilization 从 17.4% 提升至 30.0%,并跨硬件复用经验。
论文提出在固定秩矩阵流形上约束 LLM 微调的加法更新块,保持预训练权重冻结。 方法包含 Riemannian ZO 梯度估计器及 ZO-RGD 和 ZO-RGD-S 算法,在期望下恢复黎曼梯度并证明收敛性。 实验显示该算法在多个模型族和任务上性能优于强 forward-only 基线,部分设置中有增益。
研究团队发布了EEGFaceSem数据集,包含30名参与者的67,200条与生成式人脸图像配对的EEG记录。 该数据集提供生成潜向量,支持单试次语义分类及脑监督图像生成,代码已在HuggingFace开源。 这为语义级视觉显著性检测及脑机接口研究提供了新工具。
MACaQ 是一种 MXFP4 W4A4 后训练量化方法,通过逐层独立处理和在线应用块哈达玛变换,避免了跨层依赖。 在 vLLM 中的 Qwen3-32B 上,MACaQ 仅增加 2.3% 的端到端推理开销,并比 DuQuant++ 和 MR-GPTQ 实现了更低的困惑度。 该方法在 11 倍更快的量化时间内匹配 Llama-3-8B 的最佳困惑度,并展示了通用性和高效性。
公开 LoRA 适配器存在基础模型不匹配及近零 delta 范数,导致遗忘测量干扰增大约 10pp。 研究在 Llama-3.1-8B-Instruct 上提出双项审计,发现原生合并使 GSM8K 下降 10.5pp、HumanEval 下降 18.3pp,而 Task Arithmetic 性能接近基线。
提出 TaskMixPGM 框架,利用马尔可夫随机场能量模型在固定预算下学习最优连续任务混合,提升监督微调下游性能。该模型通过单任务行为分歧建立节点间成对势函数,平衡效用、覆盖度与冗余度,并证明预算约束下的集函数具有弱次模性。实证表明,该固定混合方案在多个模型族上优于启发式混合策略,且揭示了任务间的互补与冗余结构。
研究提出Sequence Pruning(SP)动态剪枝框架,在DNA语言模型预训练中移除易预测序列,最高将数据处理量降低96%。 SP在五个预训练设置及五个基因组基准上验证,适度剪枝使性能提升1.2 MCC,最高节省场景仅用4%基线GPU时长且性能损失微小。 SP在多数对比中优于InfoBatch和BPAS动态剪枝方法,代码已开源。
BunshinRL 是面向智能体强化学习的推理系统,利用环境状态共享与重复工具调用优化并发效率。 它基于 BunshinFork 实现容器全工作区分叉,通过跨环境内存共享、工具前缀缓存及投机工具执行,将峰值内存降低最多 43%,总内存消耗降低 51%,端到端延迟减少 23%。
DARE 框架提出了一种离线事件驱动的重训练策略,将重训练视为序贯决策问题。 在 Airline 数据集测试中,锁定后的 LinUCB 策略在提高平均 F1 分数的同时,显著降低了干预频率。 评估显示,这些性能提升在计入累计更新实际耗时后依然成立,表明该策略能减少不必要的运营开销。
研究提出利用 AI 伦理工具对随机小样本进行审计,以识别大型训练数据集中的结构性偏见。 实验对 Framed Multi30K 的 1% 样本及 relaion2B-en-research-safe 的 0.00006% 样本应用了多种数据表工具,结果显示小样本即可揭示伦理问题。 该方法为大规模数据集的责任审计提供了可行路径,有助于推动 AI 透明度与监管讨论。
FedLoVA 提出仅共享 LoRA 中 value projection 的联邦微调框架,相比现有基线通信成本最高降低 7.8 倍。 该框架在本地对 query 和 value projections 均训练 LoRA adapters,观察到 value projection 收敛显著快于 query projection。
CoMixKV 提出协同混合精度 KV Cache 量化方案,通过在线敏感度估计与联合位宽分配,在共享内存预算下优化 LLM 多智能体系统的内存瓶颈。该框架无需校准数据或额外模型推理路径,利用局部注意力误差界计算敏感度,动态调整新量化块的位宽。在 Qwen3-32B 上实现 1.38x 推理加速,峰值内存降低 32.08%,显著优于全精度 KV Cache 基线。
文章指出 RMSNorm 图表的标架为带符号置换群 B_d,仅做置换对齐存在对称性缺失。 实验表明,忽略符号会导致权重更新误差增大,Qwen2.5-1.5B 在 B_d 传输下 SST-2 准确率保留 0.944,而 S_d 仅为 0.523。 该方法被 NeurIPS 2026 接收,验证了坐标名称仅在明确 B_d 标架下可复现。
TabDLM提出了一种基于掩码扩散语言模型(MDLMs)的统一框架,用于生成包含自由文本和数值属性的异构表格数据。 该模型通过掩码扩散处理文本和类别特征,利用学习到的专用数值token嵌入进行连续扩散处理数值特征,并通过双向注意力机制捕捉跨模态交互。 在多个基准测试中,TabDLM的表现优于现有的强扩散模型和LLM基线,代码已公开,论文被NeurIPS 2026接收。
论文提出 token 级框架,将 LLM scaling laws 分解为单个 contextualized token 的局部学习事件,并用 sigmoid 拟合 token loss 轨迹。
2B参数模型研究显示,单步操作准确率相同下,仅用规则表的训练使组合复用准确率高24.3个百分点。 工作示例目标虽节省捕获token,但组合成功时生成token量是规则表的2.6倍。
研究团队提出 OGDA(本体驱动数据智能体),利用紧凑本体降低探索开销,并在 KramaBench 和 DiscoveryBench 上比最强基线提升最高 10.82 分。 该方法通过生成器-验证器架构构建本体,并由任务图约束数据处理动作,避免上下文窗口耗尽导致的推理退化。 明确建模数据湖是迈向可靠端到端数据智能体的关键步骤。
提出Speculative Self-Distillation (SSD)方法,通过混合策略自蒸馏显著降低训练成本。 SSD 在三个闭卷问答基准上比全策略蒸馏减少 38-69% 的监督 token,同时在遗忘测试中保留最优通用能力。 该方法建立了自蒸馏新的精度-效率-遗忘 Pareto 前沿。
这篇 arXiv 论文提出了“naive LLMs”,即通过训练剥夺或有意遗忘来让 LLM 对特定主题保持无知,使其摆脱既有偏见,从而产生更新的点子。 测试了 1B 和 7B 规模的 naive 模型,其生成的种子创意在新颖性和实用性上始终优于基线模型;再由更强的 mentor 模型进行精炼,效果进一步提升。
研究者构建了包含 1.48 亿音频样本的 LAION-Audio-XL 数据集,并基于 NaFlex 架构训练了 CLAP2 模型。 CLAP2 在 MAEB 和 HEAR 基准测试上超越了同规模的以往音频-文本模型,团队已公开数据集、模型权重及代码。
提出 SGA-Sparse 方法,将预训练 SwiGLU LLM 转化为固定预算激活稀疏模型,通过直接训练门控作为 top-k 路由器,不使用辅助参数。 LLaMA 1B-8B 模型在约 30B 训练 token 后实现 75-85% FFN 通道稀疏,零样本准确率损失控制在 0.2-2.7 pp 以内。
研究发现,2022年11月30日对话式大语言模型公开可用后,工程类文章摘要中31个与模型输出相关的词汇频率比趋势预测高出82%。2025年每10,000词中出现55.4次,而2023年前趋势为27.0次;声明AI辅助写作比例从0升至3.7%。 该变化覆盖14个工程主题类别,在12,866篇全文随机样本中,正文中这些词汇频率上升99%。研究强调这是描述性发现而非因果结论。
研究发现语言模型微调中的“人格泛化”现象存在可预测的“on-the-line”规律。 领域内与领域外行为率在多种微调超参数下呈近似 probit 线性关系,且该关系在 Qwen 和 Llama 等不同模型族及规模间共享。学习率、权重衰减等参数主要削弱领域内学习,而改变微调层级可调整斜率;仅微调后层能显著降低领域外非对齐行为,为预测和控制行为迁移提供了定量框架。
PORT 提出一种 token 级鲁棒偏好优化框架,解决偏好数据噪声对齐问题。 通过 token 对数概率的经验累积分布函数进行重加权,仅前向传播即可抑制损坏 token。
在生产级多语言任务中,专家剪枝(REAP)显著优于专家合并(REAM)。 在 Qwen3-30B-A3B-Instruct-2507 和 Nemotron-3.5-Lightning 模型上,剪枝在 20 次对比中的 16 次胜出;移除 25% 专家时,REAP 保留 93.6% 生成质量,而 REAM 仅保留 62.5%。
研究团队利用 884,179 个 PCT 衍生专利族,构建了一个包含 406.7 万实例的日英跨语言专利起草数据集。该任务涉及超越内容翻译的辖区特定转换,在六个配置中,监督式自适应方法表现优于机器翻译和零样本提示。 该基准已发表在 INLG 2026,旨在解决跨国专利保护中权利要求书需针对特定语言和辖区惯例单独起草的问题。
压缩与扰动通常使大语言模型能力按跨方法共享、可预测的顺序失效,而非随机或方法特定模式。 八种指令微调模型在四种随机扰动下短答案能力失效顺序的中位相关达 0.90;剪枝与量化下为 0.875,且可由回答裕量、频率和格式预测。 随机扰动测得的脆弱性画像预测了压缩先移除哪些任务和事实;经四任务校准后,对留出任务精度的中位绝对误差为 0.11-0.12,优于均匀下降的 0.20-0.21。
通过输入扰动优化预训练知识蒸馏,学生在两种规模下优于标准蒸馏。 在 135M 参数模型上,性能提升 0.025 nats;在 0.5B 参数模型上,提升 0.020 nats,且 0.5B 模型在七个任务上的平均零样本准确率提升约 1 个百分点。 消融实验表明,对教师输入进行扰动对性能提升贡献最大。
研究通过冻结编码器探针在 HuBERT 和 wav2vec 2.0 的预训练检查点上测试五个任务,发现声学韵律线索和音素边界在最早期检查点即可解码。 音素识别在预训练过程中构建,在 HuBERT 第二阶段目标下重新定位到上层中间层,且获取顺序跟踪抽象程度而非音段/超音段区别。 该发现扩展了关于语音、词汇和句法结构的解释,揭示了自监督学习层级结构的时间演变。
该研究提出基于引用的 LLM-as-a-Judge 框架,用于提取和验证文献中同相催化 PET 去聚化的实验数据。 在 295 个人工审核基准实验中,LLM 评判者与人类评估的一致率为 85.7%;应用于 561 篇论文、3942 条记录时,67.5% 的记录被直接接受。 研究团队开源了端到端无代码化工具包,实现可复现的数据集提取、交互式溯源审查及模型无关审计。
微软公布专利,允许用户授权闲置 GPU 参与 AI 模型微型训练。系统动态拆分任务,依据完成度发放积分,可兑换现金或软件。 微软将作为中间人连接算力需求方与设备所有者,向第三方提供算力解决方案。 专利强调需用户主动授权,旨在利用分散算力并规避 GPU 供应紧张问题。
开发者发布名为"AI Frothiness Index"的工具,基于股票价格、借贷、超大规模云服务商支出、投机行为和实际需求五个维度的免费公开数据,每日生成0到100分的指数来衡量AI热潮的泡沫程度。
Forrester 认为 AI 泡沫暂无破裂风险,主要因构建 AI 算力基础设施的资金约九成来自大型健康科技公司的自有现金流。 其计算显示,基础设施投资需 AI 使美国 GDP 在 2035 年提升 5% 才能实现盈亏平衡。 企业应密切监测供应商的财务健康状况,并对 AI 计划进行压力测试,以应对潜在的市场调整。
用户手动撰写关于“理解危机”的研究论文,但系统检测显示其摘要为 100% AI 生成。 用户引用了文献并手动完成全文,且需在 11 月会议前提交论文,目前寻求帮助解决检测误报问题。