自回归语言建模的两个原则
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
无训练 CommitKV 方法在四个开源多模态模型上实现最高平均准确率。在 Qwen3-VL-8B 上,256-token 预算比最强基线高 8.44%,512-token 准确率 69.85% 仅低于 FullKV 0.91%。 SGLang 与 vLLM 部署时,峰值 GPU 显存降低 54.37%–55.23%,端到端推理加速 2.12–2.17 倍。
Rational Sparse Autoencoder (RSAE) 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 及 JumpReLU/TopK 具有重构优势。 在三个开源权重语言模型上验证,RSAE 在同稀疏度下提升重构保真度,仅增加 20 个标量参数。 单次训练耗时 4 至 25 分钟,在单张消费级 GPU 上完成。
乘性 Lipschitz 界(trivial bound)在 Lipschitz 约束学习中的有效性常被低估。结合 quadrature nonlinearity,该方法在多数分类界上优于 Sandwich、AL、CPL 和 SDP 层,降低交叉熵。 在自编码器任务中,该方法在所有测试的瓶颈宽度下均取得最低像素重建误差,比 PCA 改进 12–24%。
针对临床研究中信息性删失导致的偏差,提出一种基于部分识别的假设精简框架以评估条件平均处理效应(CATE)的鲁棒性。 该框架推导了CATE的有效界,并引入模型无关元学习者 SurvB-learner 进行估计,具备双重鲁棒性和准预言机效率特性。 通过模拟和真实数据实验验证了该方法的有效性,可识别出在信息性删失下治疗有效的患者亚群。
研究构建了多层级大规模数据集,系统记录 AI 生态中模型、数据、算力等要素在组织间的流动关系。 该数据集标注了时间与类型标签,通过分析中心节点、网络集中度及关键控制点,揭示了行业权力结构。 此资源旨在推动对 AI 供应链政治经济学的批判性研究,相关数据已公开供交互式探索。
研究提出将未知值探测形式化,结合空间探索与证据集中策略,在预算分配中实现超参数优化。 证明该策略具有最坏情况近似保证且接近最优,在超过 250 个实验设置中对比强基线,始终表现出优势。
过参数化扩散模型在训练过程中,泛化能力早于记忆现象出现。 实验表明,记忆发生时间与数据集大小成正比,符合核回归边界理论。通过引入随机规则的简单无上下文无关文法,验证了早期停止对泛化成本的控制。 该研究支持基于数据集规模设置早期停止标准,以避免记忆并优化泛化,对超参数迁移及隐私敏感应用具有直接影响。
针对移动网络节能策略评估难题,论文提出基于预测的生成框架以生成无线接入网功耗轨迹。 该框架将功耗分解为全局预测与残差修正,在商用 5G RAN 实验中,仅用单点目标观测即可将中位 MAE 降低约 50%。 相比 TimeWeaver,该方法能有效泛化至罕见及未见配置场景。
研究人员提出利用 NOTREKS 信息(变量对边缘独立性)改进因果图学习。该方法引入 PSTrek 惩罚和 trek 约束,在有限样本下增强结构恢复能力。 实验表明,使用合成基准测试中的 oracle NOTREKS 信息,可同时提升因果发现中的结构恢复与基于调整的效果识别准确率。
ReliFlow 引入条件流匹配模型,通过仅使用训练数据交叉拟合估计单基因效应可靠性,校准加性源分布以预测组合扰动转录响应。 在 Norman 遗传扰动中,未见组合 MAE 从 0.142 降至 0.131, withheld 单扰动时从 0.198 降至 0.178;ComboSciPlex 药物组合 MAE 从 0.191 降至 0.176。
Balancing Partition Forest (BPF) 通过 Bregman 散度最大化互信息或降低权重平方误差,在 17 个场景中表现最佳。 单棵树在 16,512 个观测值上拟合仅需 0.14 秒。 该方法能限制逆概率加权估计器的偏差,显著提升因果推断效率。
该研究构建了视觉 LLM 与经典 CV 结合的管线,处理 3954 篇 COF 文章,生成 11445 条校准衍射曲线并开源为 COF-PEAK 数据库。 视觉 LLM 负责解析图像布局定位曲线,经典 CV 细化至像素级精度;与手工数字化相比,提取峰值中位偏差仅 0.07 度。 该方法使衍射图谱转化为可复用实验数据,支持分析合成条件下峰强变化及结晶度标记。
研究表明,语言模型通过权重空间编程直接编辑视觉语言模型SmolVLM-256M和LFM2-VL-450M的权重,无需梯度即可修复植入故障。 关键机制依赖32位算术故障在16位权重中留下的低比特痕迹;舍入这些比特后模型不再能精准恢复原值,但提示中指明统计特征仍可定位损坏行。该发现建议在权重修复研究中报告权重数字格式并包含舍入对照实验。
研究发现神经网络最终权重保留选择性历史信息,30个网络在10个候选中准确匹配初始权重。 线性探针以100%准确率解码任务顺序,2157对端点显示低损失连接,表明共享任务未抹除个体学习历程。
Elysium 提出一种无模拟求解器,通过联合学习状态转移与质量变化实现单细胞动力学重建。 该方法基于被杀布朗参考路径及其时间反转构造直接回归目标,无需在训练期间模拟轨迹。 实验表明 Elysium 在模拟基准测试中优于现有确定性及桥式求解器,并能捕捉双相药物响应动态。
研究重用 OpenAI Lean 4 Vlasov-Maxwell 库证明,为粒子流体模拟提供无粒子参考基准。 领域大小由观测时间解析确定,中位数 14.9 倍加速结合粗网格恢复未知输入,并建立能量损失预测最小时间曲线。
恶意攻击者可通过迭代式梯度反转攻击,在联邦学习中精确恢复其他客户端的文本数据,实现首次100%精度的句子级窃取。 在包含多达模型隐藏维度4倍Token量的聚合更新中,该攻击可精确恢复多达80.2%的客户端句子,而现有方法无法精确恢复任何句子。 该攻击证明了联邦学习中FedAvg聚合机制在文本隐私保护方面的脆弱性,为分布式机器学习安全带来新威胁。
LAPIS 通过条件流策略在观测状态-潜空间转换中实现目标条件策略提升,在大多数任务上优于基线方法,视觉操作任务收益最显著。 该方法仅用 1% 动作标签即保持有效,而竞争方法在此设定下性能大幅崩溃,展示了其在低标注场景下的鲁棒性。
研究者提出F$^3$框架,论证经验价值取决于存储形式、适用时机及融合位置,而非源rollout是否成功。 通过Form压缩操作记录,Fit预测辅助时机,Fusion注入前缀与动作先验。 仅在200个样本上训练,在MolmoSpaces和RoboLab上将成功率提升12.0 pp和10.8 pp。
研究者发布 OpenGNS 数据集,包含 400 多条 GNS 测量轨迹,覆盖 11M 至 1B 参数模型。 该数据集针对 ResNet、GPT 和 DiT 架构,在 muP 规范下进行密集批大小与学习率扫描,揭示 GNS 在不同模型规模下具有稳定性。 研究发现 GNS 在分类任务中倾向于高估 CBS,而在生成任务中倾向于低估 CBS。
零代码智能体 ABSClaw 将自然语言编译为现实落地的社会模拟,在 193 项任务的 ABSBench 上取得最佳性能。 它通过 26 个原子操作表达状态迁移,并将人物、环境与网络锚定在调查与人口普查数据上,单次运行时支持 2500 万级智能体规模模拟。
研究表明 TabPFNv2 类模型的扩展定律在合成分数与真实数据集间存在差异,依赖少量数据集选参会导致性能高估。 需同步扩大合成预训练数据集规模以优化计算分配,增加预训练时采样的最大行数与特征数可改善性能并产生更可预测的扩展趋势。 这些洞察通过 nanoTabPFN 开源训练管线指导更高效模型的开发。
研究者提出统一框架 Learning with Unlearning(LwU),通过在单个突触层面解决持续学习与机器遗忘的目标冲突,在两项任务中表现优于或持平最强基线。
该研究提出多专家重放策略蒸馏(MRPD),通过重放专家训练日志进行整合,无需额外采样或调用环境。该方法计算成本仅为原 RL 训练成本的大约七分之一。 在推理、搜索和 SQL 三个长程智能体领域,MRPD 生成的学生模型显著优于在线 RL 基线。实验表明日志顺序比数量或奖励更重要,表明专家训练日志实质上是课程学习而非数据混合。
联邦优化中的本地计算虽能改善更新条件数,却会引入偏差导致固定点偏离全局最优。研究表征了给定条件数界下可实现的最坏情况最小偏差。 针对强凸二次目标,建立了精确的最坏情况偏差公式,证明小步长本地梯度下降与近端更新可达此界,并将非交换 Hessian 矩阵问题简化为标量曲率分布。 分析进一步扩展至非二次的光滑强凸目标,并量化了非精确本地求解引入的误差。
研究人员发布大规模生物医学基准 TabBioMed,包含 94 个精选公开表格数据集,涵盖电子健康记录、药物发现及单细胞组学等领域。 该基准统一了预处理和评估框架,对 23 个模型进行了测试,发现基础模型在家族层面表现最强,但树模型和多层感知机在成本约束下极具竞争力。 TabBioMed 提供了数据集、代码及结果,为生物医学机器学习的模型选择与方法开发提供了可复现的基准。
研究证明 $O(\log |G|)$ 次随机重写足以替代单一表示的重复采样,恢复所有 $|G|$ 次重写提供的信息,且该对数扩展律在一般情况下是最优的。 理论表明,只要模型答案依赖于输入写法,在相同前向传递次数下,将计算预算用于重写输入而非重复采样原始提示词,准确率会显著提升。
DuoCL 是一种双路径在线持续学习(OCL)框架,在四个数据集和三种计算预算下,相比最强的基于梯度的基线方法,在线准确率平均提升 9.67 个百分点。 该框架包含快速解析路径和慢速路径:快速路径从每个传入的小批量中积累特征统计,慢速路径根据可用计算预算定期调整骨干网络。在分布漂移下,DuoCL 始终优于解析学习,在 CIFAR-C 上准确率提升最高达 4.00 个百分点。
研究发现 Transformer 中可塑性与稳定性并不镜像对应:QK/VO 投影在程序式任务中最具可塑性,而 MLP 在声明式记忆任务中最具可塑性。 更新 QK 时可保留过半已存声明式记忆,而更新 MLP 和 VO 则分别导致显著更多和约 80% 的损失。 研究揭示可塑性与稳定性依赖于模块功能角色的不同方面,为持续学习提供了任务依赖的模块级视角。
结合生物启发的脉冲编码方案与 Rouser 自适应阈值代理梯度、K-FAC 二阶优化,提升了脉冲神经网络(SNNs)的精度。 在 MNIST 和 Fashion-MNIST 实验中,DoG 和 Delta 编码比速率编码产生更稀疏的脉冲序列;Rouser 方法将 Fashion-MNIST 精度从 87.37% 提升至 88.13%。
HyperQ 提出量子增强掩码扩散语言模型,通过轻量级电路超网络动态生成特定于 token 的量子电路。将量子期望值通过残差连接投影回冻结的语言模型骨干网络。 基于 IQP 架构,HyperQ 将 qubit 数量从 16 扩展至 64,在 6 项 zero-shot 基准上平均准确率从 47.65 提升至 54.30,超越冻结骨干网络的 49.59。
研究发现,结合混合专家(MoE)架构的循环语言模型在规模化表现上优于标准Transformer,且稀疏层是其关键所在。 其核心机制在于路由发散:模型在重复通过相同的共享层时激活不同的专家,从而在不增加额外参数的情况下恢复了模型的表现力。该方案还能通过早期退出机制优化计算与质量的权衡,实现显著的内存与推理节省。
大语言模型(LLMs)与小语言模型(SLMs)的协同是平衡性能与部署效率的关键范式。 综述梳理了管道、路由、蒸馏等交互机制,并指出在边缘设备上应用时面临的系统开销、模型一致性及隐私等挑战。 该方向被视为推动下一代实用化、普适性人工智能发展的关键驱动力。
研究者提出针对多语言 LLM 对齐的元学习框架,利用跨语言偏好数据实现低资源语言的高效适配。 该方法在仅有 100 个目标语言样本的极端低资源场景下,胜率较基线提升最高 33.4%,并被 NeurIPS 2026 接收。
ExecJudges 利用前沿 LLM 生成基于词汇匹配等规则的可执行程序,在 TREC DL 2019-2021 上的标注一致性达到 Claude Sonnet 5.5 LLM 判决水平。 该方法单次生成程序成本为 $0.17-$0.49 每主题,无需额外评分开销,且生成的标注能以 0.87-0.94 的 Kendall's tau 值对官方 TREC DL 运行结果进行有效排序。
该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。
研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。
Chiron 是一款基础模型,通过联合微调 LLM 实现对心理构念的表征和个体行为预测。其训练数据涵盖 36 个行为领域和 78 个社会实验,包含 288,307 条个人记录。
Piccolo 0.8B 至 27B 多模态决策模型通过 Agentic Data Engineering 实现模型与数据协同演化。 Piccolo-27B 在 Decision Index Vision Full 榜单以 75.59 分居首,9B 与 4B 模型在各自规模 Private 基准测试中排名第一。 发布权重及工具,为构建前沿决策模型及扩展数据驱动的递归自我改进提供可行蓝图。