误差扩散替代隐变量权重:在极少比特抖动状态下训练二值化语言模型
研究者提出误差扩散(ED)优化器,将二值化语言模型训练状态从 97 bit/权重 压缩至 3-9 bit/权重。 ED 利用 2-8 bit 残差缓冲区替代隐变量权重,在字符级 Transformer 上收敛性能达到参考基准的 98.3%-95%。 该方法使二值模型在 275 MB 内存预算下实现设备上适配,摆脱了对高精度隐变量副本的依赖。
研究者提出误差扩散(ED)优化器,将二值化语言模型训练状态从 97 bit/权重 压缩至 3-9 bit/权重。 ED 利用 2-8 bit 残差缓冲区替代隐变量权重,在字符级 Transformer 上收敛性能达到参考基准的 98.3%-95%。 该方法使二值模型在 275 MB 内存预算下实现设备上适配,摆脱了对高精度隐变量副本的依赖。
研究提出 MOFjson 表示法,将结构数据分为原子层和衍生层,并在基准测试中表现优于三个基线模型。 在四个模型测试中,MOFjson 在“到达块最近周期副本”任务准确率达 100%(基线 18-47%),晶系表征达 96%(基线 71%),配位任务达 60%(基线 48%)。 该表示法为智能体工具工作流和受限 MOF 生成奠定了基础。
理论分析揭示有限步Muon在确定性梯度下可周期震荡,正稳定化可保证末次梯度收敛且梯度高斯平方可和。随机梯度下恒定学习率阻碍收敛,需结合递减学习率与递增动量实现末次收敛。
研究提出框架比较黎曼流形上Wasserstein和MMD的不同几何版本,发现无统一可靠指标。 基于控制噪声和Riemannian Flow Matching样本,分析度量一致性、噪声敏感性及几何体积缩放关系。 提出报告评估距离、比较度量类型及根据样本几何校准指标的实际建议。
研究者发现 actor-critic 算法在 Starpilot 和 Craftax 环境中的经验缩放定律,可精准预测最大相差两个数量级的训练性能。 使用 Elo 分数替代平均回合奖励作为评估指标,显著提升缩放定律的可预测性,并在 Craftax 环境中创下新纪录。 进一步观察到计算最优模型规模出现非单调缩放现象,该规律与 Ray interference 病理机制相关。
研究者提出联邦整合两步合成(FITS)框架,旨在联邦设置下生成混合类型表格合成数据。 该框架核心利用局部线性回归估计条件累积分布函数,并通过持续化方法将离散变量无损映射至连续空间,以实现统一的连续表示。 实验表明,使用 FITS 生成的合成数据能够提升所有客户端在下游任务中的表现。
ChatGPT Images 2.5 发布后 51.1 小时内收集 3,478 张图片,构建发布期数据集用于评估 6 个冻结检测器。 在 5% 标记率下,各检测器标记率为 3.7% 至 56.4%,低于 GenImage 召回率 42-81 个百分点;保留艺术图误报率为 1.5% 至 96.5%。 数据集支持分析产品过渡期的模型使用情况,已公开发布。
研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。
研究推导出“神经信息因果律”(Neural-IC),证明对独立比特数据库,后续查询可恢复的总信息量受限于物理规定的接口容量,即使存在预置量子资源。 该定律将容量松弛、联合组织信息与答案生成损失分离,展示了内存信息预算高使用率与有限检索能力共存的机制。 该框架为表示学习提供设计原则,通过定位后期答案约束来指导内存分配、编码目标及解码器输出。
研究提出 EAR 范式,将视觉规划重构为单步图像变换,并引入 AMaze 数据集用于抽象谜题探测。 实验评估主流编辑模型发现零样本表现不佳,但基础尺度微调可显著提升领域内外泛化能力。 高性能模型仍无法匹配人类解题效率,揭示了神经视觉推理的持续差距,论文已被 NeurIPS 2026 接收。
研究揭示大语言模型在多位算术上泛化延迟(grokking)受数字基数影响。在进位仅依赖当前位的基数下,Transformer 所需训练整数数量显著减少。 通过一步 Collatz 预测实验验证了上述规律,该结构也适用于整数除法及 decoder-only 模型。该研究在 NeurIPS 2026 Workshop 被接受,表明数制选择可预先预测样本效率。
研究者提出ELinFormer预测器,通过熵校准线性注意力模块解决多变量时间序列建模中二次方计算成本高的问题。 该方法将聚合分解为均匀分量和查询相关修正项,利用查询特异性温度进行校准。在5个PEMS基准测试中,该模型实现了精度与内存的有效折中,且查询特异性校准比共享温度方案获得更低MAE。
summary_zh: PCoreSet 框架在 11 个数据集上验证了 ActiveKD 的有效性,在 ImageNet 上平均提升 29.07%,且是唯一在 5 个学生模型和 3 个教师模型下持续优于 Random 的选择器。
EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。
GENCO 统一神经求解器支持稳态输电电网的潮流计算、最优潮流和状态估计,最高较 Newton-Raphson 快 30 倍,较 IPOPT 快 85 倍。 开源 GridFM 开发框架标准化了合成数据生成与低代码训练,并发布了数百万 PF 和 OPF 场景的大规模数据集。 该系统大幅降低了电力系统工程师的使用门槛,标志着向电网基础模型(Grid Foundation Models)迈进。
论文提出 CAFE 框架,将自动特征工程(AFE)重构为因果引导的顺序决策过程,结合因果发现与强化学习。 该框架分两阶段:先学习稀疏有向无环图获取软因果先验,再用级联多智能体深度 Q 学习选择因果组及算子。 在 15 个基准上显著优于最强 AFE 基线(Wilcoxon p<0.001),在分布偏移下性能下降幅度最多减少 4 倍。
针对 GRPO 训练中验证器被作弊利用的问题,提出低通过预算审计(LB)策略,通过优先审计弱通过最少的组并惩罚被抓作弊样本,有效抑制奖励作弊。 在 LeetCode 和 Countdown-Code 任务中,LB 策略将作弊率降至接近零,而同等预算的随机审计无效;此外,该策略比无偏校正方法在留出集准确率上高出 6.1-11.8 分,且仅需使用完整审计 28% 的标签量。
提出 DoubleFree 框架,复用领域强化学习的历史轨迹实现无 Rollout 的多任务 LLM 整合训练。 在 Qwen3 和 SmolLM3 模型上,DoubleFree 将整合速度提升 2.99-5.75 倍,降低 80.9-90.1% 的 GPU 小时消耗。 该方法对现有后训练框架仅需最小改动即可显著降低系统成本,同时保持相当的多领域性能。
DPR 方法通过“剪枝-重构”双层稀疏化,将节点剪枝从精度损失转化为 VRAM 受限下的训练加速器。部署版 30% 预算模型在单张 6 GB GPU 上以 1,450 MiB 峰值内存完成训练,相比 DSpar 基线降低 50.1% 内存且精度提升 1.36 pp,所有节点服务速度比 GraphSAGE 快 46 倍。该框架可扩展至 2.45M 节点生产图,证明激进剪枝在显存受限场景下的可行性。
研究团队提出 RADAgent,利用开源权重大语言模型(LLM)自动执行 RADseq 基因测序分析流程。该方法将工作流映射为 16 个独立可执行的智能体模块,并采用模型无关运行时支持故障恢复。在包含 19 个群体、476 个样本的真实数据集测试中,RADAgent 成功在本地环境完成全流程自动化,代码已公开。
学者Peter S. Park等提出博弈模型,分析AI如何改变学术招聘中信号与理解的平衡。 该模型分类了纯策略均衡,并通过学习模拟识别申请人和招聘方可能采纳的行为。 此框架为评估保留深度理解价值的招聘实践提供了推理基础。
CSI-TextBench构建了大规模数据集,统一3项感知基准,包含285,790个样本、7个任务和2.0 million条CSI-文本训练元组。 该基准测试了来自4个范式族的5种对齐方法,发现对比式CSI-文本对齐在不使用类别标签的情况下可媲美监督分类器,并在140个组合场景上以86.9%的top-1准确率超越了专用分类器集成。
研究者提出CaliMem框架,通过校准记忆机制解决数据整理策略搜索中的过度泛化问题。在生物及大语言模型后训练任务中,CaliMem优于固定基线及已发表方法,性能比全数据训练高最多19.4%。该系统支持部署时的测试时整理(TTC),代码已开源。
Fed-Universe 框架解决联邦学习中“一刀切”范式压制少数样本的问题,通过 S-G-T-H 架构实现去中心化对齐。 该架构包含语义层 LLM、几何层质量控制、拓扑层帕累托控制及人类层认知孪生,并在跨国临床模拟中验证了少数节点(数据量<3%)效用趋同。 框架将进一步扩展至机构多模态对齐(Fed-Ultra)和个人认知意图对齐(Fed-Human)方向。
针对罕见病诊断 LLM 系统的高风险偏差,研究利用 6 万余病例实证量化评估伪影与数据泄露影响。 强制跨数据集隔离使 Recall@1 从 54.3% 降至 40.3%,监督分类准确率从 42.9% 跌至 16.7%。 提出结合严格数据隔离与标准基准保护的评估框架,以验证模型的真实临床稳健性。
该研究提出统一的大模型全阶段训练框架,建立涵盖数据、目标函数、优化策略等六个维度的分析体系。 系统回顾了2017至2026年间的395篇核心参考文献,其中约79%为经过同行评审的A+B级证据,并构建了跨阶段效应概念图。 明确了预训练对后训练的前向约束,以及后训练对数据与预训练的逆向赋能机制,并识别出10个可验证的开放问题。
该综述系统回顾了大语言模型(LLMs)的数据优化技术,构建了涵盖数据选择、增强、加权及其他的分类框架。 研究首先分析了 LLM 训练与推理中的数据挑战,并确立了质量、难度、多样性和冗余性四大数据感知维度。 文章最后指出了当前数据优化相较于传统深度学习的关键挑战与未来研究方向。
研究者提出“界定域语义不变性”框架,利用知识图谱控制局部语义约束,以解决 LLM 回答不一致问题。 该框架在 MITRE D3FEND 本体及八个 Wikidata 领域验证,发现不一致具有结构化特征。 分层接地策略增强了单调性,显著降低模型间不一致率。
Google Research 提出睡眠框架,让 LLM 在离线阶段巩固短期记忆为长期参数,从而支持持续学习。该框架在 BABILong 基准上实现 10M token 长上下文近乎完美保留,并在 AIME 24/25 等数学推理任务上提升了准确性。
在仅有约500条样本的微调场景中,使用去词法将具体国家、组织名替换为COUNTRY、ORGANIZATION等固定token,显著提升了小模型在自定义内容审查类别上的泛化能力。 方法通过维护简单哈希表进行模糊匹配替换,解决了模型命名实体识别(NER)较弱导致漏检地区缩写(如KSA)或新机构的问题。 去词法有效降低了小样本微调对特定实体名称的依赖,提升了定制安全模型在稀疏数据下的鲁棒性。
包含 50k 条 AI 生成播客的数据集已发布。
针对欧盟法规、RFC标准及撤稿论文的研究发现,95.5%可测试的单语言欧盟法规更正仍以错误形式保留在EurlexResources中,且至少124个欧盟法律错误和60个RFC勘误复现于网络训练数据。当模型同时看到新旧版本且标注日期时,较大模型能正确选择更正版本的比例达99%-100%。
Micro1计划在未来1年花费10亿美元购买企业内部的Slack消息、Canva文件和Google Docs数据,并打包出售给OpenAI、Anthropic等模型开发商。该公司向中型企业支付10万至200万美元不等。随着公开网络数据逐渐枯竭,普通办公数据正在成为高管可变现的新收入来源。
Mirendil 发布预训练大语言模型 Mirendil-Base,由一名研究人员在 3.5 个月内以低于 $10M 算力从零编写代码并仅使用公开数据构建而成。
多位知情人士称 DeepSeek 正加速扩张团队,创始人梁文锋长期在北京租房。媒体消息称公司即将完成新一轮约 1000 亿元融资,叠加今年 6 月约 510 亿元,半年累计融资或达约 1500 亿元,金额与投资方仍有待披露。
研究提出 Token Inoculation,在继续预训练时标记危险句子并微调 LLM 拒绝回答危险问题。在 1.5B 至 14B 参数规模中,该模型将危险准确率保持在 18% 附近,同时保留 93% 的 MMLU 指令基线性能。 这种条件化方法优于遗忘和拒绝训练等抑制方法,实现最佳安全与效用平衡,且优势在开放式生成和网络安全迁移中均得到复现。
CausalMix 提出将 LLM 数据混合优化建模为因果推断问题,解决静态假设导致的数据分布变化后需重训的局限。 作者利用 Qwen2.5-0.5B 的 512 次运行拟合 CATE 模型,并在 800K 数据池上外推最优混合策略训练 7B 模型。 该方法实现了离线推断状态依赖的数据混合,在下游任务中展现竞争力且具备可解释性。
研究解耦了强化学习中提示来源与奖励类型的影响,发现开放域提示结合奖励模型的RLHF能显著提升对话、推理及编程能力。 相比之下,基于规则验证器的RLVR虽能改善推理,但在开放域对话上的增益远低于RLHF,表明跨域泛化更依赖奖励机制。
提出Alignment Adapter (AlAd)框架,通过事后对齐压缩模型的token embedding与参考模型以提升下游任务性能。 AlAd是一个置于压缩模型最终层后的小型前馈网络,可读取相邻token窗口利用局部上下文。使用BERT-base作为参考,在POS标注、NER和抽取式问答任务上,AlAd能改善四个BERT压缩变体表现,且联合微调效果优于冻结模型。
EVOL-RL 通过结合多数投票与新颖性机制,有效解决了无标签自我改进中的多样性坍缩问题,显著提升 pass@n 性能。 在 AIME24 无标签训练 Qwen3-4B-Base 后,其在 AIME25 上的 pass@1 从 4.6% 提升至 17.1%,pass@16 从 18.5% 提升至 42.0%,超越 TTRL 基线。