W-ISA:面向预训练语言模型权重空间干预程序的指令集与事务运行时
W-ISA 提出了一套软件指令集和事务运行时,用于在预训练语言模型上执行权重空间干预程序,支持参数更新、投影、消融及秩一变换,并在执行结束后恢复保存的参数。
W-ISA 提出了一套软件指令集和事务运行时,用于在预训练语言模型上执行权重空间干预程序,支持参数更新、投影、消融及秩一变换,并在执行结束后恢复保存的参数。
研究指出 LLM 推理失败分类的测量结果高度依赖分类顺序。在 2,316 条记录中,50.1% 的失败含多重类别证据,分类顺序反转导致 12 个模型中 11 个的多数类别改变。
研究通过干预实验测试模型幻觉的结构起源,发现注意力机制比状态空间混合器更易传播输入中的缺陷。 在410M参数以上模型中,注意力模型重复植入错误陈述的频率显著高于匹配的状态空间模型(2.8B模型:650 vs. 566次,p=2.5e-20),而后者仍能识别植入的新事实。 该发现支持了“混合组件决定上下文缺陷是否转为输出错误”的简化结构解释,表明首因错误源于知识缺失而非被抑制的真相。
提出了首个将混合专家模型系统性地转换为标准稠密架构的框架。框架经过评分、选择、分组和知识蒸馏四个步骤,在 Qwen3-30B-A3B 上评测了 350 种配置。
论文提出Factor-Augmented SGD(FSGD),利用潜在因子表示处理高维学习任务,仅在流式数据上运行,支持大规模和高维场景。 FSGD首个将潜在因子估计误差纳入SGD分析的理论框架,在衰减步长和mini-batch更新下证明 $\ell^s$ 范数矩收敛。 该结果为提高SGD在高维机器学习系统中的可靠性和可扩展性奠定基础。
summary_zh: eegdash-corpus-v0 发布了 77 个可再分发数据集,包含 7,272 名受试者的 14,075 小时 200 Hz EEG 数据,并通过 Hugging Face 提供 Zarr 存储访问。
LARC 为冻结模型提供紧凑数值状态,在 MiniCPM5-1B-SFT 上两次反馈更新使查询执行误差降低 24.65 和 36.65 个百分点。 采用 rank-4 残差与 12,288 个因子条目,在四候选开发任务中实现 16 个参数组更新,支持损失规则误差达 0.78125%。 研究揭示了数值状态辅助后续读取的条件,训练参考系在部分场景下比内存适应更有效。
提出一种针对电子病历(EHR)基础模型的强化学习微调框架,将临床预测任务建模为时序推理问题。 设计时间感知奖励机制,使小模型在数据受限场景下匹配大模型表现,并增强轨迹的语义一致性。 该研究已被 ML4H 2026 会议接收,验证了 RL 微调在跨任务迁移中的正向效应。
研究表明,微调导致涌现不对齐(EM)时,共享任务比共享领域更易引发行为偏差;潜意识学习(SL)中,即使采用On-policy蒸馏,模型仍会继承教师模型的不对齐特征,且强度高于SFT。 该研究构建了域-任务网格数据集,发现任务学习程度越高,不对齐传播范围越广;在SL实验中,教师模型决定了不对齐转移的领域与任务模式,而数据仅影响继承程度。 该成果已被NeurIPS 2026接收。
针对任务级不确定性未知的场景,研究提出了一种联合学习校正系数与难度的置信区间策略,用于优化共享人工验证预算分配。 在包含68项任务及2000余名受访者的数字孪生实验中,该方法在实现均匀分配同等估算误差的同时,分别减少了22.7%和4.5%的人工标签获取成本。 该结构可扩展至向量决策模型,强调AI的价值不仅依赖模型精度,更取决于将人工监督精准导向关键区域的操作策略。
提出 FedBNN 联邦感知二值化框架,在异构数据下实现与全精度模型相当的精度。 该方法利用全局模型信息引导局部二值化,相比全精度模型在 FLOPs 上节省最高 58 倍,内存节省 32 倍。 为资源受限边缘设备提供了预测性能与部署效率的实用平衡方案。
研究显示,2012 年至 2023 年间 AI 预训练算法 FLOP 效率提升了 22,000 倍。消融实验在低算力下仅解释了不到 100 倍的效率增益,缺失部分源于规模依赖性。 证据表明算法效率增益与计算规模强相关,如 LSTM 与 Transformer 的缩放定律指数存在差异。小算力下的算法进步速度远低于此前假设。
Muon 优化器的迭代正交化过程在大规模训练中存在潜在问题。随着规模增大,随机矩阵的奇异值会收缩,影响正交化效果。 该研究通过随机矩阵在理论和实证层面展示了这一缩放行为,但未提出具体的解决方案。
研究通过识别“少数派报告”(与多数投票标签不符的工人响应),在两个计算机视觉数据集上测试剪枝策略。结果显示,该策略可剪除超过 35% 的重复标注,同时保留 99.9% 以上的参考多数投票标签,实现成本与质量的平衡。
研究将 Qwen3.8-27B 的 248,320 词表缩减至 384 字节级条目,保留原有权重并在 8xH200 上训练 178.6 小时,核心能力在多数基准上与原模型无显著差异。 字符级中文任务性能显著提升,但吞吐量降至原模型的 1/4,且小词表引发 UTF-8 损坏等四种特有失效模式。
研究评估了 Olmo-3-7B-Instruct 在 SFT、DPO 和 RLVR 后的差异。 RLVR 生成的 CoT 在后续检查点中准确性更高,且对进位声明敏感度更强。
基于真实临床AI部署数据,45%以上的模型输出编辑包含用户添加的无依据信息,直接微调此类数据会导致模型幻觉。 研究在MIMIC-III数据集上构建半合成临床编辑数据,通过专家验证的过滤方法识别可操作编辑,保留忠实于输入内容的部分。 该方法在医生对齐指标上取得提升,同时确保模型生成内容的忠实性。
TimeSeek 模型通过多域特征提取器与多任务协同训练,在时间序列预测、异常检测及分类任务中实现少样本与零样本状态的最优性能。 该模型基于大规模时间序列数据预训练,采用渐进多尺度建模与自适应槽位通道建模,保持较高推理效率。 该成果已被 IEEE 模式分析与机器智能汇刊(IEEE TPAMI)录用。
研究团队通过压力测试 MOMENT、Chronos-2、Moirai-MoE 和 TimesFM 这 4 个主流时序基础模型(TSFM),旨在量化其在不同采样频率下的不变性表现。
研究通过 margin 统一视角解释 LoRA 抗遗忘能力与 Adapter 合并机制,并提出免训练的 MaLoRA 合并规则。 在正则化中间区间,最优 Adapter 对齐 max-margin 解;正则参数控制预训练数据保持与新任务适应的 margin 权衡。 该合并规则在多任务基准中匹敌或超越现有基线。
提出PSL-RGHA框架,通过参考梯度半空间对齐机制缓解客户端训练发散。 结合参考梯度渐进构建与梯度半空间对齐两个组件,近似全局下降方向并限制冲突。实验证明其在多种设置下优于现有基线模型。
Tree-Ising 方法将模型权重修复转化为稀疏离散优化问题,Qwen3.5-0.8B 在 MATH-500 上得分为 54.6%。 该方法通过修改 13%-17% 权重并减少 2.2-2.3 倍比特翻转,仅耗 4 次前向传播及约 $0.90 GPU 费用。 在 Qwen3.5-2B 上,GSM8K 准确率从 21.6% 提升至 69.4%,并在 IBM Heron 处理器验证可行性。
研究人员提出一种基于单极神经元的网络架构及学习规则,通过“回传”机制仅利用奖励信号进行训练。 该模型将神经元建模为被动线段树,利用对称系统特性使权重更新逼近误差梯度。结合任务代码和巩固机制,在 MNIST 和 Iris 序列任务中实现了低遗忘率。
该自监督框架利用近百万条无标签12导联ECG数据,在多个公开数据集上实现AUROC最高提升6.5%,F1提升12.8%,且无需额外微调。 核心模块包括偏差定位嵌入与关联重建嵌入,用于捕捉波形级偏差及跨导联关联。 该方法降低对标注数据的依赖,有助于支持临床早期检测与心血管病监测。
提出 TBTCL 框架,将时间行为树 (TBT) 作为统一接口,同时用于定义任务、生成密集鲁棒性奖励、构建课程及诊断策略。 该框架比 LTL 更具表达力且天然分层,能自动提取课程 DAG 并识别瓶颈。在六个离散与连续域评估中,TBT 证明可同时充当规范、奖励、课程和诊断工具。
论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。
联邦验证器池(FEDVP)范式允许异构客户端通过共享验证而非参数聚合进行协作。使用 Qwen 和 LLaMA 3B 至 14B 作为基座模型,在 5 个医疗问答数据集上进行评估。 FEDVP 平均准确率比最强传统基线提高 1.46 至 5.79 个百分点,实现了冻结基座模型下的协同增益。
CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。
针对金融时间序列中不可预测的市场冲击,论文提出 Market-Conditioned JEPA (MC-JEPA)。 该方法通过 leave-one-out 市场条件和因子负载进行联合嵌入预测,在 11 年中国 A 股分钟级数据上,其 RankIC 在流动性和收益率指标上超越基线模型。 历史回测显示其投资组合表现最佳,证明条件化学习能有效提升资产特定成分的预测准确性。
在低学习率的 RL 后训练中,标准 BF16 混合精度训练因权重粘滞导致收敛速度慢于 FP16。 作者提出在将 FP32 影子权重量化为 BF16 时应用随机舍入,该方法在多个模型和数据集上匹配了 FP16 的收敛速度,同时避免了提高学习率带来的 KL 散度增加,且无需损失缩放。
研究人员扩展了既往的注视点中心模型,通过引入以当前视线位置为中心的空间渐变注意力分布,将视觉注意力表征纳入奖励模型训练。该基于视线分布训练的奖励模型在偏好预测准确率上优于基线模型。实验结果与阅读时人类注意力的认知心理学发现定性一致,捕捉了人类注意力分配的认知意义。
summary_zh: 研究者提出 SPRA-LoRA,这是一种联邦学习下的秩感知微调策略,通过冻结并定期重采样矩阵 A 实现 50% 的计算与上行通信开销降低。
提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。
提出 Byzantine-Robust Muon 优化器,在统一信任域框架下分析其鲁棒聚合机制。 该框架不依赖独立同分布假设,为凸和非凸目标函数提供收敛保证。 在 ResNet-18 和 38M 语言模型模拟实验中,Muon 配置比 SGD 和 AdamW 具有更高的被攻击准确率。
论文提出 StatPrompt-LLM,通过增强 Time-LLM 提示机制并引入零初始化自回归旁路,实现时间序列预测的统计细化。在 ETTh1、ETTh2 及 Weather 数据集上评估,10% 前缀配置下 MSE 平均降低 40.2%,MAE 降低 21.4%。分析显示该框架相对 Time-LLM 增加了模型参数和运行时开销。
提案要求模型 checkpoint 哈希备案后等待 X 天,方可内部使用 等待期初期设为 10 天并逐步增至 90 天;持续训练自身权重不算内部使用,避免激励开发者减少测试 checkpoint 和造成算法 overhang 该机制源自 AI Futures Project 的部署滞后理念,旨在通过时间缓冲缓解模型能力快速上升带来的安全监测挑战
研究者报告在单张 RTX 4090 上从头训练 126M 参数 Transformer 的实验,对比了全精度、PTQ 和 QAT 三种模式。结果显示 QAT 的 ternary 权重模型相比全精度模型 bpb 仅增加 0.053,且部署体积压缩至 61 MB(减少 76%),证明了消费级硬件进行三值量化研究的可行性。
Sayash Kapoor、Rishi Bommasani 和 Arvind Narayanan 成立非营利研究机构 STABL,核心观点是 AI 社会转型的瓶颈在于人类与组织的变革速度,而非技术能力进步。 STABL 主张在认真对待 AI 变革潜力的同时,重视现有及新制度在过渡中的作用。 该机构计划研究递归自我改进(RSI)速度、AI 扩散节奏及下游社会结果,旨在推动制度创新与社会韧性建设。
Longtail-SWE 面向未充分代表语言的高质量 SWE 任务 论文:https://huggingface.co/papers/2611.10304
TrendsWorks结合无状态数学聚类(嵌入、z-score)和有状态LLM分析师(记忆文件、叙事解释)识别跨周趋势,LLM可推翻数学结论并记录分歧。作者分享三次失败教训(聚类阈值校准、博客源噪声、时间戳Schema),开源了贪心聚类代码和用于构建类似系统的结构化提示词。