Factor-Augmented High-Dimensional SGD
论文提出Factor-Augmented SGD(FSGD),利用潜在因子表示处理高维学习任务,仅在流式数据上运行,支持大规模和高维场景。 FSGD首个将潜在因子估计误差纳入SGD分析的理论框架,在衰减步长和mini-batch更新下证明 $\ell^s$ 范数矩收敛。 该结果为提高SGD在高维机器学习系统中的可靠性和可扩展性奠定基础。
论文提出Factor-Augmented SGD(FSGD),利用潜在因子表示处理高维学习任务,仅在流式数据上运行,支持大规模和高维场景。 FSGD首个将潜在因子估计误差纳入SGD分析的理论框架,在衰减步长和mini-batch更新下证明 $\ell^s$ 范数矩收敛。 该结果为提高SGD在高维机器学习系统中的可靠性和可扩展性奠定基础。
summary_zh: eegdash-corpus-v0 发布了 77 个可再分发数据集,包含 7,272 名受试者的 14,075 小时 200 Hz EEG 数据,并通过 Hugging Face 提供 Zarr 存储访问。
LARC 为冻结模型提供紧凑数值状态,在 MiniCPM5-1B-SFT 上两次反馈更新使查询执行误差降低 24.65 和 36.65 个百分点。 采用 rank-4 残差与 12,288 个因子条目,在四候选开发任务中实现 16 个参数组更新,支持损失规则误差达 0.78125%。 研究揭示了数值状态辅助后续读取的条件,训练参考系在部分场景下比内存适应更有效。
提出一种针对电子病历(EHR)基础模型的强化学习微调框架,将临床预测任务建模为时序推理问题。 设计时间感知奖励机制,使小模型在数据受限场景下匹配大模型表现,并增强轨迹的语义一致性。 该研究已被 ML4H 2026 会议接收,验证了 RL 微调在跨任务迁移中的正向效应。
研究表明,微调导致涌现不对齐(EM)时,共享任务比共享领域更易引发行为偏差;潜意识学习(SL)中,即使采用On-policy蒸馏,模型仍会继承教师模型的不对齐特征,且强度高于SFT。 该研究构建了域-任务网格数据集,发现任务学习程度越高,不对齐传播范围越广;在SL实验中,教师模型决定了不对齐转移的领域与任务模式,而数据仅影响继承程度。 该成果已被NeurIPS 2026接收。
针对任务级不确定性未知的场景,研究提出了一种联合学习校正系数与难度的置信区间策略,用于优化共享人工验证预算分配。 在包含68项任务及2000余名受访者的数字孪生实验中,该方法在实现均匀分配同等估算误差的同时,分别减少了22.7%和4.5%的人工标签获取成本。 该结构可扩展至向量决策模型,强调AI的价值不仅依赖模型精度,更取决于将人工监督精准导向关键区域的操作策略。
提出 FedBNN 联邦感知二值化框架,在异构数据下实现与全精度模型相当的精度。 该方法利用全局模型信息引导局部二值化,相比全精度模型在 FLOPs 上节省最高 58 倍,内存节省 32 倍。 为资源受限边缘设备提供了预测性能与部署效率的实用平衡方案。
研究显示,2012 年至 2023 年间 AI 预训练算法 FLOP 效率提升了 22,000 倍。消融实验在低算力下仅解释了不到 100 倍的效率增益,缺失部分源于规模依赖性。 证据表明算法效率增益与计算规模强相关,如 LSTM 与 Transformer 的缩放定律指数存在差异。小算力下的算法进步速度远低于此前假设。
Muon 优化器的迭代正交化过程在大规模训练中存在潜在问题。随着规模增大,随机矩阵的奇异值会收缩,影响正交化效果。 该研究通过随机矩阵在理论和实证层面展示了这一缩放行为,但未提出具体的解决方案。
研究通过识别“少数派报告”(与多数投票标签不符的工人响应),在两个计算机视觉数据集上测试剪枝策略。结果显示,该策略可剪除超过 35% 的重复标注,同时保留 99.9% 以上的参考多数投票标签,实现成本与质量的平衡。
研究将 Qwen3.8-27B 的 248,320 词表缩减至 384 字节级条目,保留原有权重并在 8xH200 上训练 178.6 小时,核心能力在多数基准上与原模型无显著差异。 字符级中文任务性能显著提升,但吞吐量降至原模型的 1/4,且小词表引发 UTF-8 损坏等四种特有失效模式。
研究评估了 Olmo-3-7B-Instruct 在 SFT、DPO 和 RLVR 后的差异。 RLVR 生成的 CoT 在后续检查点中准确性更高,且对进位声明敏感度更强。
基于真实临床AI部署数据,45%以上的模型输出编辑包含用户添加的无依据信息,直接微调此类数据会导致模型幻觉。 研究在MIMIC-III数据集上构建半合成临床编辑数据,通过专家验证的过滤方法识别可操作编辑,保留忠实于输入内容的部分。 该方法在医生对齐指标上取得提升,同时确保模型生成内容的忠实性。
TimeSeek 模型通过多域特征提取器与多任务协同训练,在时间序列预测、异常检测及分类任务中实现少样本与零样本状态的最优性能。 该模型基于大规模时间序列数据预训练,采用渐进多尺度建模与自适应槽位通道建模,保持较高推理效率。 该成果已被 IEEE 模式分析与机器智能汇刊(IEEE TPAMI)录用。
研究团队通过压力测试 MOMENT、Chronos-2、Moirai-MoE 和 TimesFM 这 4 个主流时序基础模型(TSFM),旨在量化其在不同采样频率下的不变性表现。
研究通过 margin 统一视角解释 LoRA 抗遗忘能力与 Adapter 合并机制,并提出免训练的 MaLoRA 合并规则。 在正则化中间区间,最优 Adapter 对齐 max-margin 解;正则参数控制预训练数据保持与新任务适应的 margin 权衡。 该合并规则在多任务基准中匹敌或超越现有基线。
提出PSL-RGHA框架,通过参考梯度半空间对齐机制缓解客户端训练发散。 结合参考梯度渐进构建与梯度半空间对齐两个组件,近似全局下降方向并限制冲突。实验证明其在多种设置下优于现有基线模型。
Tree-Ising 方法将模型权重修复转化为稀疏离散优化问题,Qwen3.5-0.8B 在 MATH-500 上得分为 54.6%。 该方法通过修改 13%-17% 权重并减少 2.2-2.3 倍比特翻转,仅耗 4 次前向传播及约 $0.90 GPU 费用。 在 Qwen3.5-2B 上,GSM8K 准确率从 21.6% 提升至 69.4%,并在 IBM Heron 处理器验证可行性。
研究人员提出一种基于单极神经元的网络架构及学习规则,通过“回传”机制仅利用奖励信号进行训练。 该模型将神经元建模为被动线段树,利用对称系统特性使权重更新逼近误差梯度。结合任务代码和巩固机制,在 MNIST 和 Iris 序列任务中实现了低遗忘率。
该自监督框架利用近百万条无标签12导联ECG数据,在多个公开数据集上实现AUROC最高提升6.5%,F1提升12.8%,且无需额外微调。 核心模块包括偏差定位嵌入与关联重建嵌入,用于捕捉波形级偏差及跨导联关联。 该方法降低对标注数据的依赖,有助于支持临床早期检测与心血管病监测。
提出 TBTCL 框架,将时间行为树 (TBT) 作为统一接口,同时用于定义任务、生成密集鲁棒性奖励、构建课程及诊断策略。 该框架比 LTL 更具表达力且天然分层,能自动提取课程 DAG 并识别瓶颈。在六个离散与连续域评估中,TBT 证明可同时充当规范、奖励、课程和诊断工具。
论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。
联邦验证器池(FEDVP)范式允许异构客户端通过共享验证而非参数聚合进行协作。使用 Qwen 和 LLaMA 3B 至 14B 作为基座模型,在 5 个医疗问答数据集上进行评估。 FEDVP 平均准确率比最强传统基线提高 1.46 至 5.79 个百分点,实现了冻结基座模型下的协同增益。
CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。
针对金融时间序列中不可预测的市场冲击,论文提出 Market-Conditioned JEPA (MC-JEPA)。 该方法通过 leave-one-out 市场条件和因子负载进行联合嵌入预测,在 11 年中国 A 股分钟级数据上,其 RankIC 在流动性和收益率指标上超越基线模型。 历史回测显示其投资组合表现最佳,证明条件化学习能有效提升资产特定成分的预测准确性。
在低学习率的 RL 后训练中,标准 BF16 混合精度训练因权重粘滞导致收敛速度慢于 FP16。 作者提出在将 FP32 影子权重量化为 BF16 时应用随机舍入,该方法在多个模型和数据集上匹配了 FP16 的收敛速度,同时避免了提高学习率带来的 KL 散度增加,且无需损失缩放。
研究人员扩展了既往的注视点中心模型,通过引入以当前视线位置为中心的空间渐变注意力分布,将视觉注意力表征纳入奖励模型训练。该基于视线分布训练的奖励模型在偏好预测准确率上优于基线模型。实验结果与阅读时人类注意力的认知心理学发现定性一致,捕捉了人类注意力分配的认知意义。
summary_zh: 研究者提出 SPRA-LoRA,这是一种联邦学习下的秩感知微调策略,通过冻结并定期重采样矩阵 A 实现 50% 的计算与上行通信开销降低。
提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。
提出 Byzantine-Robust Muon 优化器,在统一信任域框架下分析其鲁棒聚合机制。 该框架不依赖独立同分布假设,为凸和非凸目标函数提供收敛保证。 在 ResNet-18 和 38M 语言模型模拟实验中,Muon 配置比 SGD 和 AdamW 具有更高的被攻击准确率。
论文提出 StatPrompt-LLM,通过增强 Time-LLM 提示机制并引入零初始化自回归旁路,实现时间序列预测的统计细化。在 ETTh1、ETTh2 及 Weather 数据集上评估,10% 前缀配置下 MSE 平均降低 40.2%,MAE 降低 21.4%。分析显示该框架相对 Time-LLM 增加了模型参数和运行时开销。
研究建立多类逻辑回归在高维混合模型下的交叉熵风险缩放法则,揭示学习过程按类别频率从高到低顺序进行的机制。 当类别先验服从幂律分布时,风险动态分解为初始平台期、幂律衰减序列学习期和最终收敛期三个明确阶段。 研究进一步推导了计算最优缩放法则,明确了模型尺寸与训练时间随计算预算变化的具体关系,将线性回归理论延伸至多分类任务。
The user wants a Chinese title and a Chinese summary for an arXiv paper. **Source。
发布欧洲多模态数据集 KITScenes Multimodal,配备超 400 米长程 lidar、4D 成像雷达及高精度 GNSS/INS 定位。 作为公开数据集首次将红绿灯等所有交通元素以重投影精度映射为 3D 拓扑连接数据。 该数据集旨在弥补现有数据在传感器保真度和地理多样性上的不足,并包含四个面向具身 AI 的空间学习基准测试。
Singular Bayesian Neural Networks 通过低秩参数化将后验复杂度项从 $\sqrt{mn}$ 降至 $\sqrt{r(m+n)}$,在 MLP、LSTM 和 Transformer 上实现最多 33 倍参数量缩减。 该方法利用共享隐因子捕获结构化权重相关性,显著改进 OOD 检测性能,并在多数情况下提升校准效果。
跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。
论文提出 OraclePhys 框架,将答案形式设定为实验变量,以结构力学有限元基准评估 LLM 微调效果。研究发现排名监督比峰值标签更优,且匹配配方下 SFT 与 GRPO 性能差距仅 0.03。该 8B 模型在特定任务上性能超越前沿 LLM。
研究提出 HiFloat4 格式及 Rollout-ResQ 方法,实现首次端到端 FP4 强化学习后训练,Qwen2.5-3B 模型精度差距从 3.59% 缩至 1.39%。
研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。
潜在预测在层级深度L下仅需常数次样本,而监督学习需指数级样本,实现了数据效率的指数级提升。 研究证明了该理论,并首次分析了 data2vec 隐式执行层级潜在预测的特性,指出显式堆叠(如 H-JEPA)是冗余的。