UMSH 框架实现多模态癫痫分类,统一 EEG 与 iEEG 异构信号
提出统一多模态信号协调(UMSH)框架,集成异构 EEG 与 iEEG 信号实现癫痫分类。 框架利用条件生成对抗网络(cGAN)进行数据增强以解决类别不平衡,采用 EEGNet-ViT 作为特征提取网络,有效兼顾局部与全局特征学习。
提出统一多模态信号协调(UMSH)框架,集成异构 EEG 与 iEEG 信号实现癫痫分类。 框架利用条件生成对抗网络(cGAN)进行数据增强以解决类别不平衡,采用 EEGNet-ViT 作为特征提取网络,有效兼顾局部与全局特征学习。
研究显示 LLM 生成的假设比人类论文离现有工作远达 16%,但正交新颖度得分低 15-23%。 分析基于 2690 万篇人类论文与 52.4 万个假设,证实 LLM 在既定方向内扩展而非开辟新路径。
StructZO 提出结构化零阶优化框架,在激活诱导子空间中进行大查询估计并应用谱控制,显著缩小零阶与一阶优化器的性能差距。 理论证明有效估计维度从 $mn$ 降至 $mr$,投影误差由激活 Gram 矩阵谱尾决定。 在 OPT 系列和 Llama3.1-8B 上,StructZO 平均比最强零阶基线提升 8.7%,个体任务最高提升 26.9%,平均结果距一阶 Adam 仅 1.5%。
研究提出重复捉迷藏基准与诊断框架,利用递归信念更新区分适应性游玩与信念追踪。 在Qwen2.5-7B-Instruct与GPT-5.4测试中,提供对手真实信念显著提升行动预测准确率,而模型自主推断信念表现受限。 该框架揭示了利用信念信息比自主推断信念更易,为评估大语言模型心理能力提供新标准。
研究团队提出 PACT 方法,解决了扩散语言模型在强化学习后训练中的“轨迹盲目性”问题,该模型在 LLaDA-8B-Instruct 上的 GSM8K 基准提升 9.9 分,MATH500 提升 12.0 分。 PACT 通过联合学习策略与标量势函数,实现无需序列似然估计或重要性比率裁剪,在 GSM8K 任务上以 AGRPO 约一半的训练算力达到其最佳准确率。
论文提出 Reflected Proximal Dynamics 框架,结合 Proximal 采样与精确反射,用于 Log-Concave 分布采样。 结合 Warm Start 时,达到总变差误差 ε 仅需 O~(√κ d^{1/4}) 次 Oracle 查询。 移除 Warm Start 假设后,查询复杂度降至 O~(κ^{6/7} d^{1/4}),显著提升采样效率。
研究人员将跨模拟流体系统预训练的 Walrus 基础模型微调至仅 12 个野生型果蝇胚胎视频,并在未见过的温度和基因扰动条件下实现零样本预测。 模型在严重分布偏移下表现最佳,成功捕捉到 17°C 与 27°C 间组织速度轨迹差异及原条延伸起始时间点。 研究初步支持物理基础模型作为低数据量下模拟形态发生的互补工具。
WildTrace 基准在 SFT、DPO 和 RL 后训练阶段中,最佳训练数据检测方法的平均 AUC 仅为 0.529,接近随机猜测的 0.5 水平。 该基准构建了匹配分布的评测集,并证实评测协议对检测性能有显著影响。 这些结果表明在真实场景下开发有效、鲁棒的检测方法具有巨大潜力。
在 NVIDIA L40 上实现最高 6.29 倍训练加速与 81.3% 峰值显存降低,iPhone 13 Pro Max 测试达 2.78 倍加速。 该方法无需专用稀疏内核,降低 DST 训练对特殊硬件支持的依赖。
研究发现 SFT 在 Qwen3-1.7B 激活几何中留下可复现签名,位移超 17.8 个标准差,Llama-3.1-8B 亦复现。 SFT 与 DPO 在不同训练步数下占据不相交的位移范围,间隙为各自离散度的 5.0 至 5.6 倍。
该方法通过余弦相似度特征筛选测试问题,实现高效测试时强化学习,代码已公开。 其定义了COS指标,将模型响应表示与正确性方向比对,以区分问题难度。 跨基准实验表明,该方法能大幅降低测试时计算量,同时维持或提升性能。
提出点式评分标准奖励模型 ReVeR,通过仅推理指令推导硬规则,利用工具增强评判独立评估响应。 模型经标签盲蒸馏训练,生成大规模 ReVeR-Traces 数据集,实验显示其在偏好准确性上优于成对评判方法。 研究发现生成器强化学习提高偏好准确性的同时降低评分标准保真度,且偏好准确性不必然转化为更优下游策略。
研究揭示在计算充足但数据有限场景下,重复预训练的算力前沿取决于此前孤立研究的选择。联合优化批量大小与训练轮次发现 U 型验证损失关系,小批量因梯度噪声提供隐式正则化而优于典型设置。
LVRL 利用 LLM 预训练知识估计策略感知状态价值,实现步骤级信用分配,无需微调独立 critic。 在 AppWorld、BabyAI 和 SWE-bench Verified 基准测试中,LVRL 显著优于 GRPO 和 PPO,在 AppWorld 上绝对提升达 13.6 个百分点。 该方法有效解决了长时程稀疏奖励任务中的信用分配难题,提升了智能体在复杂环境下的决策鲁棒性。
团队在约500亿token数据上从头训练了2.5B参数模型Agaram 2.5B,该泰米尔-英语混合模型支持工具调用且权重已开源。模型使用单节点8张H100 GPU训练约6天,其在泰米尔语翻译和指令遵循上显著优于Sarvam-1,但知识类基准测试表现接近随机水平。
研究人员评估了 5 个 DNA 基础模型在 57 个分类数据集上相对于 k-mer 频率基线的预测优势。NTv3 在 46 个数据集上显著提升了平均 MCC,而 Caduceus 提升较小,其他模型未见平均改善。
在 Gated DeltaNet、GLA、Mamba2 和 RetNet 模型上,免训练低比特循环状态量化方法显著优于 INT4,相对 FP32 将状态内存减少最多 5.3 倍,解码速度提升最多 1.9 倍。
论文提出链式维度扩展(CDS),通过复用单一特征交互块参数,在不增加参数量前提下引入链长度作为新扩展维度。 在压缩模式下,CDS 使可训练参数减少 26.6%,训练吞吐量提升 6.4%,离线质量差距保持在 0.03% 以内。 效率提升主要源于降低跨设备同步开销和更新成本,验证了参数共享迭代计算作为工业系统通信高效扩展轴的价值。
TabMosaic 提出一种无需针对特定表格训练的扩散模型,将表格生成、缺失值填补及条件采样统一为建模任意目标单元格联合条件分布的问题。 该模型基于扩散去噪目标,在 48 个真实世界表格数据集上评估,在所有生成任务中均优于 20 个基线方法。
研究提出一种针对端侧小型语言模型的上下文感知精度调度方法,通过结合校准的时序模型和张量敏感度优化精度配置。 在笔记本 GPU 上测试显示,延迟预算下系统会降低权重精度以利用缓存读取时间,工具使用基准测试验证了该调度对完整响应时间和正确性的影响。
提出一种将所有张量(权重、梯度、激活)存储为INT8且所有操作均使用整数算术的训练算法。 该算法使用5个可组合的构建模块和每组速度机制,使训练内存比FP32基线小约4倍。 在ResNet、MobileNetV2和ViT等模型上验证,首次在CIFAR-10/100和ImageNet上以INT8实现具有竞争力的准确率。
VHA 通过 Q Premix 和 Linear Postmix 两个线性操作,同时降低 KV 缓存、训练与 prefill FLOPs,并保持模型质量优于 GQA。
SARATHI 提出解耦神经元选择与权重重构的结构化 LLM 剪枝框架,消除域偏置与高稀疏度下的内存溢出。 NMF Residual Subspace Probe 利用权重几何无数据评分,Adaptive OBS 以 O(d^2) 内存完成重构,Bias Shift Compensation 修正激活漂移。
基于2019至2025年瑞士官方投票手册,构建了包含53项联邦议题的Swiss4Arg多语种平行数据集。该资源覆盖德语、法语、意大利语和罗曼什语四种国家语言,由每种语言的三名母语者标注,并提供了GPT-5.4与SwissBERT的基线结果。 该数据集为多语种论辩挖掘与低资源场景下的跨语言可比性研究提供了新基准,标注与代码已公开发布。
GA-SVD 提出一种生成感知的低秩压缩框架,用于在压缩大语言模型时保留生成任务性能。 该框架包含生成感知权重白化(GAWW)和进化全局秩分配策略,在 Mistral-7B、Qwen3 系列及 Llama-3.3 模型上均优于现有 SVD 基线,并扩展至 70B 参数模型。
CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。
论文提出 ZOIF 框架,通过纯前向传播实现 LLM 数据选择中的影响函数估计,避免使用反向传播。 该方法将计算分解为三个无 BP 阶段,利用零阶估计近似梯度并优化逆 Hessian 向量乘积,显著降低峰值内存成本,同时保持与基线相当的下游任务表现。
研究者提出异构智能体协同进化框架 HACE,通过监督学习与强化学习让专业基础模型与 LLM 智能体互促进化。 在推荐系统、蛋白质功能预测和晶体稳定性预测三个领域,HACE 的主要任务指标均优于现有自改进方法。 该结果验证了异构协同进化作为提升专业基础模型的通用路径。
研究人员提出拓扑无关的少样本预测框架 FENAS,利用核心组件 CAST 结合多元对齐与协同转换,将异构零成本代理映射至紧凑特征流形。在仅使用 0.5% 标签样本的 NAS-Bench-201 基准上,FENAS 取得 0.70 的 Kendall's Tau,优于代表性少样本预测器。
Engram Injection 采用 LoRA 适配器存储事实,在冻结的 Qwen2.5-3B-Instruct 模型上通过 FiLM 条件输入时钟信息。 在 62 对更新前后问题测试中,LoRA 适配器准确率为 0,而全历史提示法答对 59 对,检索法答对 62 对。 结果表明模型学习事实与学习使用时机存在分离,时间版本选择机制尚未成功。
该论文提出了名为Nufo的埃维语ASR基准,其语料库总时长达174小时。 在评测中,Whisper-medium模型的词错率(WER)为37.98%,AfriHuBERT模型为39.70%。 此基准及模型将公开发布,以推进埃维语等低资源语言的ASR研究。
ShellElastic 提出一种弹性 Transformer,将隐藏维度组织为核心与外壳,使单次全宽前向传播包含所有子网络精确隐藏状态。 联合训练保持固定计算图,每步成本约为训练最宽子网络的成本。扩展参数化规则确保所有子网络同时最大更新,且超参数在小代理模型调优后对大模型仍接近最优。 单个运行产生的子网络在匹配参数量下优于 MatFormer 等基线。
Soft-TF 通过随机凸组合将 teacher-forced 嵌入与软 token 结合,在不增加参数、外部模型或课程学习的情况下改进监督微调(SFT)。 该方法在单个并行前向传播中计算软 token,推理过程保持不变。 在 GSM8K、MATH、MathQA 和 AQuA 基准上,跨七个 Gemma、Llama 和 Mistral 模型,GSM8K 提升 2.1 至 4.1 分。
研究提出 U-SRA 扩散 U-Net 架构,通过显式对齐去噪过程中的弱层与强层内部表征,解决表征意义不足问题。该架构结合交叉注意力机制实现音视频同步,在视频背景音乐生成基准测试中,其视频音乐对齐度与整体音乐质量均超越当前最先进水平。
summary_zh: 该研究将心理求助预测转化为时间-事件问题,构建了包含 6,337 名普通用户和 5,023 名过渡者的双组队列。 行为特征在预测“谁会求助”时优于文本特征(C-index 0.797 对 0.763),两者结合后交叉验证成绩达到 0.823;预测“何时求助”时,文本特征保持稳定。
研究引入包含 479 条双维标注样本的外部测试集 SarcasTraps,专门分析讽刺对土耳其语仇恨言论检测的影响。 基于 BERTurk 和 XLM-RoBERTa 训练的模型在讽刺样本上召回率下降,GPT-4.1 和 Llama-3.3-70B 零样本测试精度显著降低。 该测试集为量化讽刺场景下检测模型的挑战提供了针对性实证依据。
论文提出 Transformer 迁移方法 T-PCOT,利用工况匹配与部分最优传输解决跨材料磁芯损耗预测中样本可比性问题。 在 3 组材料对实验中,T-PCOT 将宏平均相对误差(Macro MRE)从 12.60% 降至 9.65%,95 分位误差(P95)从 30.94% 降至 25.06%。 该方法在磁芯损耗迁移学习中实现了最先进的预测性能。
针对双水平数据选择中梯度估计不稳定和取整不可行的问题,论文提出基于可学习类别先验的概率松弛方法,并设计 ReSGD 随机梯度算法。该方法使用两点梯度估计器避免逆 Hessian 计算和无界得分项,且在弱次模条件下提供了子集近似保证。
提出双向序列级交错流水线并行 BSIPipe,解决长序列训练中单向调度的吞吐量瓶颈。 在 GPT 和 LLaMA3 实验上,平均加速比达到 1.11 至 1.13 倍。该方案通过单位拼接机制保持激活内存不变,并消除通信死锁风险。
RECAP 提出一种后训练量化方法,通过在校准时利用模型读取的历史上下文校准推理模型,以缓解低比特量化对长思维链的降级。 该方法结合动态前缀校准与前缀读取几何,在 W4A4KV4 设置下,将 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上的准确率提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。