DAWN: 面向扩散大语言模型的高效依赖感知推理
论文提出名为 DAWN 的训练无关解码方法,通过提取 token 间的依赖关系加速 dLLM 推理。该方法利用依赖图选择更可靠的解码位置,在多个模型和测试集上将推理速度提升 1.80-8.06 倍,同时保持生成质量不变。相关工作已被 NeurIPS 2026 主会接收。
论文提出名为 DAWN 的训练无关解码方法,通过提取 token 间的依赖关系加速 dLLM 推理。该方法利用依赖图选择更可靠的解码位置,在多个模型和测试集上将推理速度提升 1.80-8.06 倍,同时保持生成质量不变。相关工作已被 NeurIPS 2026 主会接收。
HARDTESTGEN 提出合成高质量算法编程测试用例的方法,构建了含 26.6k 题目的 HARDTESTS 数据集。 相比现有测试,HARDTESTGEN 在验证 LLM 生成代码时精确度提升 11.22 个百分点。 使用 HARDTESTS 验证器进行拒绝采样和强化学习下游训练,能提升 LLM 代码生成性能,相关数据和管道已开源。
研究者构建了包含 1.48 亿音频样本的 LAION-Audio-XL 数据集,并基于 NaFlex 架构训练了 CLAP2 模型。 CLAP2 在 MAEB 和 HEAR 基准测试上超越了同规模的以往音频-文本模型,团队已公开数据集、模型权重及代码。
研究发现,LLM 群体中会议格式对支持度的影响远超成对接触计数。在 6 个开源 LLM 和 14 个辩题测试中,将三合组重组为五人组(resize)引发的支持度变化达 4.36 个百分点,高于重新分组(regroup)的 2.59 个百分点。
LLM Agent 易受欺骗,研究人员构建包含 5,000 条标注对话的语料库 AVCORP,并基于该语料对 Qwen3-8B 进行训练。 在 25 场留出游戏中,最佳检测器超越 GPT-5.6 Sol、Gemini 3.1 Pro 等前沿模型,表现匹配 Claude Opus 5.5;在 20 场人类游戏中,所有训练后的检测器 F1 分数均高于未训练基线。
ViCLIP-OT 是专为越南语图像文本检索设计的基础视觉语言模型,整合 CLIP 风格对比学习与 SIGROT 损失。 该模型在 UIT-OpenViIC 基准测试中平均 Recall@K 达 67.34%,较 CLIP 提升 5.75 个百分点;在 Crossmodal-3600 零样本评估中超越 CLIP 11.72 个百分点。
DeidSharp 是开源 .NET 工具包,在本地运行 26B MoE LLM 叠加 NER,用于临床文本去标识化。 其在 PhysioNet 护理记录中召回率达 98.9%,较 Stanford/Penn 高 2.8 个百分点;在 MIMIC-IV 出院小结中领先 20 分以上。 该方案支持本地部署,避免文本传输至外部服务器。
BVSR框架通过限制任务信息生成提案并学习历史结果筛选候选项,在5个模型和12个任务中提升了创意新颖性。 该框架在基因表达、药物响应等5类任务中优于现有SOTA基线,丢弃半数候选项仍保留大部分高性能提案。
MIRIX-2.0是一个多智能体记忆系统,在五个QA基准中取得四项最高准确率,LoCoMo得分91.4%,LongMemEval-S得分72.6%。该系统由六种类型化记忆代理维护完整记录,通过AutoDream在写入路径外合并重复锚点,并能在禁用AutoDream时比HyperMem在所有五个计时基准上回答更快,且无需微调即可兼容闭源和开源模型。
RDS-MOPD 引入分布鲁棒优化改进多教师同策略蒸馏,解决现有方法无法保证落后领域训练质量的问题。 该方法重新设计 DRO 的噪声处理、异常值限制及最坏情况定义,确保仅当差异显著超出噪声时调整资源分配。 实验显示 RDS-MOPD 在数学推理、代码生成及指令遵循基准测试中性能优于近期竞争方法。
研究在六个冻结编码器上分析孟加拉语习语,发现类均值方向在平衡准确率下支持跨语言共享粗粒度语义。英语训练的类均值读出在8项测试中优于零样本对照,但英语拟合的LEACE消除效应不足1个百分点,显著低于孟加拉语拟合的4-11个百分点。
研究表明,在有限人工标注辅助下,使用 LLM 输出的完整概率向量(Soft)比硬性类别标签(Hard)显著提升回归效率。 该结论基于三个 LLM 模型在三个社会科学文本数据集上的匹配实验,证实概率向量中额外变异在包含有用信息时优化了统计推断。 代码与可复现材料已公开,确立了输出表示法在 LLM 辅助测量中的关键设计选择。
该研究提出基于引用的 LLM-as-a-Judge 框架,用于提取和验证文献中同相催化 PET 去聚化的实验数据。 在 295 个人工审核基准实验中,LLM 评判者与人类评估的一致率为 85.7%;应用于 561 篇论文、3942 条记录时,67.5% 的记录被直接接受。 研究团队开源了端到端无代码化工具包,实现可复现的数据集提取、交互式溯源审查及模型无关审计。
Hibana 是针对统一内存设备设计的推理引擎,通过模型手术、统一内存管理和自适应推测解码协同优化,支持本地多智能体负载。 在单台 DGX Spark 上运行 125B 参数的 Qwen 和 Nemotron 模型时,Hibana 每小时可完成比 vLLM、NVIDIA Flare、TensorFold 等框架多 3.4 倍的智能体任务,解码吞吐量提升高达 3.9 倍。代码已开源。
Memento 提出一种无需修改模型权重即可恢复编辑前知识的提示空间机制。 该方法在三种 LLM 和五种编辑技术下恢复了 80.07% 的留出编辑事实,相对基线提升 9.58%。 在未编辑的 LLM 上,Memento 将平均事实回忆能力相对标准推理提升了 53.9%。
Jais 3发布六款0.9B至375B参数的开放阿拉伯语智能体语言模型,支持MCP工具调用与终端操作。模型基于K2 Horizon持续预训练并经RLVR强化,继承512K上下文窗口,权重及全阶段检查点已开源。
ASCENT 框架通过规模互补外部状态提升冻结长上下文 LLM 表现,16K BABILong 实验中 Qwen2.5 准确率增益显著。 在 0.5B、1.5B 和 3B 参数规模下准确率分别提升 10.50、78.88 和 82.63 个百分点。 结果显示外部状态价值随读者容量与状态预算联合扩大而增加,基准测试确认其有效性。
美团正式以 MIT 协议开源 LongCat-2.5,该原生多模态模型总参数 1.6 万亿、每个 token 激活约 480 亿参数并支持一百万上下文,面向长程智能体任务在代码开发、Visual Coding 与专业办公场景中端到端交付能力明显提升。
推荐理由:原文详细披露了1.6万亿参数多模态模型在国产算力下的W4A4量化策略与训练细节,展示了在显存受限场景下落地万亿模型的具体工程路径。
Google 推出的 Language Explorer 是一个交互网页平台,基于开源的 LinguaMeta 数据集整合了数千种语言的数据。 该平台支持研究人员、教育者和语言爱好者可视化全球语言多样性。 Language Explorer 已在柏林通信博物馆的“Real Talk!”展览中作为互动装置展出。
Elith 与 NVIDIA 联合发布 Nemotron-Personas-Finance-Japan 数据集,这是首个基于日本官方统计的大规模开源金融合成数据。
Hugging Face 提出 HOPE 方法,通过计算专家间高阶交互实现 MoE 模型的精准剪枝。 作为二阶方法,HOPE 在 50% 剪枝率下表现最优,相比次优方法在 agentic coding 任务上提升最高达 6.1%。 该方法无需训练且兼容量化,能有效解决传统一阶剪枝忽视专家协同集群导致的性能衰减问题。
SCDBench 发布,包含 600 个真实 Solidity 合约及语义检查点,用于评估 LLM 智能合约反编译性能。 该基准对 Claude Opus 4.7、GPT-5.3-Codex 和 GLM-5 进行零样本评估,最佳模型仅能完美反编译 42/600 个合约,引入编译修复可显著降低成本。 SCDBench 为区块链安全和透明度领域提供了严谨且可复现的反编译器评估基础。
XekRung 是一款专为网络安全设计的先进大语言模型,在同规模模型中取得了网络安全特定基准的 state-of-the-art 性能,同时在通用基准上表现强劲。
提出名为“morphism-trick”的新方法,用于将自定义的向量-雅可比积集成到自动微分软件中。 该方法实现了动态规划算法高效的、与半环无关的反向传播,并针对有限状态方法引入了计算和微分有限状态自动机所有路径权重的⊕-和的算法。 用户无需大量修改代码,该开源库即可比当前最先进的自动微分系统快几个数量级地计算有限状态自动机权重函数的梯度。
研究提出高效 2.5D 框架 SegMate,在三个数据集中将计算量降低 2.5 倍、显存占用降低 2.1 倍,Dice 分数普遍提升约 1%。 该框架在 TotalSegmentator 数据集上以 295 MB 显存实现 93.51% Dice 分数,并在其他数据集上展现出强泛化能力。 SegMate 支持单 GPU 每小时处理 10,000 个体积,代码已开源。
研究复现并扩展了 PoLar 的层跳过与重复机制,证实组合策略优于单一操作,且难题需更多层重复。 发现学习路由器增益主要源于修复答案格式,固定程序在修正格式提示下同样有效,且纠错程序具有脆弱性。 PoLar 类似丘脑-皮层协调机制,但能有效按输入选择更优程序的类丘脑路由器尚未找到。
LLM 智能体框架分析了 22 种人类组织间共 231 对组合,识别出 1,825 个保守蛋白共丰度簇。 该框架整合了表达图谱、蛋白互作数据库及文献证据,76% 的组织对表现出超越随机的共丰度共享,379 个可测试簇在独立 CPTAC 数据中复现。 这些保守簇揭示了现有数据库缺失的机制,如肝脏与骨髓共同关联的白质病变基因,为疾病研究提供假设生成资源。
论文提出差异感知剪枝方法,主张保留神经元输出差异比单纯保留激活值更重要。 在 Llama 2 和 3.1(7B-405B)上,其二阶变体优于重建基线,免费变体优于激活感知基线。 该方法与 RIA 等技术结合可提升精度,且已被 NeurIPS 2026 接收。
Gated DeltaNet-2 通过引入通道级擦除门控 b_t 和写入门控 w_t,解耦了线性注意力中记忆擦除与写入过程。 在 1.3B 参数规模、使用 100B FineWeb-Edu tokens 训练下,该模型在 Mamba-2、Gated DeltaNet 和 KDA 等对比基线中,于语言建模、常识推理及检索任务取得最优整体表现。
summary_zh: 研究提出子空间感知稀疏自编码器(SASA),通过将单向量解码器替换为学习子空间,解决传统稀疏自编码器因假设特征一维导致的特征分裂问题。 SASA 利用 Top-s 组门控和核范数正则化适配组秩,在 GPT-2 和 Mistral-7B 上的实验表明,该方法相比传统 SAE 显著降低了特征吸收,并以较低重建成本提高了概念成员预测的准确性。
该研究提出 CausalCompass 基准框架,专门评估时序因果发现方法在假设违反下的鲁棒性。 实验覆盖八种假设违反场景,结果显示单一方法无法在所有设置下保持最优,但深度学习方法在多数场景表现优于其他方法。
AudioSphere 是一个多通道掩码自编码器,首次实现使用冻结自监督骨干进行声音事件检测与定位(SELD)。 模型在 Ambisonics 录音上训练,通过时空掩码策略联合学习声学与空间特征,支持帧级预测和片段级表示。 代码和数据已开源,相关论文已被 NeurIPS 2026 接收。
提出串联 2-FWL GNN 方法解决组合图对齐,在稀疏 Erdos-Renyi 图噪声 0.25 时,初始化 FAQ 达 85% 准确率,优于凸松弛初始化的 13% 及现有 GNN 的 0%。 相关正则图上串联法是唯一能恢复非平凡对齐的方法;在酵母 PPI 等基准上,该方法进一步超越强化后的 FAQ 基线,代码已开源。
研究人员推出基于Isaac Sim的HomeLoop仿真框架及基准,包含20项基于真实家庭隐患的任务。 该基准结合机器人本体、联网设备及故障传感器,通过时间逻辑检查评估动作;评测六款VLM显示最佳模型得分61.9%,且存在过度反应现象。 HomeLoop旨在支持机器人-IoT协同、长期记忆及隐私-安全权衡等研究。
提出 MorphSched 系统,利用 LLM 生成 Rust+BPF 调度器,在 120 种配置下优于 EEVDF 26.5% 至 87.3%。 采用 DAG 修复流程处理编译与验证错误,生成器无需人工编辑即可通过 eBPF 校验并稳定运行。
研究者发布 SPDMX,这是基于公有领域 PDMX 乐谱渲染的开源分轨语料库。该数据集包含 253,982 首歌曲、490,159 个单声道分轨及 5,469 个歌曲小时,采样率为 44.1 kHz,采用 CC BY 4.0 许可。
基于真实工作负载分析,提出 Intent-Aware Caching (IAC) 在线驱逐策略,显著提升 LLM 服务缓存命中率。 IAC 将请求按意图分类并学习轻量级重用统计,WildChat 和 ShareChat 评估中缓存命中率达 34.6%,平均服务延迟降低最多 46.1%。
Atik 是面向 RocketChip 的开源 RoCC 加速器,通过共享定点 MAC 网格执行矩阵乘法和稠密注意力。 该加速器使用 BF16 张量,采用流式在线 softmax 调度。8x8 配置相对标量 Rocket BF16 参考实现,峰值矩阵乘法加速 31.5 倍,注意力加速 225.8 倍。
它采用线性注意力编码器和抗混叠时间重采样技术,支持 800 万复数样本,并发布 1.38 TB 统一语料库。 在 EM-Bench 感知准确率上比 MERLIN-LoRA 提升 15.77%,且在 LEMMO-ShortQA 上准确率提高 14.31%,代码和数据集已开源。
文章提出“Helmholtz Co-Pilot”混合多智能体系统,作为大型粒子物理实验的自主管理员。该系统能自动监控非平稳机器数据流,通过因果诊断引擎追溯级联警报的根本原因,并在检测到异常时向系统发送结构化诊断报告。