LLM 在零样本权重空间编程中跨难度梯度的双人对局表现分析
该研究评估 LLM 零样本进行权重空间编程的能力,构建了涵盖 Nim 到国际象棋残局的四级难度梯度,独立验证了 10 个神经网络。 其中 6 个网络具备完整的非统计正确性证明;国际象棋残局层级中,单步战术成功率达 84.1-100%,但在完整对抗中降至 0.57-9.13%。 研究指出性能骤降源于架构天花板而非工程不足,并开源了所有网络、独立验证工具及冷启动提示协议以支持跨模型比较。
该研究评估 LLM 零样本进行权重空间编程的能力,构建了涵盖 Nim 到国际象棋残局的四级难度梯度,独立验证了 10 个神经网络。 其中 6 个网络具备完整的非统计正确性证明;国际象棋残局层级中,单步战术成功率达 84.1-100%,但在完整对抗中降至 0.57-9.13%。 研究指出性能骤降源于架构天花板而非工程不足,并开源了所有网络、独立验证工具及冷启动提示协议以支持跨模型比较。
TailDART 是一款 2.68M 参数的稠密金融时序基础模型,旨在解决量化金融中低信噪比和高延迟问题。 模型采用分组查询注意力机制,相比现有 SOTA TSFM 推理加速最高达 48.1%,支持低延迟流式执行。 在多变时间分辨率的多资产基准测试中,该紧凑模型在预测保真度上匹配较大基线,且在高波动状态下展现出更强的错误韧性。
研究人员提出 MOSAIC 框架,实现蒙太奇无关且受试者无关的内颅 EEG 癫痫检测。 该轻量级图学习模型通过通道注意力模块推断加权邻接矩阵,并利用指数移动平均自蒸馏目标优化预测。 在四个公开 iEEG 数据集上,MOSAIC 的 F2 和 Cohen's $\kappa$ 指标优于 SOTA 基线,证明了连接学习在未见植入设备上的可迁移性。
提出双专家离线模仿学习框架 DexDICE,利用安全合规与高回报演示数据,结合分布约束提升离线模仿学习性能。 采用 DICE 式离线学习与安全支撑约束,证明理想解在高概率下避免进入不安全区域。在 DSRL 基准及真实移动机器人导航任务中验证,显著优于基线且抗数据稀缺与质量退化。 被 NeurIPS 2026 收录。
MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。
RoleWalk 提出免训练的有向图结构嵌入方法,通过记录随机游走中转移概率和距离分布,使节点坐标在不同图中含义一致。在 Wikipedia 和 Enron 基准中表现优于 Digraphwave,并能将中心性预测器迁移至原图 4 倍大小的新图,单 CPU 核心嵌入百万节点仅需 20 秒至 3 分钟。代码已以 BSD 协议开源。
LeanDojo-v2 是一个端到端框架,整合了 Lean 仓库数据提取、大语言模型微调、证明搜索和 AI 自动补全等功能,旨在简化 AI 辅助定理证明流程。 框架附带轻量级 IDE Lean4Code,通过数学家友好的界面集成上述功能。这些工具允许研究人员无需复杂配置,即可在特定领域的 Lean 代码库上微调模型并实验。
DTCD 数据集及因果发现工具包发布,通过配置组合拓扑、机制与噪声生成含真值邻接矩阵的多变量时间序列。 支持 81 种配置评估 8 种发现算法及 18 种配置评估 4 种处理效应估计器,通过缓存随机实现恢复数值精度的个体处理效应。 揭示标准发现方法无法处理缺失值及边际方差捷径问题,相关代码与数据已开源。
研究在瑞士法律多语种环境中对比了推理增强小模型与前沿模型,证实强化学习结合可验证奖励在翻译质量上优于监督微调。实验对象包括 Qwen3.5 4B/9B 和 Gemma 3 12B,结果发现小模型经重训练后表现接近但不及SOTA推理模型,且模型越大重训练带来的边际收益越低。代码与模型已公开。
提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。
RidgeFill 通过免训练的岭回归预测晚期层输入,在不修改模型权重的情况下加速 LLM Prefill 阶段。 在 Qwen3.8-Flash-Next 上,该方法使 9K-32K token 下的首 token 延迟降低 1.50 至 1.60 倍;RULER 评测得分由 100.0 降至 99.8,陌生 token 困惑度增加 2.65%。
研究者提出 SteerGR 框架,利用稀疏自编码器在概念层面控制游戏发现中的生成式推荐。该方法包含定义、特征发现及稀疏干预三阶段,无需重新训练即可引导推荐结果。实验基于两个工业级生成推荐模型验证,成功将推荐导向或远离目标概念。
提出首个基于目标隐藏状态条件的流匹配推测解码范式 ChainFlow,只需 1-2 步传输即可生成草案。 在 Qwen3.5 模型上,同规格下 ChainFlow 比 EAGLE-3 和 DFlash 快 39% 和 11%,代码与模型已开源。
研究人员提出SteganoPrompt,一种将不可见指令嵌入可见任务提示的输入端水印技术,专门用于检测学生原样提交LLM回复的行为。 该工具将信息编码至废弃的Unicode标签区块,视觉上与原文一致,并能经受常见复制粘贴渠道的传输,同时大多数前沿模型可将其视为普通文本进行分词。 该工具以MIT许可证开源,并内置学术诚信提醒,目前已被AIES 2026会议接收。
OpenCoder-1.5B 在 2 万亿 token 预训练中表现出表征漂移:对于 16 个语法确定下一个 token 的 Python 结构,虽然损失在训练前 4% 内触底,但模型对承载神经元的依赖持续增长,且承载集在最后检查点仍在变化。移除 840 亿 token 时确定的承载集在训练结束时与随机集无法区分,而离开某结构承载集的神经元回归率是对比神经元的 3 倍,证明了预设定假说的错误。
提出校准概念画像方法,将模型神经元激活读取转化为具有单位和噪声指标的测量。在 OpenCoder-1.5B 模型上实现,跟踪跨越 2 万亿训练 token 的检查点,计算每个神经元的一个数值,提供比较的偶然水平基准。 该方法发布代码和数据集 AtlasOpenCoder v1,确保读取可重复、可比较,避免跨研究无法转移的问题。
NVIDIA 开源 AI Aerial 和 Sionna 软件全球开发者采用量增长 10 倍,下载量超 100 万次,8000 多家机构正在使用。 在多项实验中,语义通信将机器人任务完成时间缩短 52.6%,神经网络接收机上行吞吐量提升最高 60%,模拟运行时间从 3 小时降至 10-20 分钟。
开发者利用阿里云百炼 CLI 和 Qwen Code,开源了“一键生成公众号封面”的 Skill。该工具通过 qwen3.6-plus 识别内容风格,由 qwen3.8-max 组装提示词,调用 qwen-image-2.0 生成 1344×572 底图。
百灵大模型官方发布 Ling-3.2-flash,该模型总参数 560B,单步激活 25B,原生融入视觉感知与空间理解能力。Ling-3.2-flash 具备视觉反馈自检和异常自适应恢复能力,能对照渲染结果调整代码并根据报错信息继续执行任务。
推荐理由:官方明确了560B参数下的视觉自检机制,用户可据此评估其在异常恢复场景下的工程落地可行性。
论文提出了名为 FastWave 的扩散模型,用于将音频信号超分辨率至 48 kHz 采样率。 该模型具有约 50 GFLOPs 的计算复杂度和 1.3M 参数,训练和推理速度显著快于现有的高参数扩散及流模型,且性能优于 NU-Wave 2。 代码已公开,该模型能以更少的资源进行训练,为音频超分辨率提供了高效的解决方案。
Genome-Factory 是首个集成基因组基础模型微调、部署与解释的 Python 库,统一了数据获取、推理及基准测试工作流。 该库支持全参数与参数高效微调,提供 DNA 序列生成功能,并引入基于稀疏自编码器的开源生物解释器。 研究人员利用 DNABERT-2 验证了其生物解释能力,实际结果显示该工具在基因组分析中具有实用价值。
ActQuant 提出行动引导混合精度 PTQ 框架,在 LIBERO 基准上以 3 bpw 以下保留 OpenVLA-OFT 95.0% 性能。 通过 2.5 bpw 将主干压缩至 2.7 GB,实现 5.3 倍加速,并在 UR3 机械臂上保持基线成功率。
研究提出 Banach-KAN,利用基于 Banach 对偶映射的指数学习幂律边界响应,并结合有界双曲正切(tanh)组件。在符号回归基准测试中,数据有限时 Banach-KAN 与固定基模型表现相当,且存在噪声时具有竞争性,而基函数在数据充足时更强。该工作已被 NeurIPS 2026 接收。
开放权重基础模型 CytoBERT 专为单细胞流式细胞术数据设计,支持可变标记面板。 该模型在包含超过 5000 万个细胞的 15 个人类数据集上以自监督方式预训练,代码已在 GitHub 公开。 在样本级分类任务中,微调证明了其跨异构流式细胞术数据集进行迁移学习的可行性。
MIND提出基于LLM的自动化假设验证框架,将科学发现过程组织为多智能体流水线。 系统集成SevenNet-Omni机器学习原子势实现可扩展的计算机实验,并提供基于Web的用户界面。 该框架采用模块化设计,支持集成额外实验模块以适应更广泛的科学工作流程。
研究提出基于 top-k 和 entmax 的选择性 goodness function,并引入参数-free 的 burstiness objective 奖励重尾激活模式。
RAVEN 利用递归感知预训练策略,在包含超 100 万独立个体的数据集上学习自回归生成临床事件,零-shot 预测性能超越标准下一词元模型并比肩微调表示模型。 该模型在数据受限、算力饱和场景下验证了单纯增大模型尺寸并非最优策略,且能泛化至外部患者队列。
CLaRE 提出轻量级表征层技术,通过前向激活量化事实间纠缠,平均提升 62.2% Spearman 相关系数且速度提升 2.7 倍。 CLaRE 避免耗时的反向传播,峰值 GPU 内存减少 2.85 倍,仅需少量存储空间即可计算并保留事实表征。 纠缠图谱和语料库可用于构建更强的模型编辑保留集、审计追踪及高效红队测试,相关文件已开源。
开源框架 openJiuwen 发布,支持结构化合成与运行时自适应,在 SWE-bench Verified 达 82.6%,Terminal-Bench 2.1 达 87.19%。 框架通过 Rail-based 能力合成与固定模型策略下的运行时动态调整,提升复杂编码任务性能,分别超官方榜单最佳成绩 3.4 和 3.39 个百分点。 结果表明该设计在复杂编码任务上兼具高性能与可组合性。
FedReason 使用 Claude Opus 5.5 在未训练服务器端聚合规则的场景下,通过代码沙箱分析权重并生成 Python 程序来替代固定规则。 在 CIFAR-10 和 CIFAR-100 的 168 次运行中,该方法平均比 FedAvg 高 1.26 个百分点,且 60 轮运行平均 API 费用仅为 0.79 美元。
VisionSIM 是一个物理驱动的多模态仿真平台,支持相机、事件、SPAD、iToF/dToF 及热成像等异构传感器。 它通过建模原始物理测量过程,复现 LiDAR 堆积、iToF 相位缠绕及事件相机死区等特定失效模式,并发布了包含同步原始测量值与地面真值的大型室内数据集。
FastAFD 引擎在 GB200 NVL72 上实现 AFD 优势,Qwen3 吞吐量提升 1.17 倍,Qwen3.5 提升 1.16 倍,MiniMax-M2.5 持平宽 EP。
InnerLogic-Surg发布21M至300M参数的开源手术视觉编码器,基于约2900小时的11,965个视频数据持续预训练。 模型继承DINOv3预训练阶段,采用特征上采样模块降低高分辨率预测的token成本。 在覆盖工作流、仪器识别等20项手术任务的基准测试中,最大模型取得最佳线性探针性能。
提出 InfMasking 框架,通过无限掩码学习模态间协同信息,避免融合模块依赖主导模态或共享信息。 优化闭式变分边界以控制群体矩间隙,在基准测试中提升预测性能、平均 PID 估计值及 InterSHAP 交互归因。 代码已开源,论文已被 IEEE TPAMI 录用。
研究者提出 Concertina 这一具身视觉语言模型(eVLM),将连续轨迹表征直接置于共享扩散 VLM 主干的计算与参数路径上,取代传统解耦架构。该 4.46B 模型中活跃动作投影仅占 0.21% 参数,无独立动作生成器层。
在 Qwen3-30B-A3B 模型中,基于稀疏自编码器(SAE)的分析表明 MoE 专家贡献度远集中於路由门控。 研究发现大多数潜在特征由一两个专家主导,形成如 Java 与前端代码、几何与算术等细粒度的分工。SAE 模型及代码已开源。
KOSMOS 是一种自调度持久内核库,通过基于消费者需求的队列动态切换通信与计算角色,消除了固定调度带来的空闲窗口。
研究在 Qwen3.8-27B 中验证了模型将关系模式与主题域分离,发现“原型”、“主题”和“语言”分别由不同神经元集承载。 预训练过程中,模型层自组织成“三明治”结构:外层处理语言,中层处理主题,核心层处理原型;该结构在映射的所有模型中均自发出现。 该结构被认为是类比智能的机制,论文已发布神经元集、文本及代码等复现包供他人验证。
SD-LoRA提出训练时结构蒸馏框架,通过图教师模型在训练阶段利用token级图推理,将其结构先验隐式蒸馏至轻量级CLIP-LoRA骨干中。 推理时丢弃图教师,仅需单次CLIP-LoRA前向传播及基于缓存的分类器,无额外图计算开销。 在11个少样本基准测试中,SD-LoRA相比强力CLIP-LoRA基线在1/2/4/8/16-shot设置下分别提升2.4/1.8/3.0/2.4/2.0个百分点。
研究者发布BrainPFN,一种基于先验数据拟合网络(Prior Data Fitted Networks)的脑-行为回归模型,在四个独立队列上超越了标准核岭回归(KRR)及规模大4至9倍的基础模型。