有界神经架构能否实现直觉与审慎的分工?一项三段论推理基准研究
一项研究用经典 64 题三段论推理基准测试有界神经架构能否在直觉与审慎之间形成分工,实验 2 的双路径架构中审慎路径相关性达 r = 0.8152,显著高于直觉路径的 r = 0.7272(p = 0.0101)。
一项研究用经典 64 题三段论推理基准测试有界神经架构能否在直觉与审慎之间形成分工,实验 2 的双路径架构中审慎路径相关性达 r = 0.8152,显著高于直觉路径的 r = 0.7272(p = 0.0101)。
一项实证研究针对移动端实时直播聊天翻译,手动构建了包含 1,000 组韩英平行句对的 LiveChatBench 基准,并在五款移动设备上系统评测了主流端侧模型。 研究聚焦端侧模型选型与各模型资源消耗,以及端侧模型在领域适配上的能力与潜力,同时考察了设备 CPU 占用率与发热状况等实际部署因素。 结果表明,将端侧模型适配到专门任务并服务大规模异构用户群时,模型选型与部署约束至关重要。
研究者提出 UnivEARTH 编码基准,用 408 道来自 NASA Earth Observatory 的是/否问题测试 LLM 智能体能否可靠完成地球观测任务,覆盖 7 个主题、超过 15 种卫星仪器与数据源。
研究发现,循环-注意力混合语言模型虽然同时具备注意力与循环两条记忆通路,却显著更依赖注意力,标准监督微调也无法改善这种失衡,反而让模型更依赖注意力传播的信息。 作者提出一种辅助损失,在循环状态传播完整序列时限制注意力对早期上下文的访问,从而促使模型通过循环通路保留和利用信息,在长上下文和信息聚合类任务上提升尤为明显。
AffordCraft 通过检索而非生成的方式,从单张 RGB 图像和任务指令构建可仿真的关节物体资产,在 2000 张照片中为 1703 张生成物理有效资产,覆盖 31 个类别。
研究团队用 LLM 引导的程序演化工作流,在权重为 5 的双变量自行车(BB)与扰动双变量自行车(PBB)码中生成 1,142 个候选码,其中 1,081 个为非基线提案。
研究者提出证据保留归属路由(EPOR),将来源归属预测与文本重建解耦,用因果 LLM 预测归属路径,配合受限解码与确定性索引重建,实现词级文本解混。 EPOR 在 UNMIXBENCH 五个评测赛道上,4B 模型取得微调基线中最低的平均最小排列词错误率,较紧凑来源数组生成降低 22.3%,并与零样本前沿 LLM 保持竞争力。 该方法在词汇证据完整可观测时,为直接生成提供了可靠替代方案。
BrainTRACE 是一个报告锚定的脑部 MRI 视觉语言模型评测基准,包含 7,273 个 VQA 实例,源自 1,778 名纵向患者、7,299 次 MRI 检查和约 29k 个共配准 3D MRI 序列体积。
研究者用对称性约束与语言模型智能体搜索魔法态蒸馏协议,找到 699 个工厂类别,其中 564 个为新增。 方法将三正交码与直接电路搜索统一为二元矩阵形式,证明距离至少为三等价于非零且两两不同的 syndrome,并用群对称性与语言模型智能体缩小搜索空间后做确定性求解与独立验证。
Odyssey 是一个面向长时程驾驶的闭环基准,包含 100 个场景,每个场景由 100 秒的 nuPlan 驾驶日志重建,用于评估端到端驾驶中早期决策对后续行驶的影响。
研究提出掩码近迁移后测,让学生在被遮蔽导师话语的情况下解答未见变体题,从而只奖励学生自己写出的学习增益,并引入事实正确性与不直接给答案两道二元奖励门控。
研究提出一种能耗模型,将故障检测与诊断(FDD)软件的性能与自身能耗共同纳入评估,比较了规则、模型、经典机器学习和基于大语言模型四类架构。结果显示,考虑计算能耗与准确率会改变各方法的相对优势:随机森林等高效机器学习方法在小型建筑上净节省最大,而微调大语言模型等资源密集型方法随建筑规模增大变得更有优势。整体能效取决于软件计算需求、诊断性能与建筑规模。
研究者提出一种基于训练动态的噪声关键点检测框架,用于婴儿姿态估计,在自建数据集 NeoPose 上噪声关键点检测 F1-score 最高达 91.9%。 该方法训练一个卷积-注意力混合模型,从关键点空间坐标与局部视觉特征预测其解剖类别,再依据交叉熵训练动态生成逐关键点描述符,并通过无监督聚类划分干净与噪声子集。
研究者推出 SpatialChain 基准,用 28,350 条训练和 899 条测试样本,将 GQA 空间问题与场景图推理链配对,并采用链重叠指标与场景图感知 LLM 评判的双轴评估,审计 VLM 空间推理的忠实度。
论文首次系统刻画了在移动设备上微调十亿级参数 LLM 的完整训练过程,覆盖内存、单步耗时、发热与能耗。iPhone 17 Pro 可在一次充电内把 3B 参数 LLM 微调到接近典型用户,所得 adapter 的个性化效果与服务器端训练的 adapter 相当。
SciKGExtract 是一个 schema 引导框架,将大语言模型抽取与化学归一化、基于智能体的评估与精炼结合,再接入知识图谱。
在 LIBERO 基准上对 VLA 策略的 affordance head 接线方式做受控研究,发现 stop-gradient 是前提,否则策略性能从 93.1% 降至 85.5%。
一篇 arXiv 论文提出认知与文化是共构关系,并认为嵌入方法与大型生成模型首次提供了从微观认知到宏观社会结构测量这一共构过程的通用框架。 向量几何可还原个体概念结构、组织沟通与大规模意识形态,还能捕捉文本之外的多模态文化内容,并对独立发现同时出现等文化涌现现象给出可检验预测。
研究用 10 种语言、3000 道 MATH 题和 8 个开放权重模型配置,检验预生成成功探针的跨语言可靠性。英文训练的探针迁移后仍保留区分能力,但校准变差;等预算混合多语言监督可同时改善区分与校准。
研究发现针对 LLM 的训练数据提取(TDE)攻击可跨语言迁移:即使预训练数据只含英文提示,用意大利语、西班牙语、法语、德语翻译后的提示仍能成功提取出社交媒体账号、邮箱和电话号码等 PII。
研究者提出一种仅修改解码器的 SAE 后门,在 LLM 与 SAE 编码器均冻结的情况下,于单一插入层植入即可让模型产生攻击者指定的行为。 以代码生成为例,该攻击在三款语言模型和多种插入层上均实现高比例的主动代码插入,并可依提示词线索触发;用 HumanEval 和部分 SAEBench 指标评估发现,强后门行为可与多项常规 SAE 质量指标的微小变化共存。
研究者提出单编码器框架,结合双层去相关与原型引导跨群体对比学习,在 CheXpert 的 34,809 张测试图像、八个交叉群体上降低人口统计学依赖,平均 equalized-odds 差距从 15.41% 降至 10.86%,AUC 差距从 5.95% 降至 5.01%。
LightMTP 是一种参数高效的潜在多 token 预测方法,直接从模型自身隐藏状态引导未来 token 表示,最多仅增加 1% 额外参数。 它无需传统 MTP 的额外计算开销,也不依赖外部辅助模型编码未来 token,两个变体将监督扩展到更多未来 token,在通用语言建模基准上保持更优表现,并在规划、编程和推理任务上取得相近增益。
论文提出 One-stage Policy Optimization(OnePO),把教师输出当作策略改进的临时引导,通过 Adaptive Objective Evolution 加强对低概率教师 token 的学习。
推荐理由:论文提出 OnePO 单阶段策略优化,用 20K 样本在 HealthBench 上超过 SFT+RL 与纯 RL,并开源 HuatuoGPT-3 系列。
研究发现,单独通过安全审查的良性 Agent 技能在组合后即可诱发恶意行为,现有安全评估因孤立审查技能而忽视了组合风险。
视频生成模型在能力与成本上差异显著,研究团队提出个性化视频生成路由器 TasteRoute,基于输入请求、用户偏好与生成预算联合选择生成器,在文生视频与图生视频场景中偏好路由表现与强基线相当,同时降低平均生成成本。
研究者提出 Infinite-Dreamer,一种基于像素级图像编辑世界模型的免模拟数据合成方法,将 GUI 状态转移建模为图像编辑任务,用 VLM 生成结构化 delta-text 并微调图像编辑骨干网络合成真实截图过渡。
研究者提出 Curriculum Brain,一个双仓库系统,用版本化知识库加 11 个单一职责智能体组成的流水线,从官方课程文档生成候选概念-技能映射,并与从教材独立抽取的概念-技能图比对,实现自我修复、仅在无法解决时才升级人工。
一项基于语言模型的智能体租房市场模拟显示,执行型 AI 助手在卖家定价冻结时可为采用者每天每租客节省 13.7 美元,但卖家适应后约三分之一收益被收回,仅剩 8.7 美元。
研究团队提出 CLARA,一个基于认知的儿童叙事发展理解框架,通过认知(COG)、语言(LAN)和社会情感(SEL)三个维度的结构化标注来评估故事的发展适宜性。
一项研究用无监督声学聚类检验"文本足以选择韵律风格"这一假设,在 1,200 小时对话语料库的六位说话人上,文本嵌入对聚类 top-3 准确率仅比多数类基线高 +0.111。 词袋基线即达到该增益的四分之三,句嵌入仅额外贡献 +0.026,且在 360 种配置中声学聚类在文本嵌入空间均不紧凑。 研究认为文本主要通过词汇选择而非语义来提示韵律风格,无参考的风格选择不能假设更多。
CrashSim 是一个人类行为驱动的碰撞场景生成框架,利用真实世界事故先验引导多智能体交通仿真,更真实地复现碰撞前的演化过程与碰撞类型分布。 该框架构建了包含 4000 多个碰撞与近碰撞场景的 nuCrash 数据集,对五种自动驾驶规划器的闭环评估显示,nuCrash 比 nuScenes 更能暴露规划器安全能力差异,LLM 辅助评估智能体还可对失败进行能力级诊断并给出改进建议。
BudgetAPO 针对付费 API 的调用限制提出单阶段提示词优化方法,在七个基准和五个主体模型上均排名首位。 该方法通过噪声自适应规则调整评估切片,配合固定切片与反思算子,在 250 次调用下仅 13% 返回种子提示词。 相比 GEPA 在 GPT-OSS-20B 上需 4.5 倍调用次数才能达到 100 次调用分数,BudgetAPO 显著提升了效率。
研究显示在线策略蒸馏(OPD)不依赖外部训练数据,8 个真实提示即可媲美 1.7 万题训练效果。 提出的无数据 OPD(DF-OPD)在单教师与多教师设置中,分别用 64 个自生成问题和 1000 个问题实现了可比性能。 这些发现促使重新评估训练数据在在线策略蒸馏中的作用,代码已公开可用。
该研究提出统一路径空间视角,将扩散模型的强化学习损失归源于单一原则,证明了反向轨迹与正向匹配方法的差异实为方差缩减效果。 通过重要性采样推导策略梯度估计器,恢复了AWM和DiffusionNFT的前向匹配结构,并设计多样本KDE估计器与尺度受限权重函数族。 在SD3.5-M和Qwen-Image模型上的实验表明,该新配方相比先前扩散模型强化学习基线具有性能提升。
Gefen 提出一种内存高效的优化器,通过自动共享二阶矩估计并量化一阶矩,将 AdamW 的优化器内存占用降低至多 8 倍,每百亿参数节省 6.5 GiB。 该优化器利用混合 Hessian 结构推断参数块,无需架构元数据,采用精确直方图动态规划量化码本。在预训练实验中,Gefen 在保持 AdamW 性能的同时,支持更大的微批次并显著提升训练吞吐量。
TIDES 通过移动输入依赖性解决了选择性 SSM 无法处理不规则时间序列的问题。 它保留 $\tilde{\Delta}\equiv\Delta$,兼顾了逐 token 表达力。 在 UEA 和 Physiome 基准上取得了新的最佳平均排名。
提出 ProDER 方法,解决智能电网故障诊断模型新故障类型出现时的灾难性遗忘问题。该方法结合原型吸引、温度缩放蒸馏及原型感知回放,在 IEEE 13 节点测试馈线场景中平均准确率达 58.2%。
LinearPFN 是一种先验数据拟合的 Transformer 网络,将含主效应与成对交互项的线性模型中的 spike-and-slab 推断摊销,单次前向传播即可输出后验包含概率、后验均值系数和后验预测分布,无需逐数据集拟合。
MOSEL 提出一种多目标优化框架,能以标准单目标训练的计算成本恢复完整的 Pareto 驻点前沿。 该框架将问题重构为双级优化 Stackelberg 博弈,实现单次前向-反向传播求解,在公平性-准确性等强冲突场景下发现最优前沿。 实验表明其收敛解更靠近乌托邦点,优于单目标及多任务学习方法,有助于提升模型泛化能力。