跳到正文
10月6日周二
  1. arXiv · AI22

    面向移动端实时直播聊天翻译的端侧模型实证研究:LiveChatBench 基准与五款设备评测

    一项实证研究针对移动端实时直播聊天翻译,手动构建了包含 1,000 组韩英平行句对的 LiveChatBench 基准,并在五款移动设备上系统评测了主流端侧模型。 研究聚焦端侧模型选型与各模型资源消耗,以及端侧模型在领域适配上的能力与潜力,同时考察了设备 CPU 占用率与发热状况等实际部署因素。 结果表明,将端侧模型适配到专门任务并服务大规模异构用户群时,模型选型与部署约束至关重要。

  2. arXiv · AI26

    混合语言模型记忆通路失衡:如何让循环层与注意力层协同工作

    研究发现,循环-注意力混合语言模型虽然同时具备注意力与循环两条记忆通路,却显著更依赖注意力,标准监督微调也无法改善这种失衡,反而让模型更依赖注意力传播的信息。 作者提出一种辅助损失,在循环状态传播完整序列时限制注意力对早期上下文的访问,从而促使模型通过循环通路保留和利用信息,在长上下文和信息聚合类任务上提升尤为明显。

  3. arXiv · AI27

    基于语言模型的证据保留归属路由实现词级文本解混

    研究者提出证据保留归属路由(EPOR),将来源归属预测与文本重建解耦,用因果 LLM 预测归属路径,配合受限解码与确定性索引重建,实现词级文本解混。 EPOR 在 UNMIXBENCH 五个评测赛道上,4B 模型取得微调基线中最低的平均最小排列词错误率,较紧凑来源数组生成降低 22.3%,并与零样本前沿 LLM 保持竞争力。 该方法在词汇证据完整可观测时,为直接生成提供了可靠替代方案。

  4. arXiv · AI22

    对称性与 AI 辅助发现魔法态工厂

    研究者用对称性约束与语言模型智能体搜索魔法态蒸馏协议,找到 699 个工厂类别,其中 564 个为新增。 方法将三正交码与直接电路搜索统一为二元矩阵形式,证明距离至少为三等价于非零且两两不同的 syndrome,并用群对称性与语言模型智能体缩小搜索空间后做确定性求解与独立验证。

  5. arXiv · AI22

    如何为建筑系统诊断支持选择节能的软件架构

    研究提出一种能耗模型,将故障检测与诊断(FDD)软件的性能与自身能耗共同纳入评估,比较了规则、模型、经典机器学习和基于大语言模型四类架构。结果显示,考虑计算能耗与准确率会改变各方法的相对优势:随机森林等高效机器学习方法在小型建筑上净节省最大,而微调大语言模型等资源密集型方法随建筑规模增大变得更有优势。整体能效取决于软件计算需求、诊断性能与建筑规模。

  6. arXiv · AI26

    面向可靠的婴儿姿态估计:用训练动态检测噪声标注

    研究者提出一种基于训练动态的噪声关键点检测框架,用于婴儿姿态估计,在自建数据集 NeoPose 上噪声关键点检测 F1-score 最高达 91.9%。 该方法训练一个卷积-注意力混合模型,从关键点空间坐标与局部视觉特征预测其解剖类别,再依据交叉熵训练动态生成逐关键点描述符,并通过无监督聚类划分干净与噪声子集。

  7. arXiv · AI22

    人工智能与新的文化科学:用嵌入向量和大模型测量认知与文化的共构

    一篇 arXiv 论文提出认知与文化是共构关系,并认为嵌入方法与大型生成模型首次提供了从微观认知到宏观社会结构测量这一共构过程的通用框架。 向量几何可还原个体概念结构、组织沟通与大规模意识形态,还能捕捉文本之外的多模态文化内容,并对独立发现同时出现等文化涌现现象给出可检验预测。

  8. arXiv · AI49

    稀疏自编码器(SAE)可被植入后门:不改动 LLM 即可操控输出

    研究者提出一种仅修改解码器的 SAE 后门,在 LLM 与 SAE 编码器均冻结的情况下,于单一插入层植入即可让模型产生攻击者指定的行为。 以代码生成为例,该攻击在三款语言模型和多种插入层上均实现高比例的主动代码插入,并可依提示词线索触发;用 HumanEval 和部分 SAEBench 指标评估发现,强后门行为可与多项常规 SAE 质量指标的微小变化共存。

  9. arXiv · AI24

    LightMTP:轻量级潜在多 token 预测

    LightMTP 是一种参数高效的潜在多 token 预测方法,直接从模型自身隐藏状态引导未来 token 表示,最多仅增加 1% 额外参数。 它无需传统 MTP 的额外计算开销,也不依赖外部辅助模型编码未来 token,两个变体将监督扩展到更多未来 token,在通用语言建模基准上保持更优表现,并在规划、编程和推理任务上取得相近增益。

  10. arXiv · AI22

    文本能否单独推断韵律风格?来自无监督声学聚类的证据

    一项研究用无监督声学聚类检验"文本足以选择韵律风格"这一假设,在 1,200 小时对话语料库的六位说话人上,文本嵌入对聚类 top-3 准确率仅比多数类基线高 +0.111。 词袋基线即达到该增益的四分之三,句嵌入仅额外贡献 +0.026,且在 360 种配置中声学聚类在文本嵌入空间均不紧凑。 研究认为文本主要通过词汇选择而非语义来提示韵律风格,无参考的风格选择不能假设更多。

  11. arXiv · AI26

    CrashSim:用真实事故先验生成人类行为驱动的碰撞场景,评估自动驾驶安全性

    CrashSim 是一个人类行为驱动的碰撞场景生成框架,利用真实世界事故先验引导多智能体交通仿真,更真实地复现碰撞前的演化过程与碰撞类型分布。 该框架构建了包含 4000 多个碰撞与近碰撞场景的 nuCrash 数据集,对五种自动驾驶规划器的闭环评估显示,nuCrash 比 nuScenes 更能暴露规划器安全能力差异,LLM 辅助评估智能体还可对失败进行能力级诊断并给出改进建议。

  12. arXiv · AI35

    BudgetAPO 如何在紧预算下优化提示词

    BudgetAPO 针对付费 API 的调用限制提出单阶段提示词优化方法,在七个基准和五个主体模型上均排名首位。 该方法通过噪声自适应规则调整评估切片,配合固定切片与反思算子,在 250 次调用下仅 13% 返回种子提示词。 相比 GEPA 在 GPT-OSS-20B 上需 4.5 倍调用次数才能达到 100 次调用分数,BudgetAPO 显著提升了效率。

  13. arXiv · ML38

    无数据在线策略蒸馏:没有外部数据能走多远?

    研究显示在线策略蒸馏(OPD)不依赖外部训练数据,8 个真实提示即可媲美 1.7 万题训练效果。 提出的无数据 OPD(DF-OPD)在单教师与多教师设置中,分别用 64 个自生成问题和 1000 个问题实现了可比性能。 这些发现促使重新评估训练数据在在线策略蒸馏中的作用,代码已公开可用。

  14. arXiv · ML38

    扩散模型强化学习:统一路径空间视角的设计框架

    该研究提出统一路径空间视角,将扩散模型的强化学习损失归源于单一原则,证明了反向轨迹与正向匹配方法的差异实为方差缩减效果。 通过重要性采样推导策略梯度估计器,恢复了AWM和DiffusionNFT的前向匹配结构,并设计多样本KDE估计器与尺度受限权重函数族。 在SD3.5-M和Qwen-Image模型上的实验表明,该新配方相比先前扩散模型强化学习基线具有性能提升。

  15. arXiv · ML33

    Gefen:通过共享二阶矩与量化一阶矩优化 AdamW 优化器内存

    Gefen 提出一种内存高效的优化器,通过自动共享二阶矩估计并量化一阶矩,将 AdamW 的优化器内存占用降低至多 8 倍,每百亿参数节省 6.5 GiB。 该优化器利用混合 Hessian 结构推断参数块,无需架构元数据,采用精确直方图动态规划量化码本。在预训练实验中,Gefen 在保持 AdamW 性能的同时,支持更大的微批次并显著提升训练吞吐量。

  16. arXiv · ML28

    MOSEL 框架:通过单遍反向传播学习 Pareto 驻点前沿

    MOSEL 提出一种多目标优化框架,能以标准单目标训练的计算成本恢复完整的 Pareto 驻点前沿。 该框架将问题重构为双级优化 Stackelberg 博弈,实现单次前向-反向传播求解,在公平性-准确性等强冲突场景下发现最优前沿。 实验表明其收敛解更靠近乌托邦点,优于单目标及多任务学习方法,有助于提升模型泛化能力。