跳到正文
10月21日周三
  1. arXiv · AI26

    LLaVA-CKD:面向视觉语言模型的自底向上级联知识蒸馏框架

    针对视觉语言模型部署中算力与内存瓶颈,提出自底向上级联知识蒸馏框架,通过引入中间容量教师模型逐步缩小师生网络能力差距。 该框架基于 LLaVA 方法论构建模型,并在七个标准 VQA 基准上评估,展现出与近期紧凑视觉语言模型相竞争的推理性能,源码及训练模型已公开。

  2. arXiv · AI35

    研究揭示 DeepSeek-R1-Distill-LLaMA-8B 中思维链干扰简单拒止引导

    研究发现 DeepSeek-R1-Distill-LLaMA-8B 中的思维链(CoT)显著干扰激活引导对拒止行为的控制。 固定 CoT 时引导仅反转 39% 拒止案例,移除 CoT 后升至 70%;两阶段干预反转率达 94%,且生成的 CoT 即使停止引导仍保留 48% 效果。 这表明 LRM 拒止由残差流与 CoT 共同编码,增强了抗攻击性但暴露了 CoT 作为新攻击面的风险。

  3. arXiv · AI35

    单颗头戴相机取代腕部相机与位姿追踪器:无电子元件 UMI 手套数据采集新方案

    单颗头戴相机(122 美元)替代腕部相机及位姿追踪器,配合无电子元件手套(22 美元)实现 6-DoF 位姿抓取。 在机器人部署时,同款相机安装于 120 美元机械臂上模拟采集者头部视角。基于该方案训练的模型在 25 次试验中成功 20 次,优于腕部相机方案的 15 次。

10月20日周二
  1. arXiv · ML41

    LLM 中的合作覆盖电路如何抑制 Nash 博弈行为

    研究揭示 LLM 抑制 Nash 博弈机制源于字面触发的合作覆盖电路,而非能力缺失。Llama-3-70B、Qwen2.5-32B/72B 在囚徒困境中实现完全合作,Llama-3-8B 接近 Nash 均衡。 8B 模型中该电路为单一因果可控方向,Spearman rho 达 1.000;但在中性标签或随机收益场景下失效,表明机制高度依赖特定词表。

  2. arXiv · ML29

    LLM 服务市场中的测试时算力博弈:非效率性与反向第二价格拍卖机制

    研究显示,LLM-as-a-service 市场存在社会低效率,云服务商有动力增加测试时算力投入,即便这很少提升输出质量。 为纠正此偏差,文章提出一种反向第二价格拍卖机制:服务商就价格与预期质量竞价,用户按中标方相对第二高投标方的边际价值比例付费。 实验在 Llama、Qwen 及 DeepSeek-R1 蒸馏模型上验证该机制,测试数据集涵盖数学与科学基准。

  3. arXiv · ML42

    D-STEER 揭示 DPO 安全行为在激活空间中的双向可控性

    D-STEER 审计证实,DPO 引入的安全行为在激活空间中可通过推理时干预实现双向控制。在 Mistral-7B 模型中,安装干预恢复了 98% 的安全效应差距,其余三组干预恢复率为 46-50%。 该结果表明,DPO 诱导的安全行为并非深层固化,而是保留了对紧凑推理时干预的可控性,且效果取决于具体的检查点配对和引导实现方式。

  4. arXiv · ML23

    PeekKV:基于内容 token 动态分配 KV 缓存预算

    PeekKV 通过预填充后观察单个内容 token 获取分数,动态分配 KV 缓存预算。 该方法无需离线剖析或训练,支持未见工作负载。在 Llama-3.1-8B-Instruct 上,10% 内存预算下 RULER 准确率保留 95.7%,1.5% 预算下 LongBench 保留 95.9%。 其在多项基准测试中优于现有方法,显著降低 LLM 服务内存瓶颈。

  5. arXiv · NLP40

    开源 LLM 在 BIRD 数据集上的 Text-to-SQL 性能基准测试

    在 BIRD 开发集上,Qwen2.5-Coder-32B 自托管执行准确率最高达 54.9%,CodeLlama-13B 为 26.3%。 自纠正技术是唯一带来一致增益的方法,提升 1.2 至 4.4 个百分点;Schema 链接和自一致性未显示显著效果。 该研究验证了自托管开源模型在无法使用云 API 场景下的 Text-to-SQL 能力边界。

  6. arXiv · NLP38

    大语言模型如何建模囚徒困境中的人类行为

    研究发现,TII Falcon 7B Instruct、Gemma 7B 等开源 LLM 在重复囚徒困境中普遍比人类更合作,尤其在随机伙伴环境下,人类平均合作率为 28.5% 时,部分模型超过 80%。 Qwen-2.5-7B-Instruct 表现确定性强,Phi-mini-MoE-Instruct 变异性大且短暂接近人类水平。这些 LLM 具备行为模拟代理潜力,但目前尚不可靠地替代人类参与者。

  7. AWS Machine Learning Blog37

    Amazon SageMaker JumpStart 2026 年度回顾:新增超 100 个模型,覆盖 30 家提供商

    2026 年 1 至 9 月,SageMaker JumpStart 新增超过 100 个模型,来自 30 家提供商。 重点纳入 Alibaba(Qwen)29 个模型、NVIDIA 17 个模型及 Mistral 7 个模型,支持 LoRA、SFT、DPO 等微调技术。 强化多模态与高效推理能力,提供量化模型如 GLM-5.2 FP8 和 MiniCPM5-1B。

10月19日周一
  1. arXiv · NLP26

    利用 LLM Token 概率从 L2 英语推断 L1 背景

    研究提出基于 LLM token 概率的方法,通过指定候选 L1 前缀对文本评分来推断母语背景。 该方法在 TOEFL9 等三个数据集上使用 Llama 3.1 8B 和 70B 模型进行评估,结果显示 token 概率评分显著优于直接分类,其中 70B 模型在所有数据集上均达到 SOTA 性能。 这表明预训练 LLM 的 token 概率包含可用于区分 L2 英语生产中 L1 背景的信息。

10月16日周五
  1. arXiv · AI23

    利用 SCRIBE 解构 LLaMA2-7B 的脑-LLM 对齐

    研究利用包含 65 个语义属性的可解释表示 SCRIBE,解构 LLaMA2-7B 的脑预测对齐。在 7 名受试者 fMRI 数据中,LLM 与 SCRIBE 的共享方差是脑预测的主要成分。具体语义属性显示出比抽象属性更高的共享方差,证明 LLM 对齐包含可解释语义信息。

  2. arXiv · AI37

    Diviner:Meta 基于人类治理自适应的大规模基础设施智能体 RCA 系统

    Meta 提出智能体 RCA 系统 Diviner,采用四阶段可靠性生命周期。 Encode 阶段结合历史事件与领域专家知识生成版本化技能与工作流,解决通用 LLM 上下文陈旧及误读失败查询问题。 Evaluate 阶段通过回放和人工审批校验证据链接假设,确保系统状态报告的准确性与可操作性。

  3. Hugging Face Blog91

    Meta 发布开源权重多模态大模型 Muse Spark Open

    Meta 发布 816B 参数的开源权重多模态 MoE 大模型 Muse Spark Open,每 token 激活约 42B 参数,支持文本、图像、音频和视频输入,上下文窗口达 1M token。文章详细介绍其架构与部署方案,提供 transformers、llama.cpp、vLLM 和 SGLang 的运行及微调示例,演示代码编写和浏览器操作等智能体任务。

    推荐理由:文章给出了模型架构、部署方案和微调方法,方便开发者评估其实际可用性和算力门槛。

10月15日周四
  1. arXiv · NLP39

    SWE-Spot: 基于以仓库为中心学习的专用小型代码专家

    论文提出以仓库为中心学习(RCL),训练 4B 参数小型模型 SWE-Spot-4B,在七个目标代码库上性能优于同等预算的以任务为中心学习(TCL)模型。 该模型性能可比肩或超越 Meta CWM、Qwen3-Coder-30B 等 8 倍参数量的开源模型,以及 GPT-4.1-mini 等商用效率模型,并具备更高的训练与推理效率。

  2. arXiv · NLP25

    多语言摘要 LLM 评估:GPT-5.6 Luna 未保持孟加拉语优势

    该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。

10月14日周三
  1. arXiv · AI31

    追踪LLM代码推理的内部生命周期:从酝酿到解决的诊断框架

    研究人员提出双诊断框架,揭示LLM代码推理在答案自解码前数层即可线性恢复的“酝酿”机制,并识别出四种解决结果。 该框架应用于Qwen、Llama和DeepSeek架构下的16个模型,发现整体解决率仅为41.5%,且解决时长标准化后稳定在24-42%区间。 此研究表明表面准确率掩盖了根本不同的失效模式,为理解模型内部推理过程提供了可量化的实证规律。

  2. arXiv · NLP30

    在数学 RLVR 中通过分布对齐提示合成与反向提示退火缓解分布锐化

    在数学 RLVR 训练中,分布锐化导致难题覆盖范围收窄。DAHS 和 BHA 方法通过条件化提示和长度桶退火,解决了教师-学生分布不匹配及无提示评估适应性问题。 该方法在 Qwen3 模型上提升了 AIME 的 pass@1 和 pass@2048 分数。 它有效缓解了 DAPO 框架下难题覆盖范围的收缩。

  3. arXiv · ML23

    监督微调的几何校准:SPACE 方法提升领域内与领域外性能

    研究提出无数据、免训练的 SPACE 方法,利用预微调权重主子空间选择性回退微调更新,解决领域外能力退化。 该后处理技术适用于 Qwen2.5、Llama-3.1 等 2B 至 14B 模型,在数学任务中显著提升了模型表现。 例如 Qwen2.5-7B 在数学领域的领域内与领域外分别平均提升 2.85 和 2.26 分。

  4. arXiv · NLP23

    人类与大语言模型中比喻性语言的表征相似性对齐

    研究表明人类与 GPT-4 等大语言模型在字面理解上高度对齐,但在习语和 Z 世代俚语等深层表征上存在显著差异。研究对比了 4 个模型对 240 个句子在 6 种语言特征上的评分,发现 GPT-4 与人类对齐度最高。 使用 Gemma 系列模型测试发现,模型规模的增加并未显著改变其表征相似性模式。

  5. arXiv · AI52

    arXiv 论文:无约束 CTI-REALM 下开源权重模型性能评估

    一项新研究在移除消息数限制的 CTI-REALM 基准测试中发现,开源权重模型在将威胁情报转化为检测规则的任务中表现优于部分闭源模型。评估涵盖 26 个模型,结果显示在解除限制后,开源模型的奖励分数最高,且不同模型在任务不同阶段表现各异,建议根据阶段路由而非单一总分选择模型。

10月12日周一
  1. arXiv · AI49

    LLMail-Inject 数据集发布,揭示 GPT-4o 等模型在面对自适应提示注入攻击时高达 58% 的攻击成功率。

    该基准包含 208,095 个人工撰写的提示词,要求攻击需绕过生产级防御并触发工具调用。Meta SecAlign 模型仍存在 32% 的攻击成功率,且攻击在代码任务中可迁移。 论文被 EMNLP 2026 录用,旨在推动对动态、高保真提示注入攻击的评估,填补现有基准饱和的空白。