LLaVA-CKD:面向视觉语言模型的自底向上级联知识蒸馏框架
针对视觉语言模型部署中算力与内存瓶颈,提出自底向上级联知识蒸馏框架,通过引入中间容量教师模型逐步缩小师生网络能力差距。 该框架基于 LLaVA 方法论构建模型,并在七个标准 VQA 基准上评估,展现出与近期紧凑视觉语言模型相竞争的推理性能,源码及训练模型已公开。
针对视觉语言模型部署中算力与内存瓶颈,提出自底向上级联知识蒸馏框架,通过引入中间容量教师模型逐步缩小师生网络能力差距。 该框架基于 LLaVA 方法论构建模型,并在七个标准 VQA 基准上评估,展现出与近期紧凑视觉语言模型相竞争的推理性能,源码及训练模型已公开。
研究发现,Llama-3.1-8B 等四个开源模型在事实问答中,答案在特定层收敛至共享的“答案质心”区域,该状态在 47%-71% 的网络深度处跳变。 将错误答案状态移至正确质心可让模型在 83%-97% 的案例中输出正确答案,且该信号比模型自信度更具信息量,揭示了答案生成的内部机制。
研究发现 DeepSeek-R1-Distill-LLaMA-8B 中的思维链(CoT)显著干扰激活引导对拒止行为的控制。 固定 CoT 时引导仅反转 39% 拒止案例,移除 CoT 后升至 70%;两阶段干预反转率达 94%,且生成的 CoT 即使停止引导仍保留 48% 效果。 这表明 LRM 拒止由残差流与 CoT 共同编码,增强了抗攻击性但暴露了 CoT 作为新攻击面的风险。
单颗头戴相机(122 美元)替代腕部相机及位姿追踪器,配合无电子元件手套(22 美元)实现 6-DoF 位姿抓取。 在机器人部署时,同款相机安装于 120 美元机械臂上模拟采集者头部视角。基于该方案训练的模型在 25 次试验中成功 20 次,优于腕部相机方案的 15 次。
自适应多 token 预测(AMTP)方法将解码速度最高提升 4.1 倍,且在 10 种设置中的 8 种匹配或超越固定窗口性能。 该方法基于 Llama-3.1-8B-Instruct、Medusa 头及 Qwen3-4B-Inst-2507-MTP 构建,在 AIME 2025 和 GSM8K 上评估,吞吐量最高提升 10%。
Google 与 Meta 开源合作推出 TorchTPU,作为 Google TPU 的原生 PyTorch 后端,实现模型的原生执行与无缝迁移。 它通过 eager 执行优化、torch.compile 集成及硬件加速,提供具有行业竞争力的推理和训练性能。
研究揭示 LLM 抑制 Nash 博弈机制源于字面触发的合作覆盖电路,而非能力缺失。Llama-3-70B、Qwen2.5-32B/72B 在囚徒困境中实现完全合作,Llama-3-8B 接近 Nash 均衡。 8B 模型中该电路为单一因果可控方向,Spearman rho 达 1.000;但在中性标签或随机收益场景下失效,表明机制高度依赖特定词表。
研究显示,LLM-as-a-service 市场存在社会低效率,云服务商有动力增加测试时算力投入,即便这很少提升输出质量。 为纠正此偏差,文章提出一种反向第二价格拍卖机制:服务商就价格与预期质量竞价,用户按中标方相对第二高投标方的边际价值比例付费。 实验在 Llama、Qwen 及 DeepSeek-R1 蒸馏模型上验证该机制,测试数据集涵盖数学与科学基准。
D-STEER 审计证实,DPO 引入的安全行为在激活空间中可通过推理时干预实现双向控制。在 Mistral-7B 模型中,安装干预恢复了 98% 的安全效应差距,其余三组干预恢复率为 46-50%。 该结果表明,DPO 诱导的安全行为并非深层固化,而是保留了对紧凑推理时干预的可控性,且效果取决于具体的检查点配对和引导实现方式。
该系统将冻结权重矩阵乘积移至手机 NPU,保持训练图和 LoRA 适配器在 CPU 运行。 输入梯度内核复用常驻权重瓦片,通过基于梯度敏感度的精度选择和行级范围保护保持 FP16 输出精度。 在两款 Qualcomm Snapdragon 平台上使用 Qwen 和 Llama 模型验证,支持夜间个性化微调。
PeekKV 通过预填充后观察单个内容 token 获取分数,动态分配 KV 缓存预算。 该方法无需离线剖析或训练,支持未见工作负载。在 Llama-3.1-8B-Instruct 上,10% 内存预算下 RULER 准确率保留 95.7%,1.5% 预算下 LongBench 保留 95.9%。 其在多项基准测试中优于现有方法,显著降低 LLM 服务内存瓶颈。
在 BIRD 开发集上,Qwen2.5-Coder-32B 自托管执行准确率最高达 54.9%,CodeLlama-13B 为 26.3%。 自纠正技术是唯一带来一致增益的方法,提升 1.2 至 4.4 个百分点;Schema 链接和自一致性未显示显著效果。 该研究验证了自托管开源模型在无法使用云 API 场景下的 Text-to-SQL 能力边界。
CompactAttention 是一种基于 Block-Union KV 选择的分块预填充注意力机制,在 LLaMA-3.1-8B-Instruct 上 128K 上下文长度下实现最高 2.79 倍注意力加速。
研究发现,TII Falcon 7B Instruct、Gemma 7B 等开源 LLM 在重复囚徒困境中普遍比人类更合作,尤其在随机伙伴环境下,人类平均合作率为 28.5% 时,部分模型超过 80%。 Qwen-2.5-7B-Instruct 表现确定性强,Phi-mini-MoE-Instruct 变异性大且短暂接近人类水平。这些 LLM 具备行为模拟代理潜力,但目前尚不可靠地替代人类参与者。
2026 年 1 至 9 月,SageMaker JumpStart 新增超过 100 个模型,来自 30 家提供商。 重点纳入 Alibaba(Qwen)29 个模型、NVIDIA 17 个模型及 Mistral 7 个模型,支持 LoRA、SFT、DPO 等微调技术。 强化多模态与高效推理能力,提供量化模型如 GLM-5.2 FP8 和 MiniCPM5-1B。
研究提出基于 LLM token 概率的方法,通过指定候选 L1 前缀对文本评分来推断母语背景。 该方法在 TOEFL9 等三个数据集上使用 Llama 3.1 8B 和 70B 模型进行评估,结果显示 token 概率评分显著优于直接分类,其中 70B 模型在所有数据集上均达到 SOTA 性能。 这表明预训练 LLM 的 token 概率包含可用于区分 L2 英语生产中 L1 背景的信息。
Meta 提出针对 AMD Instinct MI350X 的端到端协同设计方案,使推荐模型训练吞吐量相比直接移植的 NVIDIA B200 基线提升高达 1.5 倍。
LLM后训练中对称奖励聚合会导致主任务性能下降,尽管总奖励提升。论文提出Trust-Anchored Gating (TAG) 机制,在Qwen3-4B模型上将pass@4从0.220提升至0.581,同时将响应长度缩短44%。
研究利用包含 65 个语义属性的可解释表示 SCRIBE,解构 LLaMA2-7B 的脑预测对齐。在 7 名受试者 fMRI 数据中,LLM 与 SCRIBE 的共享方差是脑预测的主要成分。具体语义属性显示出比抽象属性更高的共享方差,证明 LLM 对齐包含可解释语义信息。
Meta 提出智能体 RCA 系统 Diviner,采用四阶段可靠性生命周期。 Encode 阶段结合历史事件与领域专家知识生成版本化技能与工作流,解决通用 LLM 上下文陈旧及误读失败查询问题。 Evaluate 阶段通过回放和人工审批校验证据链接假设,确保系统状态报告的准确性与可操作性。
新框架 ORL 将在线策略残差学习应用于扩散语言模型,基于 Qwen3-4B 转换的 4B DLM 实现最高 6.2 倍 tokens per forward 提升。
Meta 开源代码模型 Muse Spark Open 现已接入 Amazon SageMaker JumpStart,支持 100 万 token 上下文窗口。
Meta 发布 816B 参数的开源权重多模态 MoE 大模型 Muse Spark Open,每 token 激活约 42B 参数,支持文本、图像、音频和视频输入,上下文窗口达 1M token。文章详细介绍其架构与部署方案,提供 transformers、llama.cpp、vLLM 和 SGLang 的运行及微调示例,演示代码编写和浏览器操作等智能体任务。
推荐理由:文章给出了模型架构、部署方案和微调方法,方便开发者评估其实际可用性和算力门槛。
论文提出以仓库为中心学习(RCL),训练 4B 参数小型模型 SWE-Spot-4B,在七个目标代码库上性能优于同等预算的以任务为中心学习(TCL)模型。 该模型性能可比肩或超越 Meta CWM、Qwen3-Coder-30B 等 8 倍参数量的开源模型,以及 GPT-4.1-mini 等商用效率模型,并具备更高的训练与推理效率。
大语言模型安全评估通常依赖单次测试,但研究证实其拒绝行为具有不稳定性。针对 Llama 3.1 8B 等四个模型在 876 个有害提示词上的测试显示,18%-28% 的提示词在不同采样配置下会发生拒绝/部分/服从标签翻转。
在200-600 token序列中,扩散模型(LLaDA-8B, Dream-7B)能耗为2.5-2.7 J/token,约为带KV-cache的自回归模型(5.3-5.7 J/token)的2倍效率。 自回归模型在长序列中通过KV-cache实现50-70%的能耗降低。
提出Titan-Llama后训练方法,改造预训练注意力模型以支持长上下文高效推理。 该方法采用分层记忆架构,在测试时更新参数,将历史上下文压缩为固定大小的神经记忆模块(NMM)。 在Llama-3.2-1B-Instruct上,显著提升了QuALITY和LongHealth基准测试的准确率,并降低了内存使用。
该研究对 8 个 LLM 进行零样本基准测试,GPT-5.6 Luna 领先英文词汇指标,LLaMA 3.3 70B 取得最高 ROUGE 和 BLEU,Gemini 2.5 Flash 获最高孟加拉语事实性分数。 测试采用词法、语义指标及 LLM-as-a-Judge 评估,结果显示不同方法产生不同排名,单一指标存在局限。 这凸显了面向低资源语言需采用综合评估框架的必要性。
ECLIPTICA 框架通过 CITA 技术实现 LLM 运行时可切换对齐,在 Llama-3.1-8B 上 CITA 指令对齐效率达 86.7%,显著优于 DPO、GRPO 及 PPO。
研究人员提出双诊断框架,揭示LLM代码推理在答案自解码前数层即可线性恢复的“酝酿”机制,并识别出四种解决结果。 该框架应用于Qwen、Llama和DeepSeek架构下的16个模型,发现整体解决率仅为41.5%,且解决时长标准化后稳定在24-42%区间。 此研究表明表面准确率掩盖了根本不同的失效模式,为理解模型内部推理过程提供了可量化的实证规律。
NARCBench 基准提出 5 种探测技术,通过聚合单智能体欺骗分数实现多智能体串谋检测。 评估覆盖 Qwen3-32B、Llama-3.1-70B 等 4 个开源模型,Llama-3.1-70B 零样本迁移 AUROC 达 0.73-0.93。 模型内部状态为文本级监测提供了互补信号,推动了多智能体可解释性研究。
在数学 RLVR 训练中,分布锐化导致难题覆盖范围收窄。DAHS 和 BHA 方法通过条件化提示和长度桶退火,解决了教师-学生分布不匹配及无提示评估适应性问题。 该方法在 Qwen3 模型上提升了 AIME 的 pass@1 和 pass@2048 分数。 它有效缓解了 DAPO 框架下难题覆盖范围的收缩。
研究提出无数据、免训练的 SPACE 方法,利用预微调权重主子空间选择性回退微调更新,解决领域外能力退化。 该后处理技术适用于 Qwen2.5、Llama-3.1 等 2B 至 14B 模型,在数学任务中显著提升了模型表现。 例如 Qwen2.5-7B 在数学领域的领域内与领域外分别平均提升 2.85 和 2.26 分。
研究表明人类与 GPT-4 等大语言模型在字面理解上高度对齐,但在习语和 Z 世代俚语等深层表征上存在显著差异。研究对比了 4 个模型对 240 个句子在 6 种语言特征上的评分,发现 GPT-4 与人类对齐度最高。 使用 Gemma 系列模型测试发现,模型规模的增加并未显著改变其表征相似性模式。
FailureSensorIQ 是一个评估 LLM 工业 4.0 推理能力的多选择题(MCQA)基准。 该基准测试了 GPT-4、Llama 和 Mistral 等十余款模型,分析发现即使强推理模型也易受干扰且存在知识缺口。 论文提出了 LLMFeatureSelector 特征选择流水线,并在 Hugging Face 开放了排行榜。
研究者将LLM自回归解码过程定义为鞅,并推导出其可预测二次变差项的闭合表达式,该值仅由已实现token概率决定。 在Llama-3.x和Qwen2.5系列模型(1B至72B参数)上进行的白盒实验验证了该理论预测。 这为LLM生成文本检测与不确定性量化提供了严密的数学基础。
RIFT 通过计算 Decoder 层中 Token 到答案的最短路径电阻来评估其影响力,无需梯度或额外前向传播。 该工具在 Qwen3 和 Llama 3.2 上以 0.23-0.88 的均值优势超过 Attention Rollout 等基线方法,单个 Token 评分仅需 0.9-3.4 ms。
一项新研究在移除消息数限制的 CTI-REALM 基准测试中发现,开源权重模型在将威胁情报转化为检测规则的任务中表现优于部分闭源模型。评估涵盖 26 个模型,结果显示在解除限制后,开源模型的奖励分数最高,且不同模型在任务不同阶段表现各异,建议根据阶段路由而非单一总分选择模型。
NVIDIA在OCP全球峰会上宣布将Vera Rubin机架与计算托盘设计通过开源NVIDIA MGX架构贡献给OCP,为AI工厂基础设施提供统一开放基础。NVIDIA与AMD、Google、Meta共同发布了开放数据中心规范v0.7和OCP电网韧性规范,定义了下一代AI工厂的设施设计蓝图及电网扰动下的恢复标准。
该基准包含 208,095 个人工撰写的提示词,要求攻击需绕过生产级防御并触发工具调用。Meta SecAlign 模型仍存在 32% 的攻击成功率,且攻击在代码任务中可迁移。 论文被 EMNLP 2026 录用,旨在推动对动态、高保真提示注入攻击的评估,填补现有基准饱和的空白。