自回归语言建模的两个原则
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
Meta 在 LLM 推理流量整形器中实施 Cap-and-Track 设计,通过异步调度优化服务集群扩容与请求大小变化的处理。 该设计利用拒绝信号探测容量上限,在并发生产 A/B 测试中,使用比固定速率少 43% 的 H100 提供服务。 该系统每日处理超 3 亿在线请求,最高 24 小时处理 11 亿请求。
FACT 框架通过跨步训练与置信度引导分配,将 Llama-3-8B-Instruct 在 HumanEval 上的加速比从 1.46× 提升至 2.02×,MT-Bench 从 1.31× 升至 1.75×。
研究者提出针对多语言 LLM 对齐的元学习框架,利用跨语言偏好数据实现低资源语言的高效适配。 该方法在仅有 100 个目标语言样本的极端低资源场景下,胜率较基线提升最高 33.4%,并被 NeurIPS 2026 接收。
预注册研究显示,4-bit 量化导致 Qwen2.5-3B 和 Llama-3.2-3B 的拒答行为出现相反偏移,且该变化取决于特定舍入误差而非比特数或似然。 Llama-3.2-3B 在越狱攻击下的顺从率降低 10.3 分,其半幅误差下顺从率仍降 5.8 分,而随机或高斯扰动平均影响接近零。 每个量化构建必须与其原始版本对比,因为 4-bit 量化下的拒答行为无法由通用指标预测。
在 Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上的审计显示,注意力头地图与标签盲响应长度地图的相关性高达 ρ = -0.950 和 -0.768,表面混淆因素显著。
基于 Llama-3.1-8B-Instruct 在 100 个人设上的实验表明,激活导向并非总是能替代提示词进行情感启动,其有效性取决于具体测量指标。 注入路径在感恩领域(beta ~ 2.7)可匹配真实提示效果,但会导致失控领域远端指标非对称偏移;且省略写作任务本身即会改变近端测量结果。 该研究揭示了情感诱导方式互换时的效度边界,提示不同操作化路径需分别验证有效性。
论文指出高温下 long-context 生成受限于采样器,测试 29 个开源模型后发现 top-nsigma 采样器能保持候选词池稳定,避免性能崩塌。在 temperature 2 下,top-p 和 top-k 采样器在 SWE-bench Verified 上解决 0/100 个 GitHub 问题,而 top-nsigma 解决 46 至 62 个。
Meta 提出标准模型模板(SMT)框架,通过组合标准化组件简化推荐系统中的模型构建。 SMT 将技术传播复杂度从 O(n·k) 降至 O(n+k),经五个全球开发周期验证,平均交叉熵提升 0.77%,在线指标累计提升 1.52%。 该方案使单模型迭代工程时间减少 92%,技术-模型对采用吞吐量提升 6.3 倍。
Meta 部署的 CLEAR 推荐架构将用户偏好转化为可检查、可修改的自然语言兴趣层,取代不可见的向量表示。 用户评价约 88.5% 的显示兴趣准确;离线测试中 3B 专用生成器 F1@10 达 0.3967,优于 Gemini 2.5 Pro。 该系统已在 Instagram 和 Facebook 运行超一年,支持用户对推荐兴趣进行纠正和引导。
研究发现大语言模型中存在基于对比的“颗粒度轴”,该轴在角色空间的主导几何中保持稳定。在Qwen3-8B模型中,该轴与第一主成分(PC1)的余弦相似值为0.972,解释了52.6%的方差。
BitBypass 是一种利用比特流伪装的 Black-box 越狱攻击,在 GPT-4o、Claude 3.5 等 5 个模型上成功生成有害内容。 它利用数据的连续比特表示而非提示词工程,在隐蔽性和攻击成功率上优于多种 SOTA 越狱方法。 结果凸显了该攻击的高效性,并揭示了对齐 LLM 安全性的脆弱性。
研究利用稀疏自编码器与PERC框架,分析36,081条LinkedIn早期职业招聘启事。 采用GPT-6 Luna分类文本,提取Llama-3.1-8B-Instruct层19特征,揭示不同技术角色的语义差异。 表明自动化洞察提取可有效支持对非结构化职位描述的人工分析。
SurveyWeave 提出一种智能体架构,将自动综述生成解耦为四个任务,由三个智能体协作完成,并引入 WeaveEval 评估指标。 该框架在全面对比中,比 Codex 高出 8 分,比最强 AutoSurvey 基线高出 6 分。
研究提出“知识回答分歧”(KAD)协议,用于区分语言模型在错误信息采纳后的持久、恢复与弃权行为。 该协议在首次明确采纳虚假目标时冻结对话并分支独立探针。在修正的 Llama 3.2 Instruct 3B 中,中性历史分支正确率为 42/46,而完整历史下仅为 16/46。
研究分析了WildChat数据集中14,727条安全隐私提示,发现GPT 5.5在98%的提示下提供“足够好”的回答,显著优于Llama 4的47%表现。 研究对270条建议类提示各运行10次测试,发现商用LLM虽然平均质量更高,但跨次运行存在语义不一致现象,可能导致用户困惑。
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。
对 GPT、Claude、Gemini 等 17 个模型的 1,386 次对比未检测到疼痛管理中的显著种族或性别偏见。 研究采用 6 个急性疼痛案例和 50 个临床 Q-Pain 案例进行反事实审计,结果显示所有疼痛严重程度差异在 0-10 分制内小于 1 分,且模型间及设置间的差异远大于患者间的差异。
Meta-Scaling Laws 确立神经缩放定律在双射(保信息)数据变换下保持不变,并在非双射变换中随信息分辨率 $\rho$ 可预测地改变。该机制允许将单一域拟合的定律通过 $\rho$ 轴传输至其他域,实现跨域性能预测。
研究人员利用道德基础理论分析14个基于7B至70B参数的Llama、Qwen2.5、Mistral等模型,发现模型内部的道德几何结构在预训练中自然涌现。 借助稀疏自编码器(SAE)识别特定特征并进行因果干预,证实了内部表示与道德输出间的因果联系,表明多元道德结构可从语言统计规律中浮现。
研究团队提出 MMDiff 框架,利用多模态稀疏自编码器对 LLaVA-MORE 等模型进行特征级控制。 移除特定特征可使空间任务性能平均下降 12%,OCR 下降 17%,多模态安全攻击成功率降低 24%。 该方法证明多模态 SAE 可作为审计和引导大语言模型行为、提升安全性的有效机制。
研究揭示线性探针准确率混淆了可解码性、形状、归属及因果使用四项独立主张。 针对 GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 的两位加法乘法实验发现,81% 的形状为继承而非独有。 该结果建议将探针结果报告为对四项主张的独立判定,而非单一准确率。
研究证明 LeJEPA 在高斯潜变量分布下具备线性可辨识性,能可靠规划。 理论推导显示高斯分布是唯一保证该性质的潜变量分布。 实验验证了从 2D 到 4096 维潜变量及 ImageNet-X 自然图像的有效性。
研究提出AnchorQ方法,通过流反转将参考行为映射为状态条件潜在锚点,实现粗到细的策略改进。该方法在具有挑战性的任务中提取学习信号,分析表明锚点降低了识别复杂度。 在模拟和真实世界操作任务中,AnchorQ在样本效率上优于现有基线,真实世界成功率提升37%,模拟任务吞吐量提高97%。
跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。
研究指出迭代 RLHF 因忽略策略对奖励模型(RM)更新的影响项,导致策略利用 RM 盲区引发对齐崩溃。 论文基于 Stackelberg 博弈分解策略优化梯度,提出远视策略优化(FPO)以正则化该影响项,恢复缺失的对齐机制。 FPO 通过一阶近似实现,并在 Llama-3.2-1B 等环境中验证了其对对齐崩溃的预防效果。
研究提出 ACE 方法,发现 6 个不同规模的 Transformer 模型中,主谓一致由单一可操纵轴控制,翻转该轴可反转语法数。 这些模型在间接宾语识别中通过紧凑核心进行计算,该核心跨架构对齐,且验证了从记忆到泛化的逆缩放定律。
提出 BATCH 跨本体学习框架,利用人类演示数据提升机器人操作任务泛化能力。 框架通过自监督时序表征和循环一致性目标建立人机对应,无需人工标注。结合行为对齐协同训练和风格迁移,在未见任务配置上优于基线。
MACaQ 是一种 MXFP4 W4A4 后训练量化方法,通过逐层独立处理和在线应用块哈达玛变换,避免了跨层依赖。 在 vLLM 中的 Qwen3-32B 上,MACaQ 仅增加 2.3% 的端到端推理开销,并比 DuQuant++ 和 MR-GPTQ 实现了更低的困惑度。 该方法在 11 倍更快的量化时间内匹配 Llama-3-8B 的最佳困惑度,并展示了通用性和高效性。
MetaBFM 是一种混合方法,旨在扩展行为基础模型(BFM)以应对元强化学习(meta-RL)的四大挑战:环境识别、在线数据收集、测试时探索及混合奖励监督学习。
公开 LoRA 适配器存在基础模型不匹配及近零 delta 范数,导致遗忘测量干扰增大约 10pp。 研究在 Llama-3.1-8B-Instruct 上提出双项审计,发现原生合并使 GSM8K 下降 10.5pp、HumanEval 下降 18.3pp,而 Task Arithmetic 性能接近基线。
研究发现大语言模型(LLM)表现出确认偏误,倾向寻找支持而非反驳假设的证据,导致规则发现率降低。 通过提示模型考虑反例,平均规则发现率从 42% 提升至 56%;知识蒸馏该干预行为可泛化至新领域,如数学自我纠错。
研究利用QLoRA微调Llama-3.2-3B、Qwen2.5-3B和Gemma-2-2B三个2-3B基座模型处理罗马化尼泊尔语。 微调后chrF++指标从10-14提升至29.0-30.6,BPB从2.23-2.41降至0.78-0.84。Llama-3.2-3B的BPB最低,但chrF++与Qwen2.5-3B无显著差异;分词器生育度低不代表生成质量最优。
该研究在 Llama 3.1 8B Instruct 上利用 LoRA 和 4-bit 量化进行顺序多任务学习,以解决心理健康、情绪及情感检测问题。 实验使用 4,243 条社交媒体帖子,发现任务顺序显著影响性能:MHP 优先序列在心理健康检测上取得 Micro-F1 0.7624,而情感分析最佳 F1 达 0.9459。
研究者提出无需激活数据的权重解释框架,通过特征消融干预在 Gemma-2 和 Llama-3.1 上发现 SAE 特征继承基模型几何结构,揭示了 U 型、注意力峰值及输入输出特征的反向耦合。 该框架识别出三种依赖层深度的特征签名,指出绑定嵌入下语义特征呈 U 型分布,解绑时分叉,注意力参与在中间层达到峰值。 此方法补全了基于激活的解释中缺失的因果部分,为理解 SAE 特征的计算角色提供了新视角。
研究扩展 Min-K% 概率方法,通过合成非成员代码生成,结合 GPT-2、GPT-5 等模型进行代码溯源与归属推理。 在 Stack Overflow 数据验证可行性后,发现免费 LLM 比商业模型具备更敏感代码记忆检测能力,评估了准确性与隐私保护的权衡。
团队提出新方法在预训练和中训练阶段引入安全、事实性和推理行为,利用强模型重写数据并评判策略模型。 该研究引入“自我改进后思考”概念,通过生成后推理提升模型自身推理与判断能力,实验显示在多维度带来性能提升。 arXiv:2601.21343
研究在5个知识图谱上基准测试了5个大语言模型(GPT-5.1、Gemini 2.0 Pro、Llama 3、Qwen、BioGPT)。通过多层级查询数据集评估了模型在感知图谱和无关图谱条件下的推理深度与事实准确性。
研究团队提出通用框架 Meta-Frieren,用于最大化双阶段在线优化中的累计奖励。 该框架推导了首个 Feel-Good Thompson Sampling 的高概率后悔界,并在多模型类超参数优化实验中验证了其理论结果。
GEdit 利用几何感知框架提升大语言模型的知识编辑效果,在 GPT2-XL、GPT-J 和 LLaMA-3-8B 上验证,编辑成功率显著优于最先进基线。 该框架基于 LR+D 因子模型,通过低秩保护核心子空间,并依据编辑难度动态调整正则化强度。