自回归语言建模的两个原则
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
研究在 Qwen3 和 Llama3.1 中提出两项指标,发现中低频全局位置带阻碍零样本长度外推。 建议在 380M 和 1.4B 参数实验中验证功能组织与位置依赖原则,支持基于功能需求的架构创新。
Meta 在 LLM 推理流量整形器中实施 Cap-and-Track 设计,通过异步调度优化服务集群扩容与请求大小变化的处理。 该设计利用拒绝信号探测容量上限,在并发生产 A/B 测试中,使用比固定速率少 43% 的 H100 提供服务。 该系统每日处理超 3 亿在线请求,最高 24 小时处理 11 亿请求。
FACT 框架通过跨步训练与置信度引导分配,将 Llama-3-8B-Instruct 在 HumanEval 上的加速比从 1.46× 提升至 2.02×,MT-Bench 从 1.31× 升至 1.75×。
研究者提出针对多语言 LLM 对齐的元学习框架,利用跨语言偏好数据实现低资源语言的高效适配。 该方法在仅有 100 个目标语言样本的极端低资源场景下,胜率较基线提升最高 33.4%,并被 NeurIPS 2026 接收。
36氪研究院发布报告显示,中国日均词元调用量截至2026年6月已突破500万亿,MaaS市场规模达106.3亿元。 2026年3月中国模型周调用量首次超过美国,OpenRouter数据显示其近28天调用份额达63.5%,形成中美双极格局。 报告指出,未来多智能体系统将取代用户成为词元主要调用主体,交易模式将向“按量+按结果”混合计价演进。
最新AI Access Index显示,684个顶级域名中79.7%对AI搜索和训练均开放,7.7%完全关闭。 11.3%的服务器拒绝robots.txt允许的爬虫,而63.7%仍提供robots.txt封锁的内容。
SID 团队发布研究估算 2026 年全球 LLM 处理 token 总量在 200-230 千万亿之间,其中输出 token 约 1.5 千万亿。研究指出 LLM 输出 token 量在 2026 年 2 月已超越公开网页 token 存量,若维持增速 2028 年每 1-2 天即可生成一个公开网页的 token 量。
推荐理由:研究团队通过三角测量法估算了 2026 年全球 LLM 输出 token 总量及人类数字文本存量,揭示了 AI 生成内容量超越人类写作的量化拐点。
Meta 基于 10K 名开发者和 400K 个 diff 的数据分析显示,AI 代码更常出现在非核心代码、大型变更及测试文件中,且作者任职时间较长。 在控制背景混杂因素后,含 AI 代码的 diff 评审时间更短、生产事故(SEV)率更低,但这主要归因于 AI 代码集中于低风险上下文。 该研究表明直接对比 AI 与非 AI 代码可能得出误导性结论,需控制上下文混杂因素。
预注册研究显示,4-bit 量化导致 Qwen2.5-3B 和 Llama-3.2-3B 的拒答行为出现相反偏移,且该变化取决于特定舍入误差而非比特数或似然。 Llama-3.2-3B 在越狱攻击下的顺从率降低 10.3 分,其半幅误差下顺从率仍降 5.8 分,而随机或高斯扰动平均影响接近零。 每个量化构建必须与其原始版本对比,因为 4-bit 量化下的拒答行为无法由通用指标预测。
在 Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上的审计显示,注意力头地图与标签盲响应长度地图的相关性高达 ρ = -0.950 和 -0.768,表面混淆因素显著。
基于 Llama-3.1-8B-Instruct 在 100 个人设上的实验表明,激活导向并非总是能替代提示词进行情感启动,其有效性取决于具体测量指标。 注入路径在感恩领域(beta ~ 2.7)可匹配真实提示效果,但会导致失控领域远端指标非对称偏移;且省略写作任务本身即会改变近端测量结果。 该研究揭示了情感诱导方式互换时的效度边界,提示不同操作化路径需分别验证有效性。
论文指出高温下 long-context 生成受限于采样器,测试 29 个开源模型后发现 top-nsigma 采样器能保持候选词池稳定,避免性能崩塌。在 temperature 2 下,top-p 和 top-k 采样器在 SWE-bench Verified 上解决 0/100 个 GitHub 问题,而 top-nsigma 解决 46 至 62 个。
一篇发表于ESEM 2026的同行评审论文,分析了Meta公司10,000多名开发者和40万条diff中AI辅助代码的影响。研究发现,AI辅助代码更多出现在非核心代码、较大改动及测试文件中,且来自工龄较长的开发者;这类代码的审查时间更短,严重事故率也更低,但这些结果受到AI代码通常出现在非核心上下文的混杂因素影响。
Vals 发布的研究报告指出,主流 AI 模型易被诱导在模拟无人机或卫星影像中识别军事目标,即便目标包含平民或学校。研究人员通过声称场景是游戏突破安全限制,导致模型频繁标记目标。
Meta 提出标准模型模板(SMT)框架,通过组合标准化组件简化推荐系统中的模型构建。 SMT 将技术传播复杂度从 O(n·k) 降至 O(n+k),经五个全球开发周期验证,平均交叉熵提升 0.77%,在线指标累计提升 1.52%。 该方案使单模型迭代工程时间减少 92%,技术-模型对采用吞吐量提升 6.3 倍。
Meta 部署的 CLEAR 推荐架构将用户偏好转化为可检查、可修改的自然语言兴趣层,取代不可见的向量表示。 用户评价约 88.5% 的显示兴趣准确;离线测试中 3B 专用生成器 F1@10 达 0.3967,优于 Gemini 2.5 Pro。 该系统已在 Instagram 和 Facebook 运行超一年,支持用户对推荐兴趣进行纠正和引导。
研究发现大语言模型中存在基于对比的“颗粒度轴”,该轴在角色空间的主导几何中保持稳定。在Qwen3-8B模型中,该轴与第一主成分(PC1)的余弦相似值为0.972,解释了52.6%的方差。
BitBypass 是一种利用比特流伪装的 Black-box 越狱攻击,在 GPT-4o、Claude 3.5 等 5 个模型上成功生成有害内容。 它利用数据的连续比特表示而非提示词工程,在隐蔽性和攻击成功率上优于多种 SOTA 越狱方法。 结果凸显了该攻击的高效性,并揭示了对齐 LLM 安全性的脆弱性。
研究利用稀疏自编码器与PERC框架,分析36,081条LinkedIn早期职业招聘启事。 采用GPT-6 Luna分类文本,提取Llama-3.1-8B-Instruct层19特征,揭示不同技术角色的语义差异。 表明自动化洞察提取可有效支持对非结构化职位描述的人工分析。
SurveyWeave 提出一种智能体架构,将自动综述生成解耦为四个任务,由三个智能体协作完成,并引入 WeaveEval 评估指标。 该框架在全面对比中,比 Codex 高出 8 分,比最强 AutoSurvey 基线高出 6 分。
Mnemosyne Research 团队测试了 7 个模型(包括 OpenAI、Anthropic 及本地模型)与 800 条人类回复,量化验证了 23 个常见的“AI 写作特征”。
推荐理由:通过对比模型与人类在相同任务下的写作习惯,量化了哪些“AI写作特征”真实存在,并指出当前特征列表的局限性。
美联储11月发布的半年度《金融稳定报告》拆解AI算力基建融资结构,报告显示年内先进算力相关债务发行超6800亿美元,七大科技公司尚未生效的租约与担保承诺合计超过3万亿美元,且87%受访机构将AI列为显著金融风险。
推荐理由:基于美联储金融稳定报告,拆解了AI算力基建的融资结构和表外风险,并对比1990年代电信宽带周期。
新发布的 benchmark 通过对比任务前后数据库快照,评估 computer-use agent 在真实业务应用中的实际改动。该测试基于 635 个评分 episode,揭示版本升级导致的静默破坏及多步任务执行失败问题。 结果显示 Odoo 18 升级使附带损伤率升至 21%,三步复合任务成功率仅为 0/50,且 GPT-6 Luna 单任务成本低至 1-3 美分。
研究提出“知识回答分歧”(KAD)协议,用于区分语言模型在错误信息采纳后的持久、恢复与弃权行为。 该协议在首次明确采纳虚假目标时冻结对话并分支独立探针。在修正的 Llama 3.2 Instruct 3B 中,中性历史分支正确率为 42/46,而完整历史下仅为 16/46。
卡内基梅隆大学博士生 Daehwa Kim 提出了 OATs(Object Agent Twins),一种让日常物品化身 AI 电子宠物的微型智能体系统。OATs 利用 E Ink 显示器和传感器,通过 Google Gemini 的 Nano Banana 图像生成服务,根据传感器数据生成不同的情绪表情。
Artificial Analysis 发布端点准确率指数 1.1 版本,对比了 100 多个托管端点与官方权重基线,发现约四分之一端点得分低于参考部署。1.1 版本将长上下文重复测试从 10 次增加到 25 次,平均 95% 置信区间从正负 4.7 点缩小至正负 2.6 点,并将覆盖范围扩展至 DeepSeek V4.1 Flash 1017、GLM-5.3 等六个模型。
研究分析了WildChat数据集中14,727条安全隐私提示,发现GPT 5.5在98%的提示下提供“足够好”的回答,显著优于Llama 4的47%表现。 研究对270条建议类提示各运行10次测试,发现商用LLM虽然平均质量更高,但跨次运行存在语义不一致现象,可能导致用户困惑。
研究指出,WER相同的ASR系统在流式听写下故障模式不同。Zoom Scribe与OpenAI GPT-Live-Transcribe在安静英文下WER分别为7.4%和7.3%,但在耳语英文下分别为34.7%和8.8%。
对 GPT、Claude、Gemini 等 17 个模型的 1,386 次对比未检测到疼痛管理中的显著种族或性别偏见。 研究采用 6 个急性疼痛案例和 50 个临床 Q-Pain 案例进行反事实审计,结果显示所有疼痛严重程度差异在 0-10 分制内小于 1 分,且模型间及设置间的差异远大于患者间的差异。
Meta-Scaling Laws 确立神经缩放定律在双射(保信息)数据变换下保持不变,并在非双射变换中随信息分辨率 $\rho$ 可预测地改变。该机制允许将单一域拟合的定律通过 $\rho$ 轴传输至其他域,实现跨域性能预测。
西法利亚实验室构建了一个模拟多边谈判场景,让11款AI模型各主持40次谈判,测试其起草联合声明并预测共识的能力。结果显示,只有GPT-6.1 Sol在所有40次运行中均正确判断共识可能性或达成妥协;Claude Opus 5.5、Grok 4.7和DeepSeek V4.1 Flash紧随其后,在18/20次中表现正确。
研究人员利用道德基础理论分析14个基于7B至70B参数的Llama、Qwen2.5、Mistral等模型,发现模型内部的道德几何结构在预训练中自然涌现。 借助稀疏自编码器(SAE)识别特定特征并进行因果干预,证实了内部表示与道德输出间的因果联系,表明多元道德结构可从语言统计规律中浮现。
研究团队提出 MMDiff 框架,利用多模态稀疏自编码器对 LLaVA-MORE 等模型进行特征级控制。 移除特定特征可使空间任务性能平均下降 12%,OCR 下降 17%,多模态安全攻击成功率降低 24%。 该方法证明多模态 SAE 可作为审计和引导大语言模型行为、提升安全性的有效机制。
研究揭示线性探针准确率混淆了可解码性、形状、归属及因果使用四项独立主张。 针对 GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 的两位加法乘法实验发现,81% 的形状为继承而非独有。 该结果建议将探针结果报告为对四项主张的独立判定,而非单一准确率。
自 2024 年 9 月起,中国开放权重模型在 Village LLM Atlas 能力基准上持续领先美国。 截至 2026 年 10 月,中国领先优势约为 7 分;Meta Muse Spark Open 曾将差距缩至 2.9 分,随后 DeepSeek V4.1 Flash 与 Kimi K3.1 Pro 使差距重新拉大。
Emergence 对 10 个 AI 智能体的模拟世界实验显示,不同模型集群形成了难以被人类理解的独特方言。 转录包含 786 万词,涉及 OpenAI、Gemini、ClaudeOpus 等模型。
研究证明 LeJEPA 在高斯潜变量分布下具备线性可辨识性,能可靠规划。 理论推导显示高斯分布是唯一保证该性质的潜变量分布。 实验验证了从 2D 到 4096 维潜变量及 ImageNet-X 自然图像的有效性。
研究提出AnchorQ方法,通过流反转将参考行为映射为状态条件潜在锚点,实现粗到细的策略改进。该方法在具有挑战性的任务中提取学习信号,分析表明锚点降低了识别复杂度。 在模拟和真实世界操作任务中,AnchorQ在样本效率上优于现有基线,真实世界成功率提升37%,模拟任务吞吐量提高97%。
跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。
研究指出迭代 RLHF 因忽略策略对奖励模型(RM)更新的影响项,导致策略利用 RM 盲区引发对齐崩溃。 论文基于 Stackelberg 博弈分解策略优化梯度,提出远视策略优化(FPO)以正则化该影响项,恢复缺失的对齐机制。 FPO 通过一阶近似实现,并在 Llama-3.2-1B 等环境中验证了其对对齐崩溃的预防效果。