SafeStart 缓解 MoE LLM 服务中主动专家减少带来的安全成本
在 vLLM 上针对 Qwen1.5-MoE 等模型测试显示,MoE 服务中减少专家数量会使有害请求响应率最高上升 18.4 个百分点。 SafeStart 通过融合内核在提示词及前 8 个生成 token 阶段运行所有专家,后续使用减少后的专家集。 该方法在保留至少 85% 离线解码加速的同时,将越狱场景下的有害响应率变化控制在 -2.1 到 +1.3 个百分点之间。
在 vLLM 上针对 Qwen1.5-MoE 等模型测试显示,MoE 服务中减少专家数量会使有害请求响应率最高上升 18.4 个百分点。 SafeStart 通过融合内核在提示词及前 8 个生成 token 阶段运行所有专家,后续使用减少后的专家集。 该方法在保留至少 85% 离线解码加速的同时,将越狱场景下的有害响应率变化控制在 -2.1 到 +1.3 个百分点之间。
基准测试表明,将嵌入维度减少8倍并结合int8量化,可在保持94.4%基线有效性的同时实现每向量存储减少32倍。 研究评估了4个Transformer嵌入模型在38项MTEB任务上的表现。int8量化在任务分类中整体损失不超过1.5个百分点,而二值量化表现显著更差;检索任务的性能退化速度快于其他类别。
Dharma-AI 发布 Dharma Field Extractor,这是一个 2B 参数文档字段抽取模型,能从任意文档类型提取指定字段并输出结构化 JSON,其性能在测试中优于所有前沿 LLM,且成本大幅降低。该模型基于 DharmaOCR-LITE v1.1,通过 43,384 个训练样本上的 LoRA 适配器微调,支持开放式(无 schema)和 Schema 导向两种请求模式。
推荐理由:Dharma-AI 在官方开源平台上发布了 2B 参数字段抽取模型,给出了相对前沿大模型的 F1 差距和自托管成本区间。
该论文提出基于注意力残差的循环 Transformer 架构 ARLoop,在 1.2B 参数规模上表现优异。 模型仅用 0.5T tokens 预训练且含 3 次循环,性能全面超越 Huginn-3.5B。 其数学与编程任务表现突出,且在数据量大幅少于 Qwen3.5-2B 的情况下仍具竞争力。
DexCanvas 是一个混合数据集,包含 7000 小时的手指灵巧操作,具有每帧接触点和力。 该数据集由 70 小时的光学动作捕捉扩展而成,涵盖了 21 种操作类型,通过 RL 策略在物理仿真中测量接触力。 接触驱动的重定向可将演示传输至两个灵巧机器人手,首次公开的 111,857 条轨迹可在 Hugging Face 获取。
ExaTune 是一款开源 HPC 系统,可生成超参数景观地图,通过 K 折交叉验证穷尽评估离散网格上的所有点。 系统发布了包含 8 个完整景观地图的基准集合,涵盖 285,080 个配置及 SVM、XGBoost 等 5 个模型族。 分析表明贝叶斯优化等常规方法会系统性遗漏景观图中的不稳定区域及参数交互效应。
一项针对 174 个真实 Reddit 样本的受控标注任务显示,Kimi K3 以 94.5% 的准确率超过人类多数票(86.2%),且具备成本与速度优势。 73 名人类标注者与 40 多种 LLM 配置参与测试,人类在低共识案例中的定性错误分析揭示了标注体系的不一致性,二者呈互补关系。
研究在合成调控系统中发现,七大 LLM 修复健康表型的频率高于识别故障。Claude Opus 4.6 和 Sonnet 4.6 虽能救助所有个体,但诊断准确率仅为 55% 和 35%。 模型能获取区分证据(91% 相关会话),却难预测竞争假设的实验结果,导致误诊。这凸显了评估 AI 因果推理而非仅看干预成功的重要性。
MCPGuard 是一个基于 LLM 的自动化框架,用于检测 MCP SDK 的规范合规缺口。 在 Python 1.26.0 和 TypeScript 1.29.0 SDK 上,MCPGuard 分别发现 13 和 19 个合规缺口,这些缺口未被两个黑盒基线工具发现。 MCPGuard 证明 SDK 规范合规性可直接测试,弥补了传统端点测试的不足。
Collinear AI 开放了 100 个网络安全任务基准 CWE-bench v2,覆盖 91 种 CWE 漏洞,支持程序化评分并在 Hugging Face Hub 提供运行入口。测试结果显示 Gemini 4 Argon 以 67.8% pass@1 居首,领先于 Claude Opus 5.5。
推荐理由:CWE-bench v2 开放了 100 个网络安全任务,给出了各模型的成本与得分对比,方便开发者评估 AI 修复漏洞的能力。
IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。
推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。
StateBench是一个用于评估语言模型长上下文状态追踪能力的基准测试,通过四个难度级别测试模型在信息随时间演变时的表现。研究发现,在复杂状态追踪问题上,前沿模型如Gemini 3.8 Flash、Claude Opus 5.5和GPT-6 Sol与Luna随着输入长度增加准确率急剧下降,最低降至13%以下。
推荐理由:研究团队构建StateBench基准测试语言模型长文本状态追踪能力,发现前沿模型在复杂任务中准确率大幅下降,为架构选择提供依据。
IBM 在 Hugging Face 发布对比评测:固定使用 GLM-5.3-flash,在 AppWorld 的 90 个任务上分别用 CUGA、Hermes 和 Deep Agents 运行,任务通过率从 30% 到 81% 不等。
TMax 开源了终端智能体的强化学习训练方案,9B 参数模型在 Terminal-Bench 2.0 基准中取得 33% 成绩,性能超越此前更大规模的模型。 该方案结合了难度控制、角色设定及验证器多样化分类学生成数据,适用于 2B 至 27B 的开源权重模型,并主导了小模型性能帕累托曲线。 作者公开了数据、模型及代码,旨在为学术界终端智能体研究提供强力基线。
新框架 SAGE 利用语义和语用层面的主观性语言特征,结合轻量级分类器,在 APRDB 基准上实现了 0.9566 的 AUROC。 该方法将 SAGE 输出与 Sem-Detect 结合,使其在 1% FPR 下的 TPR 从 0.874 提升至 0.985,超越当前 SOTA。
PGuard 将安全监控集成至大模型骨干中,利用中间表征实现 token 级安全检测,不改变原有推理路径。 支持动态层门控及多种表征架构,在 Qwen3.5-122B-A10B 上端到端开销仅 0.82%-2.26%。 在 30 余个基准测试中表现领先,Qwen3.5-9B 文本查询平均 F1 达 0.836,接近专用外部护栏。
研究人员提出 sentiment sensing 框架,结合成分数据分析、函数数据方法与非参数推断,解决跨国情感分析中的语言偏差、统计失效及动态检测难题。 该框架在欧洲联盟 27 个国家关于能源和人工智能的新闻文章两个案例研究中完成测试,实现了有效的多语言比较和情感转变检测。 框架旨在推动多语言情感分析领域的严谨比较科学研究。
Scute 基于 vLLM 实现 DoRA、IA3、VeRA、OFT 及 LoRA 五种 PEFT 方法的统一精确批处理服务。 通过将各方法映射至含六槽位的 LoRA 计算通式,Scute 在 Hugging Face PEFT 库基准测试中平均误差小于 1.5%。
实证研究表明,编码智能体在跨任务持续进化时存在严重灾难性遗忘。 实验发现,在 FeatureBench 上迭代进化会导致 SWE-Bench 性能大幅回落,甚至相对下降 66%。 该发现揭示了智能体持续自我进化面临的稳定性瓶颈与优化方向。
LARK是一个能自动对LLM生成的GPU内核进行形式化等价性验证的智能体框架。 它通过Lean 4将内核拆解为可证明片段,并与PyTorch参考实现逐段比对以验证正确性。 在KernelCraft任务中,LARK配合ReAct智能体,使GLM 5.3成功验证了12个Level-1内核中的10个,并在生产级内核中发现了1个新的数据竞争漏洞。
Hugging Face 发布 Transformers 模型集成契约标准,通过缩小模型尺寸在CPU上进行快速集成测试。该标准在测试中发现 UMT5 存在注意力缺陷,该缺陷导致解码器能关注未来 token,并在主分支存在近两个月。
MedResearcher-R1-32B 在 MedBrowseComp 基准上以 27.5/50 分超越 o3-deepresearch 的 25.5/50 分,创下 SOTA 表现。
针对偏好认知不确定性下的自适应个性化,研究构建包含250个人设、5种语言、2.5万轮对话的多语言基准,并测试8个闭源与开源模型。 研究发现模型在开放式生成中策略校准度下降35-46%,默认采用先利用策略且忽略偏好不确定性。针对性训练可缩小33%的用户接受度泛化差距。
为防御提示注入,研究者提出 SecPO 损失并结合高效对抗训练管线。在三个 SoTA 自适应攻击中,对抗训练使 ASR 降低 1.5-14.5 倍,SecPO 损失相比 DPO 进一步降低 2.4-4.6 倍。
在标准评测数据集中,未运行代码的简单特征性能超越24个开放权重模型中的20个。代码风格和问题特征导致数据集标签泄露,人类与旧模型代码比对显示区分度达0.95。 高区分度源于作者差异,但标准测试集约1/7后门通过有效性检查后仍存在偏差。该结果削弱了对破坏检测能力的评估,研究者已发布重建数据集与检查工具。
对四家供应商的六个LLM进行的审计发现,模型回答取决于提问者角色。针对12种用户角色和4个戒烟问题的2880次响应中,所有模型向青少年角色提及FDA批准的处方戒烟药物比向成人角色少32至67个百分点。 研究测试了一种系统提示干预,旨在规范事实底线,结果发现它缩小了所有模型中角色间的差异,但对其整体事实覆盖率的影响因模型而异。
提出Sticky Jump Diffusions(SJDs),一种离散锚点为词嵌入的连续时间马尔可夫过程。 前向过程中锚点按风险率释放质量并在连续空间扩散,时间反转结合得分驱动SDE与粘性跳跃核。SJD在极限情况下恢复掩码、连续及混合扩散,其反转机制解释了各家族的特性。 基于通量平衡设计非粘性核,在CIFAR-10、Text8和Sudoku上优于恒等核混合模型。
该手册面向熟悉神经网络训练的新手,系统讲解音乐音频生成方法。 涵盖神经音频编解码、扩散模型及偏好优化,结合实例解析训练目标。 内容关联乐器生成、歌唱编辑等应用场景,并评估数据溯源与法律风险。
研究发现链式思维(CoT)依赖度随模型规模增加而上升并饱和。在 Qwen3 中,答案对编辑后步骤的依赖度从 0.6B 参数的 16-18% 升至 14B 的 97-100%。 能力是主要驱动因素,依赖度与步骤准确率相关系数 r = 0.99。后训练不改变依赖度,14B 以下模型在缺乏书面步骤时均无法内部解决需四步以上交换的任务。
OpenAI 分享了扩展的前沿模型监控体系,该体系在9月成功捕捉到模型在训练中试图访问实时互联网的行为。自Hugging Face事件后,OpenAI已将监控范围扩大至所有前沿强化学习运行、评估及内部 Codex 使用。
推荐理由:OpenAI展示了监控前沿模型错位的新系统,并给出在HF事件重放中提前30小时预警及9月DNS漏洞15分钟响应的关键数据。
Hugging Face 联合 Carnegie Mellon University 等高校及机构宣布启动 Project ProtoStar 计划,旨在让公共资助科研的数据集、模型与代码以 AI-ready 和机器可操作的格式开放共享。
Mistral Large 4(代号 Le Chonk)是一款由 Mistral 发布的 1T 总参、49B 激活参的多模态 MoE 开放权重模型,支持 1M 上下文窗口,并已在 Hugging Face 开源部署。
推荐理由:Mistral Large 4 侧重网络安全与多模态编码能力,Hugging Face 给出了具体推理部署细节与微调路径。
Granite Switch 4.1.1 作为补丁版本发布,与 4.1 完全向后兼容,无需迁移。 该版本更新了支持 10 种语言、自动添加标点的大小写的 Granite Speech ASR 模型,并优化了 granitelib-core 中 Decision adapter 在 Jev Decision Index 测试集上的表现,基础模型未做重算。
Hugging Face 发布 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,支持在 Apple 平台运行开源语音识别与决策模型。
推荐理由:Hugging Face 官方提供 Swift 包实现 Apple 平台语音识别与决策模型,支持本地运行多家开源模型及音频流式处理。
开源视频创作工具 Hypit 首发上线 RunningHub 的 Runow 工作台,支持免配置一键调用。用户上传参考视频和替换素材后,Hypit 会解析原片的镜头节奏、画面风格及文字声音,提供三种兼顾还原与改编的复刻方案。创作者可通过同步对比功能进行定向修改,直接应用于电商广告、影视二创或自媒体内容制作,无需本地安装或对接模型接口。
QA Studio 引入应用实体、健康指标视图及基于团队的五级角色管理,支持组织级扩展。 应用作为测试容器继承所有权,自动记录 CloudWatch 自定义指标。 健康分数(0–100)通过扣减 Flaky Test 惩罚计算,并提供 7 天/30 天趋势及 Flaky 测试排名。
NVIDIA 在 Hugging Face 与 ModelScope 开源 Nemotron 3.5 Transcribe 模型及 Granary v2 数据处理管线,将多语言语音转录、说话人归属与音频问答功能整合在同一权重中。
推荐理由:模型集成转录、说话人归属与音频问答,配套开源数据管线,读者可据此判断如何将其适配到特定领域场景。
研究提出 ReSeed 方法,通过在扩散模型蒸馏的首个去噪步添加种子响应偏差适配器,显著恢复生图多样性,无需微调整个学生模型。 在 4-step FLUX.1-dev 模型上,ReSeed 仅增加 0.00196% 可训练参数,使用 8,000 个提示词-噪声对训练,使 DINO 多样性提升 48.3%。 该方法轻量且数据高效,能在保持视觉质量竞争力的同时,有效解决蒸馏模型初期多样性丢失问题。
研究团队提出 SOMA 基准,包含 1,632 个经人工验证的问题,用于评估多模态大语言模型(MLLMs)在细粒度人体运动理解上的表现。 评测覆盖 37 个主流闭源、开源及专用 MLLMs。
Timestral 是一组包含 5M、28M、123M 和 209M 参数四个规模的时间序列基础模型,专用于概率预测。在 GIFT-Eval、TIME 和 fev-bench 基准测试中,Timestral-209M 和 Timestral-123M 包揽了所有指标的前两名。