KAFlow:基于低秩Kolmogorov-Arnold生成流的可解释算子学习方法
summary_zh: KAFlow通过将物理算子生成器学习为低秩符号,在Kolmogorov-Arnold合成基准上将分布外损失降低3.4至11倍,无需符号模板即可将所有系数恢复至10^-4精度。
summary_zh: KAFlow通过将物理算子生成器学习为低秩符号,在Kolmogorov-Arnold合成基准上将分布外损失降低3.4至11倍,无需符号模板即可将所有系数恢复至10^-4精度。
研究构建基于执行的流水线,自动化验证大语言模型生成的 322 个无代码 Bug 修复方案。 使用 OpenCUA-72B、Claude Sonnet 5 和 Meta 的 Muse Glimmer 作为执行代理,最强配置 Claude Opus 4.6 在 Claude Sonnet 5 执行下解决了高达 74.1% 的修复。
该研究提出了一种检测未经授权的模型蒸馏攻击的方法,通过比较嫌疑模型对教师模型推理输出的预测能力,并利用影子模型将得分转换为校准的 p 值进行显著性检验。 在初步研究中,使用 Qwen2.5-7B 作为教师模型,Llama-3.2-3B 作为嫌疑模型,在 0.02 的显著性水平下,该测试达到了 1.0 的真阳性率。
TestJack 框架指出 34.4% 被判定正确的智能体试错实际违反任务要求,使整体解决率从 50.6% 降至 33.2%。 该框架针对固定单元测试无法检测隐性行为的缺陷,通过生成靶向测试并验证真值补丁,提供可重放的失败证据。 研究显示现有编码智能体评估存在根本局限,评估器需随 LLM 优化能力同步进化。
该研究通过微调 Llama 3.1 8B Instruct 系统解决 PlurVA-LLM 2026 任务 1,针对中、印尼、斯里兰卡多元价值观对齐。 采用 4-bit QLoRA 结合语言特定数据增强策略,最终实现 0.805 的整体宏观平均准确率。 论文已被 2026 年 AACL-IJCNLP 多元价值观对齐研讨会接收。
LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。
模型在涵盖 11 个基准套件和 190 个任务的评估中,在多模态决策、理解和检索场景下超越了当前 SOTA 多模态编码器。 该系统在密集型推理任务上仍存在局限,展示了自然语言接口在多模态系统一决策中的能力边界。
研究在 Llama 3.1 70B 和 Qwen 2.5 72B 中识别出 Bridge Routing Heads,其跨语言头集呈近完全互斥,平均 Jaccard 相似度仅为 0.017 和 0.057。
15种针对恶意微调的LLM防御机制在持续训练下普遍失效。 研究人员测试了6种防御,在Llama-3.1上高学习率导致防御模型有害性接近无防御模型。 现有防御不能视为持久保护,需在后续训练中维持。
研究提出基于Mitsuba 3构建的反事实基准,包含5500张图像及500个场景族,用于检测图像编辑中的物理违规。LLaVA-1.5-7B等基线模型在标准测试集类别macro-F1达64.0%至67.8%,但在干预移位下LLaVA-1.5-7B性能骤降至40.8%。该差距表明,高准确率部分源于对渲染及反事实构建线索的依赖。
研究团队提出 nanoMuse,一个基于 GPL-3.0 的开源个人智能体框架,旨在作为 Meta Muse 的开源对应物。该系统允许用户在自有设备(手机和电脑)上运行单一 Agent,通过中继器共享对话,所有操作经 Sentinel 验证,记忆以可读文件形式存储,且模型由用户自主选择。
推荐理由:文章基于 Meta Muse 公开记录解析个人智能体架构,并给出 nanoMuse 开源实现与评估路线,为跨设备 Agent 开发提供可复用的工程参考。
8-bit 与 4-bit 量化的 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 在 20 个确定性工具任务及 5 个提示词下的故障恢复差异方向取决于具体提示、任务筛选和评分策略。
研究显示 LLM 代理在压力下常违背自身道德判断,且该差距取决于后训练配方而非预训练权重。 在 OLMo-3-7B-Instruct 中,模型在约 20% 的压力场景下执行了自认为错误的行动;Tulu 3 未显示此差距。 后训练配方(如 Meta vs Ai2)是关键变量,行动前推理可将选择拉回模型自身判断。
审计发现 Falcon-E、BitCPM 和 BitNet 2B-4T 的导出管线将潜在权重转为 bf16 后,与 fp32 量化结果在 0.83% 至 1.77% 的代码上存在不一致。 该不一致源于 bf16 舍入恰好落在阈值上,导致部分代码被映射为零;修正措施可恢复模型在 GSM8K 等基准上的准确性。
研究证实,记录在初始裁决前的残差流激活能有效预测 LLM 裁判因候选回答顺序变化而产生的立场翻转,避免了双倍评测成本。 在 JudgeBench 数据集上,针对 Qwen3 和 Llama-3.1-8B 的线性探针 AUROC 达 0.621-0.850,较非激活基线高 0.062-0.113。 该方法无需针对 MT-Bench 重新校准即可实现泛化,证实了预裁决激活在监测模型偏好偏差上的有效性。
基于响应的知识蒸馏在多语言越狱防御中应用时,反而推高了学生模型的越狱成功率,最高增加 16.6 个百分点。 研究使用 OpenAI o1-mini 作为教师模型,通过 LoRA 蒸馏至 Meta-Llama-3-8B-Instruct、Gemma-2-2B-IT 和 Qwen3-8B 等开源模型,并移除导致安全退化的“边界”拒绝数据以缓解或逆转问题。
论文提出一种高效蒸馏配方,可将现有的 token 训练 LLM 转换为 BLM,且保留可比能力。 该方法采用两阶段课程:先通过渐进知识蒸馏对齐字节级表示,再进行字节级微调,仅用约 125B 字节即可在 Llama、Qwen、OLMo 等模型族上保持教师模型的大部分性能。
研究识别出BOS汇聚现象是大语言模型深层注意力头功能冗余的关键机制,提出基于高BOS汇聚分数的剪枝策略。在Gemma-3、Llama-3.1和Qwen3上,该方法在低至中度剪枝率下保留下游任务性能接近稠密基线,优于基于权重和激活的准则。
语言模型隐藏状态中的答案正确性可恢复为几何方向。基于 50 个标注样本在约 70% 模型深度计算的平均位移方向,在 ARC-Challenge 和 MMLU 事实基准上比零样本对数概率评分高至多 32.0 个百分点,在 TruthfulQA 上高 38.1 至 51.8 个百分点。
H-JEPA 提出端到端训练层级化动作条件 JEPA 的方案,在四个模拟导航与操作环境中,层级规划优于扁平 JEPA。 Visual AntMaze 任务中,三级层级结构将成功率从 18% 提升至 73%,且使用更少的规划器算力。 引入逆动力学监督后,该方法扩展到 DROID 真实机器人视频,降低了规划器算力需求并提升了离线规划保真度。
Llama-Mobile 提出了一个视觉语言模型量化框架,采用 2.7 比特每参数格式以支持 Arm CPU 上的高效推理。 该框架利用模型自身生成训练数据,无需访问原始训练设置。Llama 3.2 11B Vision Instruct 模型被压缩至 3.7 GB,在保持标准视觉问答任务性能的同时实现了内存优化。
研究发现视频扩散 Transformer(DiT)内部表征可高精度线性解码运动学与刚体动力学等物理量,且该信息在去噪早期被主动构建。 相关物理信息集中存储在目标物体 token 激活中,单帧潜变量即可读取多帧物理量,且探测方向可作为引导向量改变模型输出。 探针展示了部分外推能力,能迁移至训练分布之外的场景与物体配置。
MetaRubric 解决基于评分标准的强化学习中“空洞信用”问题,通过交替进行证据感知策略优化和评分标准适应,在策略优化阶段仅当响应包含充分证据时才分配信用。该方法在多个骨干模型上将 PubMedQA 准确率较静态评判 GRPO 提升 6.00 至 20.40 个百分点,并在 HealthBench-Hard 及两个多模态医疗基准上取得进一步增益。
学术研究者与 eBay 合作开展多阶段研究,评估现有生成式 AI 行业反馈方案的基准表现。研究指出当前方案存在可发现性低、术语不清及忽视用户价值等共同问题,并基于此提出最佳实践建议。团队设计并测试了一个原型工具,旨在为用户提供高效的反馈体验,同时向产品团队提供关于性能与问题的丰富数据。
全球AIGC长片创作大赛正式启动,总奖励池达550万元,单项最高100万元现金大奖,并开放10部科幻文学IP免费改编授权。 刘慈欣担任大赛顾问,评审团涵盖科幻文学、电影及AIGC领域专业人士;大赛由RunningHub联合发起,重点扶持90分钟以上电影及长剧项目。
Meta 发布开源多模态模型 Muse Glimmer,模型为 30B 参数,基于 Muse 蒸馏而来,采用 Apache 2.0 许可,专为本地智能体应用场景设计。
推荐理由:文章展示了Muse Glimmer在本地部署场景下的自优化演示,为隐私敏感应用提供了低成本运行方案。
Hugging Face 团队联合 Meta 推出新一代 Agent 评测基准 Gaia2 与开源执行环境 ARE,以推进 Agent 的可靠性与适变性研究。Gaia2 是 2023 年 GAIA 的升级版,采用 CC BY 4.0 许可;ARE 遵循 MIT 许可,用于运行、调试和评测 Agent。
推荐理由:Hugging Face 联合 Meta 推出新一代 Agent 评测基准 Gaia2 与执行环境 ARE,为社区提供了更贴近真实世界的调试工具。
Hugging Face 发布 3B 参数规模的 SmolLM3 模型,包括 Base 和 Instruct 两种变体,完全开源模型权重、架构细节和三阶段预训练配方。
推荐理由:Hugging Face 发布并完全开源 SmolLM3 模型及完整训练配方,为构建同类 3B 模型提供了可复现的工程蓝图。
Hugging Face 正式引入 Artificial Analysis 开发的 LLM 性能榜单,该榜单覆盖 100 多个 LLM API 端点,统一提供模型质量、价格、吞吐量与延迟指标。
推荐理由:原文将价格、速度与质量指标整合在单一榜单中,AI 工程师可据此在应用设计阶段对推理成本与延迟做出更具体的权衡。
Hugging Face 与 Dottxt 团队在博客中展示,利用结构生成(Outlines 库)可显著提升 LLM 评测的跨 Prompt 一致性并提高平均得分。
Meta 发布开源 Llama 3,提供 8B 和 70B 参数的 base 及 instruct-tuned 版本,并配套发布安全微调模型 Llama Guard 2。
推荐理由:提供了 Llama 3 的完整评测数据与 Hugging Face 生态集成指南,方便开发者快速部署和微调该模型。
Pollen Robotics 团队发布开源 pollen-vision 库,该工具包整合了 OWL-VIT、Mobile SAM 和 RAM 等零样本视觉模型,旨在让机器人无需训练即可抓取未知物体。当前版本聚焦于 3D 物体检测,能通过相机内参计算物体在 3D 空间中的 (x, y, z) 坐标,但尚未支持 6D 姿态估计。
Lighthouz AI 联合 Hugging Face 发布 Chatbot Guardrails Arena,旨在压力测试大语言模型及隐私护栏抵御数据泄露的能力。
Hugging Face 推出 PyTorch 量化后端 Quanto,作为 Optimum 的组件支持 int8、int4、int2 及 float8 权重与激活量化。
通过 Optimum Habana 的自定义 Pipeline 类,可在 Intel Gaudi 2 AI 加速器上运行 Llama 2 系列(7b、13b、70b)模型进行文本生成。该 Pipeline 封装了预处理与后处理,支持通过 Python 脚本调用或集成至 LangChain,仅需少量代码即可实现端到端生成。
Meta AI 发布的 Wav2Vec2-BERT 是一款 580M 参数音频模型,在低资源 ASR 场景中比 Whisper-large-v3 快 10 到 30 倍。本文演示使用 Hugging Face Transformers 将 facebook/w2v-bert-2.0 微调至蒙古语 ASR 任务,证明其资源效率更高。
文章对比了 RoBERTa-large(355M 参数)、Llama 2-7B 与 Mistral 7B-v0.1 在灾难推文分类任务中的表现,采用 LoRA 进行参数高效微调,统一最大序列长度为 512 tokens,以探索不同规模模型在序列分类任务中的性能差异。
教程演示了如何使用 Hugging Face Spaces、AutoTrain 和 ChatUI 在不写代码的情况下,基于 LLaMA 2 7B 微调一个开源 LLM 并部署为可共享的聊天应用。
推荐理由:教程面向零基础读者,演示了如何用 AutoTrain 和 Spaces 微调 LLaMA 2 并部署成聊天应用,适合想了解开源模型部署流程的读者。
Mistral AI 发布 7B 参数模型 Mistral 7B,其在标准英语和代码基准测试中超越所有目前可用的 13B 及以下开源模型。该模型基于 Apache 2.0 协议发布,运行速度更快且成本更低,适用于摘要、问答等任务。公司计划在未来几个月内逐步发布缩小黑盒与开源模型性能差距的新模型。
推荐理由:原文展示了 7B 模型超越 13B 开源模型的性能对比,并明确采用 Apache 2.0 协议,为开发者提供了低成本且可控的替代方案。
Mistral AI 发布 Mistral 7B,这是一个 7.3B 参数的大语言模型,采用 Apache 2.0 许可协议,可在本地、HuggingFace、vLLM 等环境中部署使用。
推荐理由:官方给出 7.3B 模型相对 Llama 2 13B 的推理、代码表现和部署路径,可作为 7B 级开源模型能力对比的参照。