提出 ITP³ 任务与 SPY-Bench:评估大视觉语言模型推理时个性化隐私保护能力
针对隐私个性化问题,研究提出推理时个性化隐私保护(ITP³)任务及基准 SPY-Bench。基准包含 32,700 个样本,覆盖 67 个类别,评测 21 个 SOTA 模型。
针对隐私个性化问题,研究提出推理时个性化隐私保护(ITP³)任务及基准 SPY-Bench。基准包含 32,700 个样本,覆盖 67 个类别,评测 21 个 SOTA 模型。
研究发现提示词引导的分割模型主要依赖病灶范围信息,而非视觉特征。 保留病灶大小词可恢复 84% 至 98% 的性能提升,移除则损失 52% 至 77%。 提示词词汇可预测病灶面积,决定系数达 0.54 至 0.77。
研究将 Qwen3.8-27B 的 248,320 词表缩减至 384 字节级条目,保留原有权重并在 8xH200 上训练 178.6 小时,核心能力在多数基准上与原模型无显著差异。 字符级中文任务性能显著提升,但吞吐量降至原模型的 1/4,且小词表引发 UTF-8 损坏等四种特有失效模式。
研究证实现代推荐模型具有特征不变缩放性,即不同特征改变下性能变化遵循可预测的缩放定律。 研究人员提出一种利用缩放定律和统计推断的方法,通过小规模实验预测全尺度 A/B 测试效果,在 Wukong、HSTU 及 LLM 推荐模型上验证了该方法在 40 多项变更中能准确区分有益与中性/退步变化,大幅降低计算需求。
ForeSpark 提出保工作量推测(WCS)设计,在 vLLM 上实现原型。 其通过联合分配草稿与验证预算,吞吐量较 DSpark 提升最高 1.77x,较自回归解码提升 2.49x。 该框架在保持延迟 SLO 下,可承受比 DSpark 高 1.51x 的请求速率。
TKNP架构将权重放置与注意力所有权解耦,在64块H100上实现长上下文高并发工作负载的完成率提升。 该方法基于vLLM实现,在Llama 3.1 405B和Nemotron-4 340B上评估,吞吐量比DCP提升最高1.7倍。
NEST 是首个儿童中心基准,包含手动标注的短视频,用于评估非语言社交推理。 它构建了从语境到开放式描述的层级化评估体系,发现 VLM 在行为和人际线索解码上存在显著差距。 该基准为早期儿童领域的社交 AI 提供了严格测试平台,并被 NeurIPS 2026 收录。
VLA 模型在 LIBERO 仿真基准中成功率超 95%,但研究表明检索邻近演示的动作块无需策略训练即可达到 91.7% 成功率。 kNN 检索在 LIBERO-Plus 扰动下性能下降最小,且微调主要优化视觉语言骨干作为检索键,而非提升动作泛化。 研究提出离线指标 Local Action Consistency (LAC),用于衡量观测一致性并指导检索键训练,代码与评估已公开。
研究整合 24 种内在动机目标(含好奇心、熵、能力维度)至模型基强化学习框架,通过零样本、少样本及多任务控制评估世界模型质量。 对比观察重建、潜在预测等 3 种表示策略发现,好奇心驱动探索结合观察重建表现最强,但最佳组合依实验而定;在组合视觉任务中,基于 episodic 和 lifelong novelty 的内在动机配合通用循环状态,实现了最优的零样本迁移与少样本适应。
PR-OVD 框架在开放词汇目标检测中通过显式预留新类容量,在两个基准测试中较 SOTA 方法平均提升新类性能 6.5%。 该框架包含全局粗分区、类别级精化及结构提示(Structure Prompt),用于解决基础类偏差导致的语义坍缩,并同步优化决策边界。 PR-OVD 可无缝集成不同检测架构,其有效性在开放词汇分割与分类任务中得到进一步验证。
AptM-GCD 提出属性证据学习与多模态提示机制,在六个数据集上实现 SOTA 性能。 该框架通过 AEL 机制将属性视为局部视觉证据,利用 MPL 将文本证据转化为视觉提示注入多模态提示 Transformer,在单模态及类别不平衡设置下均保持一致的性能增益。 该成果已被 IEEE TPAMI 接收,展示了在多模态感知下的强泛化能力。
TopicScope 框架利用稀疏自编码器(SAE)特征训练因果主题分类器,实现对模型生成过程中每个 token 的主题标记。 在 Gemma-3 1B 和 4B 模型上,基于 prefill 隐状态特征训练的监控器能有效泛化至 decode 阶段,且在干扰下最多仅损失 5 个 macro-F1 点。
summary_zh: MoIF通过Möbius域滤波器及阶次选择性谱正则化,实现多模态幽默检测。 该方法在UR-FUNNY数据集上取得70.6%准确率和加权F1,超过13种复现方法。
框架 AutoScaffold 将强化学习可验证奖励训练中的学生经验转化为自适应支架,无需人工干预。 该框架通过冻结的教师模型诊断瓶颈并设计共享策略与个别提示,在四种任务域中优于对应强化学习基线。 在 ALFWorld 任务成功率提升 7.2 分,数学推理中用约三分之一的学生训练步数超过 QuestA 的准确率。
Pyrite 发布 1,500 个位姿对的基准,发现专家排序表现接近随机。 LLM 智能体 PyriteFeaturizer 准确率达 74%,优于专家;GRPO 训练使开源模型媲美闭源模型。 确立位姿排序能力测试标准,验证 LLM 引导特征发现方法价值。
研究指出 REINFORCE 策略会导致覆盖率坍塌,提出 APMD 算法通过参考重置实现全局收敛。 适用于 Kimi 等模型的 PPO 和 GRPO 变体,确立首个全局收敛保证,明确正则化对优化成本的影响。
提出CCW-Net(因果概念包装网络),首次将干预性中介分析作为训练目标,用于对齐概念解释与模型输出的因果关系。该框架通过必要性、充分性和独立性标准塑造模型的概念表征,在飞机控制、驾驶和图像分类任务中进行了评估。 它使基于概念的解释从相关性的提升为可量化的因果性,支持透明神经模型更安全的评估、认证和部署。
利用符号蒸馏结合神经网络与符号回归,从 21 年再分析数据中发现可解释的南亚季风降水方程。 最佳方程解释的降水方差是广泛使用的浮力诊断的 1.5 倍,恢复约 85% 的神经网络性能,参数数量减少约 1000 倍。 方程揭示低层自由对流层湿度作为竞争控制因子,使降水预测更符合物理一致性。
基于xLSTM的TiRex模型研究表明,将光谱摘要写入初始状态可降低GiftEval MASE 0.175%。 结合文本嵌入与LoRA适配器,该方法在部分数据集上超越全量微调性能。
针对 7-12B 模型在 GSM8K 和 MATH 上的测试表明,注意力探针在 5% 审查预算下平均比连续判决令牌多发现 7.4 个百分点的错误。 在 10% 路由下,探针仅对较弱判官优于随机分配;跨数据集迁移导致探针 AUROC 下降。 内部信号提升领域内预算分配效率,但非通用置信度估计器。
提出PSL-RGHA框架,通过参考梯度半空间对齐机制缓解客户端训练发散。 结合参考梯度渐进构建与梯度半空间对齐两个组件,近似全局下降方向并限制冲突。实验证明其在多种设置下优于现有基线模型。
该研究提出基于大语言模型(LLM)的故障诊断框架 Chain of Physics(CoP),利用自动生成的受限知识图谱在 FailureSensorIQ 基准测试中提升诊断准确率。
Tree-Ising 方法将模型权重修复转化为稀疏离散优化问题,Qwen3.5-0.8B 在 MATH-500 上得分为 54.6%。 该方法通过修改 13%-17% 权重并减少 2.2-2.3 倍比特翻转,仅耗 4 次前向传播及约 $0.90 GPU 费用。 在 Qwen3.5-2B 上,GSM8K 准确率从 21.6% 提升至 69.4%,并在 IBM Heron 处理器验证可行性。
研究人员提出一种基于单极神经元的网络架构及学习规则,通过“回传”机制仅利用奖励信号进行训练。 该模型将神经元建模为被动线段树,利用对称系统特性使权重更新逼近误差梯度。结合任务代码和巩固机制,在 MNIST 和 Iris 序列任务中实现了低遗忘率。
该自监督框架利用近百万条无标签12导联ECG数据,在多个公开数据集上实现AUROC最高提升6.5%,F1提升12.8%,且无需额外微调。 核心模块包括偏差定位嵌入与关联重建嵌入,用于捕捉波形级偏差及跨导联关联。 该方法降低对标注数据的依赖,有助于支持临床早期检测与心血管病监测。
研究显示解释引导学习(EGL)的效果具有目标特异性,Rationale-based 数据增强在特定条件下平均准确率提升最高达 +4.8 pp,伴随前景依赖性增加。
Pooled-Substructure-Aware GNNs 提出一种显式保留池化子结构的图池化方法,在具备层级结构的任务上优于基线模型。 该方法增强了基于池化的 GNN 在 Weisfeiler-Lehman 测试意义下的表达能力,并引入了两个新合成数据集及衡量层级模式普遍性的指标,代码和数据集已公开。
研究提出CAMP-II框架,通过同策略蒸馏训练单一策略学习基于文件的记忆行为,在CAMG-II基准中性能增益达最强基线的2.97倍。 CAMP-II结合完全异步OPD,从具有文件操作先验的冻结教师模型中学习,该记忆行为可泛化至Terminal-Bench 2.1和SWE-Bench Pro V2等外部基准并提升成功率。
BioXArena-Pro 提出 64 项研究级生物医学建模任务,覆盖 8 个领域,多数任务保留整体生物学单元。 测试 22 种智能体配置,最佳得分 55.1/100,框架重要性几乎等同于模型;禁用预训练基础模型使最高分下降 9 分。 该基准旨在检验智能体在未见数据上的适应能力,解决现有评测饱和与信息泄露问题。
提出 TBTCL 框架,将时间行为树 (TBT) 作为统一接口,同时用于定义任务、生成密集鲁棒性奖励、构建课程及诊断策略。 该框架比 LTL 更具表达力且天然分层,能自动提取课程 DAG 并识别瓶颈。在六个离散与连续域评估中,TBT 证明可同时充当规范、奖励、课程和诊断工具。
提出可逆线性层 RB-LDC,通过重平衡潜变量各方向的信噪比(SNR)以匹配解码器敏感度,显著提升扩散模型在噪声干扰下的重建质量。 在 ImageNet 256x256 分辨率实验表明,使用冻结扩散模型时,RB-LDC 在全部 12 种采样进度与通道 SNR 组合中均获得更低的 FID 值,VA-VAE 块局部编码下扰动 FID 平均降低 17.1。
论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。
单细胞反事实编辑中线性交叉协方差惩罚无法完全分离信息,需引入核方法应对非线性交互。 研究通过模拟实验证实,添加归一化希尔伯特-施密特独立性准则能恢复真实干预效应。 该非线性概念瓶颈模型在单细胞RNA-seq数据中提升了反事实表达谱生成能力。
tritify 开源运行时通过精确整数算术实现跨硬件位级可复现推理,SHA-256 哈希验证输出一致性。 验证覆盖 OLMoE 及 106B 参数 GLM-4.5-Air,在 CPU/GPU 及分布机器上保持比特相同,实现可验证分布式推理。 该机制允许不信任服务器运行模型,由开放标量预言机重推导字节,拒绝单设备加速与机密性声明。
针对在线策略自蒸馏(OPSD)在长期训练中因师生分布失配导致性能退化的问题,研究提出自举式在线策略蒸馏(BOPD)框架。 该框架采用两阶段设计:先利用 OPSD 将参考条件信号内化至中间模型,再将该模型蒸馏至全新模型副本,避免误导性监督。 实验表明,BOPD 在数学推理和代码生成任务上的表现优于初始模型及 OPSD 教师模型。
CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。
在低学习率的 RL 后训练中,标准 BF16 混合精度训练因权重粘滞导致收敛速度慢于 FP16。 作者提出在将 FP32 影子权重量化为 BF16 时应用随机舍入,该方法在多个模型和数据集上匹配了 FP16 的收敛速度,同时避免了提高学习率带来的 KL 散度增加,且无需损失缩放。
论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。
研究提出“RSI 税”概念,将递归自我改进的 token 成本计入端到端评估。在持续任务流中,有界笔记基线的准确率匹配或超过 Meta-Harness 等三种 RSI 方法,且总 token 成本平均节省 65.6%-71.0%。
研究提出 Deep Personalization 框架,通过 Observer Agent 持续观察桌面活动并适配干预时机,利用隐式反馈提升主动 Agent 的个性化支持效果。