细调权重中的后门触发器可读性研究
研究显示,后门语言模型的触发器仅通过权重即可被识别,无需运行模型。 该方法利用静态统计读取细调检查点,无需数据、标记毒化模型群体或预先知道后门存在,即可将触发短语中的一个词元标记为词汇表中的最高候选项。
研究显示,后门语言模型的触发器仅通过权重即可被识别,无需运行模型。 该方法利用静态统计读取细调检查点,无需数据、标记毒化模型群体或预先知道后门存在,即可将触发短语中的一个词元标记为词汇表中的最高候选项。
论文提出 AI 智能体应对执行中断的最优策略,基于有效中断深度的阈值决定修复、重新规划或放弃目标。 模型显示单次故障需重新验证 1+R(G)/n 个动作,串行计划在原始损伤约为并行计划 w 倍时切换至重新规划。 数值检查器通过 160 万次静态模型评估验证命题,零违规,且复现基准测试的区间翻转。
DH-BPR 框架结合 LLM 与规则技术,通过事件日志自动检测并应用业务流程再造启发式规则,最终输出优化后的 BPMN 模型及资源模型。 该框架实现了从用户驱动向数据驱动的转变,支持联合设计与记录应用计划。基于合成基准及两个真实事件日志的模拟评估显示,该框架将平均案例完成时间最多缩短 61.5%。
研究团队提出 NetBreaker 基准,旨在评估学习时代网络拆解算法的性能。该基准整合 30 种方法(18 种非学习、12 种学习)并在 8 个统一领域的 185 个网络(节点数 14 至 1.69 百万)上测试,通过统一执行协议将异构输出转化为节点移除序列进行评估。
审计发现 SmellNet 在未知成分组合识别中存在严重协议缺陷,四种架构模型在获知成分数量的协议下,90-96% 的混合样本被错误识别出不存在的成分。 官方测试集上,二元混合物中排名第一的成分准确率仅为 29-46%,且模型对训练集高频成分存在偏好,导致错误分布在所有架构间高度一致。 该研究表明识别瓶颈源于成分混淆与频率偏差而非模型架构,建议采用集级错误指标并移除先知数量进行评测。
研究人员提出针对社会部署 AI Agent 的行为一致性评估框架,通过标准化测试电池测量行为差异、一致性及漂移。 该框架沿五个可测量轴操作化 Agent 行为,覆盖六种社会敏感交互场景,利用受控 persona 配置作为实验锚点验证行为差异的持久性。 此工作将焦点从 persona 设计转向行为保证,为评估 AI Agent 是否在用户遭遇的各种情境中按预期一致且可测量地运作提供了基础。
summary_zh: EHRDiB 提出了一种统一电子健康记录(EHR)补全与合成的框架,结合共享多模态表示与证据条件化潜在扩散桥,区分原始缺失与隐藏输入。
研究提出 SCOPE 框架,将节点结构指纹映射为共享低秩基上的系数,生成上下文特定的全局权重矩阵更新。 指纹缓存后推理仅需前向传播,无需在线消息传递。在 OGB 节点分类任务中,条件化权重比输入拼接原始位置信号带来显著提升,证明图结构决定了预测器而非仅提供证据。
该框架通过反馈级联优化 Craftax 策略,将最终关卡到达率从 <1% 提升至 50%。 优化策略被分解为环境解释器 $I$ 与规则程序 $p_0$,生成的目标编译器 $C_{\theta}$ 能将短任务零样本迁移至长任务。 该方法无需推理时 LLM 调用即可实现策略复用,显著提升长 horizon 任务效率。
rta-bench-1 基准测试在 91 次运行中发现,6 个 LLM 交易模型的收益均不显著,决策表现不如随机选股。 市场与风格暴露贡献了中位数 78% 的收益,且移除新闻标题后模型收益未下降。 该研究指出当前 LLM 交易智能体缺乏独立选股能力,建议基准测试按发布时间回放新闻数据。
研究发现,在策略蒸馏(OPD)过程中,教师模型中植入的条件后门可高效传播至学生模型,且效果强于传统蒸馏。 机制分析表明,后门信号主要通过教师模型在触发与干净输入间的异常条件概率差异传递,并内化于学生模型表示中。 基于此,论文提出了一种针对该传播场景定制的 OPD 训练方法,以抑制源头异常信号,缓解不可信教师监督带来的后门转移风险。
Ultra-CAN实现单混沌波形驱动下的遥测与测距双功能,支持int8部署。 模型含27.6k-44.2k参数,240MHz微控制器上16.9ms完成突发决策,能量2.2-3.4mJ。 在四个空中集群场景中排名前列,BER低至4.6×10^-4,障碍物识别率66.8%。
该研究提出自动化SFT数据引擎LogT,通过强制逻辑链引导生成高质量训练数据,解决视觉搜索中逻辑推理与工具使用挑战。 在Qwen2.5-VL-7B和InternVL3.5-8B上验证,LogT-SFT仅用3.1倍更少的数据和120倍以上更少的GPU小时,超越SFT和RL训练的SOTA模型。 应用简单RL配方后,模型性能比复杂RL设置方法高出9.59分,并展现出更高工具使用准确性与结构化推理轨迹。
研究提出基于间隔正则化的微调方法,在 GSM8K 数据集上将 Token 翻转率降低 35%,分歧率从 53.8% 降至 38.1%。 该方法通过惩罚模型 top-1 与 top-2 logit 间隔至噪声分位的两倍,代价是准确率损失 1.3 至 2.9 分,且不影响确定性所需的 logit 间隔阈值。
提出 Program Distillation (PD) 框架,将 LLM 从 System 2 到 System 0 的能力转移形式化,通过生成可执行程序在部署阶段降低推理时间。
论文提出 PMR 路由,通过共享原型和拥堵定价实现 MoE 专家选择与负载分配解耦,训练吞吐量提升超 20 倍。 在 0.43B 至 1.18B 参数模型中,PMR 相比线性路由基线在七个基准测试上的平均零样本准确率提升 1.45 至 2.65 个百分点。
针对纵向用药轨迹中的异常检测,该研究提出知识引导局部到全局(L2G)异常学习框架,通过三级代理监督和共享评分头实现局部偏差与账户级决策的关联。 该框架利用药物多集编码器和因果访问序列编码器生成访问级异常日志,并通过Top-α聚合推导账户级分数。在City-A城市队列实验中,L2G表现优于最强基线方法,且在跨城市定位任务中展现出更一致的性能提升。
研究提出 DECOY 方法,通过扰动无关细节测试模型对物理问题的捷径敏感性。Qwen2.5-7B-Instruct 在 50.0% 的测试案例中表现出敏感性,高于 Llama-3.1-8B-Instruct 的 22.9%。
summary_zh: SARGO提出了一种后训练框架,通过基于策略自我引导实现选择性强化和抑制,以缓解视觉语言模型中的视觉幻觉问题。 该方法在Qwen3-VL-4B、Qwen3-VL-8B和Gemma3-4B模型上进行了实验,结果显示SARGO在Obj-Hal、AMBER、THRONE和SHR评估中表现优于现有基线方法。
研究者提出了计算多类分类中 Familywise(FW)损失函数梯度的 O(K) 时间复杂度算法,并开发了性能优于交叉熵(CE)的前向与反向传播内核。 这些内核在 CPU 和 GPU 上的运行速度均超过了 CE。
LLM Agent 完成 CFD 模拟运行不等同于结果可用。UrbanWind-AgentBench 含 200 个任务和 367 个案例,采用结构分与数值分双层评分。
研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。
在 98 个配对编码任务中,向 Gemma 4 31B 注入最后发现作为提醒未产生可测量差异,解决率差异为 -1.0 点(95% 区间 [-8.3, +6.3])。
研究发现 8B LLM Critic 在 8 个表格数据集中有 7 个使 AutoML 搜索性能低于随机搜索,最大 AUC 损失达 0.245。 故障注入实验显示非方向性错误代价极低,但方向性错误消耗有限搜索机会。 团队将发布 CRITFAULT,这是首个检测 AutoML 中有害 Critic 反馈的基准。
研究团队构建 AttentionUNet-CA 模型,在印度勒克瑙土地利用变化模拟中对比了多种基线,发现其在变化区域表现优于随机森林,但未超越无变化假设的零模型。
HeteroWear框架通过八个数据集的自监督预训练,提升了异构可穿戴设备的活动识别精度。在PAMAP2等基准测试中,其平均macro-F1较同架构从零训练提升3.6个百分点。
研究指出循环模型状态迁移所需的最小连续因果记忆,等于提升系数系统的可达维数减去锚定状态信息。对于可控 d 状态模型,标量输入最多需要 k d 个额外实数坐标,即使矩阵替换方向在流式传输后才揭示。单秩一方向即可要求全部 k d 坐标。 在小语言模型实验中,等记忆三次插值比三阶系数提高了平均状态保真度,但未带来有意义的预测增益。
评估发现10款模型在1,464例耐药案例中推荐了21.8%-81.4%的耐药疗法。 GPT-4o在错误归因反向结论时推荐率高达95.2%,而提供正确证据可使强推荐降至0.3%-3.5%。 研究指出模型在证据强度较弱时难以区分耐药与敏感,影响了临床辅助决策的可靠性。
NI-ACT框架将皮层信号解读为持续意图以驱动机器人抓取,在反事实任务中意图替换改变了抓取行为。 将群体潜在变量作为意图token使抓取完成率从69%升至81%,PMd区域读取效果优于M1(77% vs 53%)。 证明神经信号的表征方式及读取时空位置共同决定了向具身智能体传达运动目标的有效性。
双向对数线性注意力通过结合正向与锚定序列起点的反向层级,在保持因果性前提下实现了对早期和近期上下文更精细的访问。 在等参数匹配的语言模型测试中,该机制将 RULER 基准下 6144 token 上下文的针在草堆任务平均得分从 26.97% 提升至 50.03%。 多查询关联召回测试中,其平均准确率由 76.37% 升至 96.12%,且优于正向对数线性注意力。
语言模型通过权重空间编程,无梯度下降地手动固定前馈网络所有参数,完成统计推断与目标变量预测。 方法将数据集与网络架构输入模型,直接输出权重与偏置数值,预注册预期分数。测试涵盖玩具问题、合成数据及经典基准,在两个层级击败梯度下降训练的基线。 核心发现是线性分离器训练误差可预测隐层有效性,弥补复合复杂度指数的不足。
针对LLM智能体工具调用中的低效行为,论文提出在线中间件ToolPulse。该机制结合状态规则、语义序列分析与交互特征相似度,在调用前监控及执行后检查,通过口头提醒或结构化反馈辅助代理。
基于1000份全球ML与SE职位数据的分析显示,88.6%的ML职位要求合作技能,72.2%要求沟通技能,显著高于以往基于关键词的估算。 约五分之一的合作及四分之一的沟通要求以隐含方式表达;ML职位更侧重面向受众的展示,而SE职位侧重团队内部实践。
研究揭示在线策略蒸馏会重塑大语言模型智能体的 ReAct 交互模式。 跨域蒸馏产生显著迁移效应:通用推理监督将数学工具尝试率从 70.4% 降至 14.4%,但准确率从 16.7% 提升至 38.0%;而 ALFWorld 监督导致 $\tau^2$-bench 准确率从 41.5% 骤降至 6.6%。
研究形式化了拒绝安全性与有界授权完整性,针对3个模型、5种提示策略、4种运行时审批设计等配置,审计了模型选择、执行框架调度及工作流路由三个执行边界。 实验发现300次批准中有7次未完成,并行确认导致每个模型在3个任务中丢失已批准分支,336/672个CrewAI批准被遗漏,且59个n8n工作流中有4个在拒绝后仍执行。
研究提出 Facto 自监督语音分词器,通过分解静态与动态信息提升 token 对噪声扰动的鲁棒性。 方法基于线性分解处理未见说话人,理论分析了收敛与扩展特性,并验证了其在 TTS 和语音转换任务中的性能提升。 代码与模型检查点已开源发布。
研究者提出名为CompoundingKernel的自改进Agent系统,能通过搜索编写GPU内核。截至2026年11月11日,生成的内核在SOL-ExecBench公开的L1、L2和量化板上排名第1,比基准参考基线快4.40倍。
研究提出SLICES框架,用于在共享临床设置下对比评估ICU时间序列的自监督学习方法。该框架基于MIMIC-IV和eICU-CRD数据集,固定使用Transformer编码器和24小时输入,涵盖MAE、JEPA及对比学习等参考实现。
研究发现,通过有限预算更新参数化语义记忆,Agent 可在引入新事实的同时保留旧信息。 使用冻结的 4B 语言模型配合 LoRA 微调,随着更新预算从 8 增至 32,联合成功率从 6.25% 大幅提升至 94.79%。 该机制有效解决物理 AI 系统在场景配置变化时的记忆冲突问题。
研究者提出 Self-Improvement Memory(SIM),在四个领域实验中,跨数据集与跨模型场景下最终得分高于仅用 harness 或根因的延续方法。 SIM 按 recurring harness problem 归组编辑,记录 rationale、预测与实际结果及评估上下文;十次独立 coding 源运行中,配对延续平均最终得分提升 2.36 分($p=0.003$)。