跳到正文
arXiv · NLP· Ran Li, Shimin Di, Zeyu Ren, Ling Yue, Jiachuan Wang, Lei Chen·· 17 天前AI 评分35

Latent Harness:将智能体行为编译为块后激活偏移

Latent Harness: Compiling Agent Behaviors into Post-Block Activation Shifts

AI 导读

提出 Latent Harness 技术,将外部 Harness 蒸馏为秩 8 激活偏移,应用于冻结骨干网每个解码器块输出,仅占用 0.03-0.05% 参数,推理时无需 Harness 文本且无额外 token。 在 8/10 预注册设置中恢复源 Harness 增益,相同容量下以 1/11.1 的参数量优于 LoRA,并在 1B 至 8B 模型间实现零样本迁移。

来源:arXiv · NLP · arxiv.org