arXiv · ML· Dina EL Zein, Shashi Kumar, James Henderson·· 23 小时前AI 评分23
非参数变分信息瓶颈缓解 LLM 事后记忆的方法
An Information Bottleneck for Post-hoc Memorization Mitigation in LLMs
AI 导读
针对 LLM 复制版权训练数据的问题，提出一种非参数变分信息瓶颈（NVIB）框架。该框架作为模块化插件插入冻结的 LLM 主干与语言建模头之间，通过压缩最终隐层表示来过滤特定记忆序列。 实验显示，NVIB 层在显著降低记忆可提取性的同时，在基准测试中保持了具有竞争力的性能。 这为缓解预训练 LLM 的事后记忆提供了一种实用且架构无关的新方向。
来源：arXiv · ML · arxiv.org