arXiv · ML· Patrick Reichherzer, Jonathan Evertz, Thorsten Holz·· 24 天前AI 评分30
基于 ALE 估计微调 LLM 罕见故障率
Amplify, Locate, Estimate (ALE) on Rare-Failure Rates of Fine-Tuned LLMs
AI 导读
针对安全微调 LLM 罕见故障率难以直接采样测量问题,研究提出 ALE 方法,利用 token 对数概率变化定义放大方向以高效估计故障概率。 在 41 个评估目标中,37 个 ALE 估计与独立直接测量值在 3 倍误差范围内;在 Qwen3-8B 微调实验中,仅需约 1000 次标记 rollout 即可估计低至 10^-5 的故障率。
来源:arXiv · ML · arxiv.org