跳到正文
arXiv · AI· Tommy He, Thomas Jiralerspong·· 8 小时前AI 评分31

上下文-答案元模型:首个答案 Token 生成前预测 LLM 激活

Context--Answer Metamodels: Forecasting LLM Activations Before the First Answer Token

AI 导读

研究人员训练了将上下文激活映射为答案激活预测的“上下文-答案元模型”,实现了首个答案 Token 生成前的行为预测。 该模型在 50 万 prompt 数据集上表现良好,支持零样本泛化,且 Qwen2.5 的上下文激活可预测 Qwen3.5 和 Gemma 4 的答案激活。 研究结果表明上下文激活轨迹支持 LLM 答案行为的可扩展预测。

来源:arXiv · AI · arxiv.org