BULLPEN 多通道嵌入框架发布

2026 年 11 月 2 日，Russell Ro 等人在 arXiv 发布论文，介绍了 BULLPEN 框架。该框架全称为“通过画像编码理解大型语言模型行为”，旨在通过多通道模型嵌入实现高效的 LLM 画像分析。 BULLPEN 扩展了现有的 EmbedLLM 框架，通过整合答案文本、正确性和问题文本三个维度，显著提升了评估效率。其核心优势在于，仅需使用 400 个探针问题，即占完整评估池 1.3% 的推理计算量，即可生成有效的模型嵌入。 研究团队在 260 个开放权重模型上进行了测试。结果显示，基于答案文本的编码器在新任务中得分 0.48（标准差 0.10），优于最佳前代编码器的 0.35（标准差 0.10）。数据显示，读取答案文本的编码器仅凭 400 个问题便能保留至少 91% 的完整池技能表现，代码与数据已公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。