跳到正文
arXiv · AI· Guangzhi Xiong, Zhenghao He, Bohan Liu, Sanchit Sinha, Wenqian Ye, Aidong Zhang·· 16 小时前AI 评分45

Task Operator 捕获上下文学习动态

Capturing In-Context Learning Dynamics with Task Operators

AI 导读

研究者提出 Task Operator (TO) 方法,通过将注意力头的输出重构为仿射变换来重放上下文学习 (ICL) 过程,从而优化语言模型部署效率。TO 在词汇、算法和推理任务中表现最佳,显著缩小了零样本推理与 ICL 之间的差距。

来源:arXiv · AI · arxiv.org