跳到正文
arXiv · AI· Jihoon Kwon, Jiwon Choi, Jy-yong Sohn·· 2 天前AI 评分23

上下文学习任务向量的分布对齐设计准则

Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning

AI 导读

论文提出 $d_{\text{NTP}}$ 度量以量化任务向量与上下文学习在下一 token 概率上的差异,并指出其与下游准确率呈强负相关。 作者基于此设计线性任务向量(LTV)方法,通过闭式线性映射最小化该度量。

来源:arXiv · AI · arxiv.org