arXiv · AI· Xinhao Zhong, Mengxuan Wu, Chonghua Liao, Linxi Xie, Ruicheng Feng, Yanpei Guo, Hao Tan, Jiaxin Hong, Jason Li, Panpan Zhang, Ziheng Qin, Qinglin Lu, Yuzhang Shang, Tongliang Liu, Damian Borth, Haggai Maron, Yongxiang Hua, Zhixiang Wei, Jian Hu, Yunfei Wu, Xing Sun, Xin Li, Haoyu Cao, Zhangyang Wang, Kai Wang·· 8 小时前AI 评分33
CLIK 通过参数流内部化上下文以实现单次编码多次问答
Encode Once, Answer Many: Internalizing Context via Parametric Flow
AI 导读
研究者提出 CLIK 框架，通过 Transformer 编码器单次前向传播将上下文映射为 LoRA 参数，使模型无需每轮重新编码即可回答查询。生成的适配器可跨同一文档的多个查询复用，摊薄阅读成本。在文档问答任务中，CLIK 显著优于无上下文基线模型，且能迁移至多轮对话场景而无需针对性训练。
来源：arXiv · AI · arxiv.org