arXiv · NLP· Seunghan Lee, Jun Seo, Jaehoon Lee, Junhyeok Kang, Sangjun Han, Sungdong Yoo, Minjae Kim, Tae Yoon Lim, Dongwan Kang, Hwanil Choi, Soonyoung Lee, Wonbin Ahn·· 6 小时前AI 评分23
PALM：面向金融语言模型的时点自适应方法
PALM: Point-in-Time Adaptation for Financial Language Models
AI 导读
PALM 通过低秩适配器（LoRA）替代每年重新预训练，有效解决金融语言模型的回视偏差（look-ahead bias）。实验表明，旧版模型的信息系数（IC）不随时间衰减，无需频繁重训即可保持决策效能。 该方法在十年金融新闻及三个时点模型家族上验证了有效性，且增益主要源于金融领域而非时效性。 PALM 以预训练成本的一小部分实现了稳定收益，代码已公开。
来源：arXiv · NLP · arxiv.org