arXiv · NLP· Yasuaki Sumita, Tomoharu Iwata, Toshiyuki Tanaka·· 8 小时前AI 评分29
深度感知模型融合法控制 LLM 多样性与质量权衡
Controlling the Diversity-Quality Trade-Off of LLMs by Merging Models Before and After Alignment
AI 导读
深度感知模型融合法无需额外训练即可控制对齐模型与基础模型间的多样性-质量权衡。该方法将对齐模型低层与基础模型高层结合，旨在提升语义多样性。实验表明，不同层数组合可调节质量与多样性，其表现多数优于温度采样。
来源：arXiv · NLP · arxiv.org