论文提出语义连贯性研究大规模LM

Yaning Jia等研究者发表arXiv论文，提出“语义连贯性”概念，用于衡量语言结构中语义信息的表达效率及大语言模型（LMs）的学习能力。研究显示，在不可能语言样本上微调十亿参数大模型时，更大模型在不可能与可能语言上的表现相似。相较之下，百万参数模型在不可能语言上性能显著下降，且语义复杂度越高差距越大。研究指出，规模扩大使模型学习焦点从语法规则转向语义理解，十亿级模型对低层语言扰动的敏感度降低至三倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。