合成儿童成人对话数据不符合发展规律

研究表明，合成TinyDialogues数据集虽在词汇层面匹配自然对话，但严重低估了口语交互的碎片化特性。 研究者提出使用真实对话数据进行指令微调，初步实验显示小模型在中等程度的参数高效微调后能近似自然数据的统计倾向。 该发现揭示了当前合成数据在模拟真实语言交互方面的局限性。