跳到正文
arXiv · NLP· Dhruv Trehan, Paras Chopra·· 3 天前AI 评分31

通过未来研究方向选择激发 LLM 的研究品味

Eliciting Research Taste in LLMs through Future Research Direction Choice

AI 导读

研究提出通过让 LLM 从候选未来研究方向中做出选择来量化“研究品味”,构建了基于 19 篇 ML 论文、包含 80 组对比的顺序控制评测集。 测试 8 款 LLM 发现,模型与作者推荐方向的匹配率(author alignment)介于 45.0% 至 67.5% 之间,且存在稳定偏离;模型偏好向规模化与通用性倾斜,该评测为引导 AI 自主科研偏好提供早期描述性依据。

来源:arXiv · NLP · arxiv.org