arXiv · NLP· Bahaeddin T\"urko\u{g}lu·· 3 天前AI 评分31
开放权重LLM技术报告的消融、可复现性与透明度分析:一项40篇报告的实证研究
The novelty exposed: ablation, reproducibility and transparency in 40 technical reports of open-weight large language models (LLMs)
AI 导读
研究分析了Hugging Face库中40篇LLM技术报告,发现多数新架构复用Llama组件,且仅19项创新声明有对照消融支持,可复现性披露极低。 具体数据显示,48个2025年新增架构中39个复用至少两个核心模块,73项创新声明中仅19项提供对照实验,40篇报告仅1篇同时披露数据混合、Token数与算力。 研究提出七项报告准则,强调LLM发布需加强消融验证与透明度,未测试声明不等同于错误。
来源:arXiv · NLP · arxiv.org