arXiv · NLP· Minh Quang Tran, Carter He, Cameron Bloch, Zitai Huang, Thien Truong Vo, Trong Nguyen Tran, Isaac Chen·· 17 天前AI 评分24
HistGramBench:衡量多模态模型将历史数学图示重绘为 TikZ 时的结构恢复能力
HistGramBench: Measuring Structural Recovery When Multimodal Models Redraw Historical Mathematical Diagrams as TikZ
AI 导读
研究团队提出包含 2,507 个历史数学图示的基准 HistGramBench,用于评估多模态模型将其重绘为 TikZ 代码时的结构恢复效果。该基准涵盖 1551 至 1933 年间 8 种语言的 95 部著作,测试 6 款 AI 模型,最佳模型仅能恢复约五分之三的关键几何关系。
来源:arXiv · NLP · arxiv.org