LLM数字人何时能可靠替代人类调查?
基于LISS面板研究,LLM数字人在涉及稳定属性和价值观的领域能改善与人类反应分布的一致性,但在个体预测和恢复多维受访者结构方面表现有限。 研究测试了4种架构、3种LLM和2项预测任务,检索增强架构效果最佳。数字人对低变异性问题和常见模式表现最好,对主观、异质或罕见反应表现最差。 结果指出数字人需结合人类验证使用,为调查研究提供了何时适用的实际指导。
基于LISS面板研究,LLM数字人在涉及稳定属性和价值观的领域能改善与人类反应分布的一致性,但在个体预测和恢复多维受访者结构方面表现有限。 研究测试了4种架构、3种LLM和2项预测任务,检索增强架构效果最佳。数字人对低变异性问题和常见模式表现最好,对主观、异质或罕见反应表现最差。 结果指出数字人需结合人类验证使用,为调查研究提供了何时适用的实际指导。
都柏林圣三一学院为电影工程硕士(MPE)课程构建了基于 RAG 的 AI 助教(AI-TA),在 7 周内覆盖 43 名学生、296 次会话、1,889 条查询,学生反馈其有帮助程度均分 4.22/5。
EulerESG 是一个 LLM 驱动的 ESG 披露分析系统,通过显式建模 ESG 框架,自动生成标准对齐的指标表,平均准确率最高达 0.95。 系统结合双通道检索与 LLM 披露分析,并提供交互式仪表盘和聊天机器人用于探索、对标与解释;研究基于四家全球知名企业和十二个 SASB 子行业,并对比了多个近期 LLM 模型。 完整实现与演示视频已公开。
研究者提出 MCA(模态组合感知)框架,用于解决 MLLM 统一编码器在组合多模态检索中因模态捷径导致的分布偏移鲁棒性问题。 该框架包含偏好损失与组合正则化目标,前者要求多模态嵌入优于单模态嵌入,后者将多模态嵌入与其单模态部分构成的原型对齐,显式建模组合表示与单模态对应物之间的结构关系。 在多个基准上的实验显示,MCA 提升了分布外检索性能,论文已被 EMNLP 2026 主会接收。
CTIFoundry 是一个面向 AI 智能体的网络威胁情报语料脚手架,在 CTIConnect 基准上仅替换动作接口,就把同一 harness 的智能体整体 F1 从 0.610 提升到 0.829(gpt-5.4),从 0.470 提升到 0.745(claude-haiku-4-5)。
MORPH 是一个面向"模式保持属性检索"的生成式检索框架,通过 Diffusion Transformer 读取 item 嵌入序列并生成查询嵌入做最近邻搜索,在四个大规模属性域、严格 item 与 pattern holdout 协议下,MOS 训练在每个域-划分单元上均提升主交集指标。
论文主张 RAG 系统应超越单纯事实对齐,转向表征观点丰富的内容,并提出观点感知 RAG(O-RAG)框架。 O-RAG 在检索前利用 LLM 提取并链接实体观点元数据,在电商卖家论坛和酒店评论数据集上,使分布 Wasserstein 距离降低 18%-48%,且 79.2% 的人工评估者更偏好其响应。
研究提出将 LLM 推理能力与检索器结合在 ReAct 智能体循环中的智能体检索方法,在相同嵌入模型下 nDCG@10 提升 8.7 分,且同一流程在 ViDoRe v3 和 BRIGHT 榜单上均取得有竞争力的结果。
针对临床决策支持缺乏可审计链接的问题,CKG 临床解释引擎将患者推理状态与疾病知识转化为类型化事实及结论。在 6,720 名患者的测试集上,数值交叉表保真度与逻辑报告追踪完整性均达到 100%。 该引擎明确区分零激活证据与缺失数据,限制语言生成仅用于符号授权内容,确保 99.7028% 的可用性表示一致性。 研究结果确立了系统的结构与实施可审计性,而非临床正确性或效用。
该框架通过筛选儒家经典提取价值原则,结合物理感知空间相似性检索历史案例,显著提升了模拟环境下的安全与稳定性。 结果提示结构化价值引导可优化模拟闭环安全,但引入了效率与延迟的权衡。
在混合检索下,Markdown 结构化分块在 Qasper 上比 512 字符窗口高 23.0 分,在 FreshStack 上高 5.1 分;每块调用 LLM 生成的丰富化前缀与免费路径前缀相比无显著优势。
研究将上下文检索(ICR)形式化为领域适应问题,处理源分布 P 与目标分布 Q 的差异。 提出了量化 ICR 在分布偏移下收益与局限的理论保证,并在合成及语言任务实验中验证。
研究人员提出 OVAL,一种针对长上下文推理的输出感知页面编码方法,在保留检索所需关键信息的同时显著降低近似误差对注意力输出的影响。该方法免训练且推理时无需额外依赖价值统计量,存储大小与解码评分成本等同仅基于Key的谱表示。实验表明,OVAL 在长推理、长上下文理解及生成基准上持续优于基线模型。
MAGIC 框架在 5-shot 设置下平均提升 Mean Accuracy 和 Final Accuracy 分别达 5.48 和 9.33 个百分点,并降低 Performance Drop 10.78 个百分点。
在 NASA C-MAPSS FD001/FD003 数据集上对比 1D CNN、LSTM 和 Transformer 编码器的三种归因方法。 Integrated Gradients 和遮挡法在 LSTM 上具有相似的忠实性,Transformer 注意力权重廉价且时间平滑但忠实性较弱。
该研究提出了用于训练语言模型 Top-k 选择模块的原理性目标函数,其梯度包含监督梯度和策略梯度两种组件,能提供更丰富的训练信号。该方法在 RAG 文档选择和 MoE 专家路由任务中优于基线模型,收敛速率为 O(1/√T)。
SEER 提出一种闭环框架,通过动态优化事件条件提升时间序列预测精度,解决传统方法无法因果推理事件影响的问题。该框架包含反射式检索记忆与持久因果知识库,严格时间边界防止数据泄漏,在 6 个高波动基准测试中持续优于现有基础模型。
针对共享自行车需求预测中非平稳性与文本融入难题,提出由 LLM 驱动 ZI-ASTGCN 的框架。LLM 将城市文本转化为时空扰动场,注入双分支零膨胀网络。在巴塞罗那 Bicing 数据集上,该模型优于传统神经网络基线,在高需求时段提升显著,已被 2026 IEEE ITSC 录用。
Amazon Bedrock 托管知识库新增智能体检索(Agentic retrieval),通过内置规划循环将多部分问题拆分为子查询并迭代检索,在 MuSiQue 基准上提升多跳问题的召回率。
研究团队提出 \flowreader,将多模长文档证据选择建模为多模态内容图上的最小成本流问题。在 VisDoMBench 使用 Qwen3-VL-32B 模型测试中,该方案取得 68.9 的最高宏观准确率,比最强系统高出 2.7 分,且每次查询平均仅需 17.5 个内容节点。消融实验表明,该方法的成本设计驱动了准确率提升,同时容量限制在保持性能的同时节省了约四分之三的读取令牌。
针对注意力头在生成过程中频繁改变读取行为的问题,研究提出 WakeKV 策略,将冷却中的头移至可恢复的 CPU 存储区。在 Mistral-7B 等模型上,该策略在匹配内存预算下优于固定分类和销毁式驱逐,提升了吞吐率并保留 LongBench 质量。
研究提出 PI-SME 模型,将联邦学习中的累积更新视为梯度场路径积分,并通过高斯-勒让德求积在可学习贝塞尔路径上进行近似。在 CIFAR-100 和 FEMNIST 图像上,该模型比最强代理基线更忠实地重建隐私输入,且在多项反转指标和匹配损失上表现更优。
本研究在 MIMIC-IV 数据集上对联邦学习中的跨时间临床预测进行了基准测试。结果显示,仅 7.55%--21.36% 的 32 步窗口在训练中拥有本地完整锚点,且更细的严重程度分区通常伴随更高的 FedAvg 误差。这些发现确立了时间访问、参与覆盖、优化行为和预测范围作为评估联邦临床世界模型的互补维度。
研究提出前缀证书保留(PCR)方法,解决前缀缓存服务中独立优化缓存块导致的高估问题。PCR将可用的前缀奖励建模为节点,通过最大权闭包转化为单次最小割问题,其图规模与块查找数和超时选择数呈线性关系。在39,632个公开Mooncake请求的时间重放测试中,有序超时在120个固定网格的分组定价案例中,有118个达到了无限制训练的最优值。
该研究通过置换历史评分并保留分布特征,审计了个人AI在结构化评分预测中是依赖历史项目-评分关联还是用户评分倾向。在Coat数据集上,测试的Mem0管道使Qwen和Phi的用户宏平均绝对误差分别增加0.084和0.149,且自举区间不包含零。MovieLens上的对应效应较小且在调整后不显著。一项仅使用历史的岭读取器在两个领域均优于Qwen,并在MovieLens上优于Phi。
HyMLRaman 框架通过结合 EfficientNet-B3 特征提取与 DDPM 生成式数据增强,实现六种药物残留的拉曼光谱识别。在高效基线配置中,该混合模型达到 96.31% 准确率和 96.36% 宏 F1 分数,优于独立 CNN 基线。DDPM 增强在数据受限条件下对部分分类器如 KNN 具有选择性益处,验证了其在药物筛查工作流中的可行性。
一种无训练检测器通过在移除上下文前后重新评分来定位RAG答案中未受支持的句子。在 RAGTruth、TofuEval 和 RAGBench 基准测试中,该检测器的 AUC 比答案级信号高 0.033 至 0.071,最高可达 0.745,且计算成本仅为 LLM 判断器的约 1/47。 (注:严格遵循了80-160字、最多3句、不包含套话、保留专有名词和数字的要求)
针对大型语言模型在检索增强生成(RAG)场景下的检索鲁棒性,研究者构建了包含1,891个样本的基准测试集,并提出三项鲁棒性指标。实验覆盖11个LLM,发现模型鲁棒性随任务类型显著波动,RAG是否优于非RAG需逐案分析。 进一步实验表明,禁用推理功能会导致Qwen和GPT模型鲁棒性显著下降;而以工具响应形式提供检索文档能提升Claude模型表现,却损害Qwen和GPT模型的效果。
Causal Memory Policy (CMP) 提出因果框架,通过干预检索解决记忆效用不可识别问题。在 LongMemEval 和 LoCoMo 数据集上,CMP 将必需与非必需记忆的区分能力从 0.54 提升至 0.66 AUC。
研究团队推出 V-RAGBench 基准与 CARVE 方法,解决长视频检索增强生成中评测偏差与粒度单一问题。CARVE 通过并行检索器与块自适应重排序,在 V-RAGBench 上超越八个现有基线。 V-RAGBench 基于小时级视频的三元组实现检索与生成解耦评测,CARVE 作为免训练方法提升了对第一人称及第三人称长视频的处理表现。
KGPFN 是基于 Prior-Data Fitted Network 构建的知识图谱基础模型,通过在推理时结合可迁移关系表征与结构化上下文学习,实现无需参数更新的知识推理。该模型在 57 个知识图谱上取得了最优平均 MRR 指标,代码已开源。
研究结合低秩适配(LoRA)与确定性路由,利用 NemoTron-3-Embed-1B 模型改进芬兰语和瑞典语的跨语言检索。该方法在保持同语言性能不变的前提下,将六个方向的 nDCG@10 从 0.241 提升至 0.291,相对增益 20.9%,且路由机制确保了文档索引的复用性。
TPBench 评测了 P1、P2、P3 三个信息目标在共享保留预算下的表现。在保留比例为 0.30 时,Llama 读者下所有压缩方法均低于完整上下文。删除携带更新的回合会显著降低当前值准确率,而删除无关回合则影响不变。
研究提出 SBERT2S1 方法,将生物医学 Sentence-Transformers 编码器转化为系统一类型决策模型,并构建了包含 24.3 万条训练数据的 MEDLINE-S1 数据集。
Hop-Decayed Influence (HDI) 攻击利用查询感知影响传播,在 HotpotQA 等基准上针对 Microsoft GraphRAG 等架构实现 88-94% 攻击成功率。 该攻击仅需修改 0.016% 的辅助结构,单次修改可影响多达 6.00 个查询,并以 99% 以上概率规避困惑度防御。
提出 Matryoshka Residual Vector Quantization (MRVQ) 后验残差量化器,单一常驻索引支持维度与比特率弹性向量搜索。在 FiQA 等数据集上,MRVQ 比单独训练的 QINCo2 索引节省 17.8-22.0 倍内存,且内存占用低于 PQ 等基线。MRVQ 是弹性检索的低内存操作点,并非通用质量优胜者。
研究人员发布了一个包含1042道题目的专家验证基准,用于评估大语言模型在哥伦比亚法律体系中的可靠性。 在闭卷选择题中,Gemini 3.1 Pro 的准确率最高达0.905,但所有模型在自由文本法律回答中的事实正确率均不超过0.45。
研究引入 FinSkillBench 评估套件,通过 2,603 个时间点和 12 类子任务验证金融智能体的量化执行能力。 跨 9 个模型的配对分析显示,精选技能包将平均得分提升 16.2 点,显著优于单集生成的 0.5 点增益。 进一步分解发现,可执行工具单独贡献 19.5 点,文档单独贡献 5.6 点,且两者结合呈现次加性,表明技能溢价取决于模型、资源及系统整体。
FLINT 系统通过动态查找代理、嵌入检索模板和遍历外键链路优化 schema linking,将自然语言概念映射为不透明整型键的数据库约束。在涵盖生产金融架构的 359 道测试题上,该系统使用相同 LLM 时优于多种前沿基线模型,并已部署于金融数据检索服务中。
一项配对基准测试评估了 Laya 和 Jev 模型在识别参考答案缺失及拒绝有效候选项上的能力。该研究在 AG News、DBpedia 等数据集上对比了两者的表现,发现两者在原生拒绝行为上差异显著。