Transformer 在电子健康记录中编码数值的方法分析

研究比较了离散、连续及混合数值编码策略在 Transformer 处理电子健康记录（EHR）中的表现，发现显式建模值-概念交互的方法在精度敏感任务上表现最佳。 混合 Token 方法通过分箱保留数值，提供了更鲁棒的替代方案，最优分箱数遵循随数据集大小变化的幂律。结果表明，在实际部署中，鲁棒性和可用性往往比最大数值精度更重要，混合方法可视为实用默认选择。