跳到正文
arXiv · ML· Luis Mickeler, Kai Lion, Alfonso Nardi, Jost Kellner, Pierre Didier, Bhavin J. Shastri, Niao He, Rachel Grange·· 7 小时前AI 评分38

基于薄膜铌酸锂MZM的Transformer注意力电光非线性实现

Integrated electro-optic attention nonlinearities for transformers

AI 导读

研究采用薄膜铌酸锂马赫-曾德尔调制器作为模拟计算单元,在Vision Transformers和GPT-2上接近数字基线性能。 实验在10 GBaud符号率下表征电光响应,并在4-bit输入输出量化条件下验证模型鲁棒性。分析显示整体延迟比现有电子及光子Softmax实现降低一个数量级以上。

来源:arXiv · ML · arxiv.org