2月12日，谷歌大脑Jakob Uszkoreit到访中国科学院自动化研究所，并作题为Learning Representations With (Self-)Attention的主题学术报告。

　　Jakob Uszkoreit围绕自注意力机制在表征学习中的应用这一主题，简单叙述了在序列学习中循环神经网络并行计算、长距离依赖等缺陷，针对这些缺陷，基于自注意力机制的序列学习应运而生。Jakob Uszkoreit对自注意力机制也进行详细的介绍，并与循环神经网络和卷积神经网络的训练复杂度进行了对比，展现了自注意力机制的优越性。报告对Google Brain团队开发的学习框架Transformer向听众进行了详尽的解释，并将模型训练的细节进行了细致入微的解读。该模型在机器翻译任务上取得了当前最好的效果，在英德翻译任务上高出了之前最好的集成模型2个点以上。Jakob表示，基于自注意力机制的Transformer框架还可以应用到文本生成，图片生成等一些任务中，Google Brain团队对于这些任务也进行了相关的对比实验，取得了相当好的效果。最后，报告对下一步的工作进行归纳，主要包括并行解码和不同分辨率的解析问题。

　　报告加深了大家对自注意力机制概念的理解，对于后续在表征学习中继续开展研究工作提供借鉴和启发。此后，大家就知识融合技术，词向量选择以及Google Brain团队的沟通协作问题与Jakob Uszkoreit进行了充分的交流。