注意力机制应用在encoder-decoder模型中，可以使Decoder根据时刻的不同，让每一时刻的输入都有所不同，使处理长输入句子时效果更好，会对目前大多数方法进行抽象，可以将其归纳为三个阶段：1.相似度计算；2.归一化；3.加权求和。注意力机制在机器翻译、阅读理解、语义角色标注、关系抽取等自然语言处理领域有广泛的应用。
原创文章，作者：BFS，如若转载，请注明出处：https://www.isclab.org.cn/2018/10/08/%e6%b3%a8%e6%84%8f%e5%8a%9b%e6%9c%ba%e5%88%b6/