Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型,即输入是一种语言,输出是另一种语言。本文将介绍一下Transformer入门的一些必备知识。
1. 词表示
要想把单词输入神经网络,需要将单词进行编码,与ASCII码不同,神经网络所使用的编码往往并不高效,而是更稀疏,从而方便网络提取和使用词的特征。
- One-Hot编码: 一种简单的单词编码方式
One-Hot编码是一种比较简单的单词编码方式。假设我们现在有单词数量为𝑁的词表,那可以生成一个长度为𝑁的向量来表示一个单词,在这个向量中该单词对应的位置数值为1,其余单词对应的位置数值全部为0。
缺点:向量维度过长;向量之间正交,没有关联关系
- Word Embedding: 一种分布式单词表示方式
假设每个单词都可以用𝑛个特征进行表示,即可以使用这𝑛个特征来刻画每个单词,有了这些特征去构建词向量,就能够根据这些特征比较容易地去划分单词的类别,比如”狗”和”蜈蚣”均是动物,在这个角度上说是一类的,他们之间的距离应该要比”狗”和”君子兰”近。
在NLP领域一般直接将模型表示为长度为𝑛的向量让模型去训练(只是每个向量维度具体代表什么含义是不好去解释的)。但好消息是通过合适的词向量学习算法,是可以比较好的学习到单词的语义信息的,语义相近的单词之间的距离会比较近,语义不同的单词之间距离会比较远。
粗暴的理解就是,每个单词表示成了一个向量,向量的每个维度代表了单词的“某个特征”。
2. 编码器-解码器
Seq2Seq将一个作为输入的序列映射为一个作为输出的序列,这一过程由编码(Encoder)输入与解码(Decoder)输出两个环节组成, 编码器负责接收输入序列,并将序列中的信息编码为中间表示即一个向量,这个向量作为输入传给解码器,解码器将中间表示解码为目标序列.
3. 自注意力机制
Transformer改进了RNN被人诟病的训练慢的特点,传统的Encoder-Decoder架构在建模过程中,下一个时刻的计算过程会依赖于上一个时刻的输出,而这种固有的属性就限制了传统的Encoder-Decoder模型就不能以并行的方式进行计算。
而Transformer架构的优点在于它完全摈弃了传统的循环结构,取而代之的是只通过注意力机制来计算模型输入与输出的隐含表示,而这种注意力的名字就是大名鼎鼎的自注意力机制(self-attention)。自注意力机制就是通过某种运算来直接计算得到句子在 编码 过程中每个位置上的注意力权重;然后再以权重和的形式来计算得到整个句子的隐含向量表示。最终,Transformer架构就是基于这种的自注意力机制而构建的Encoder-Decoder模型。
可以理解为Transformer既能将输入的序列所有内容都记住并有效利用,又规避了RNN这种循环架构不能并行的问题,也就是说让网络变得更宽,参数更多,并行度更高,可以有多个提取有用信息的入口,提取之后还能将这些信息有效组织在一起利用。
1. 经典注意力机制
图中展示了一个机器翻译的结果,在这个例子中,我们想将”who are you”翻译为”你是谁”,传统的模型处理方式是一个seq-to-seq的模型,其包含一个encoder端和一个decoder端,其中encoder端对”who are you”进行编码,然后将整句话的信息传递给decoder端,由decoder解码出”我是谁”。在这个过程中,decoder是逐字解码的,在每次解码的过程中,如果接收信息过多,可能会导致模型的内部混乱,从而导致错误结果的出现。
我们可以使用Attention机制来解决这个问题,从图2可以看到,在生成”你”的时候和单词”you”关系比较大,和”who are”关系不大,所以我们更希望在这个过程中能够使用Attention机制,将更多注意力放到”you”上,而不要太多关注”who are”,从而提高整体模型的表现。
图中展示的是生成单词”machine”时的计算方式。首先将前一个时刻的输出状态 𝑞2 和Encoder的输出 ℎ=[ℎ1,ℎ2,ℎ3,ℎ4]进行Attention计算,得到一个当前时刻的 𝑐𝑜𝑛𝑡𝑒𝑥𝑡,用公式可以这样组织:
解释一下,这里的 𝑠(𝑞𝑖,ℎ𝑗)表示注意力打分函数,它是个标量,其大小描述了当前时刻在这些Encoder的结果上的关注程度,然后用softmax对这个结果进行归一化,最后使用加权评价获得当前时刻的上下文向量 𝑐𝑜𝑛𝑡𝑒𝑥𝑡。这个𝑐𝑜𝑛𝑡𝑒𝑥𝑡可以解释为:截止到当前已经有了”I love”,在此基础上下一个时刻应该更加关注源中文语句的哪些内容。这就是关于Attention机制的一个完整计算。
最后,将这个𝑐𝑜𝑛𝑡𝑒𝑥𝑡和上个时刻的输出”love”进行融合作为当前时刻RNN单元的输入。
2. 键值对注意力机制
假设我们的输入信息不再是前边所提到的𝐻=[ℎ1,ℎ2,ℎ3,…,ℎ𝑛],而是更为一般的键值对(key-value pair)形式 (𝐾,𝑉)=[(𝑘1,𝑣1),(𝑘2,𝑣2),…,(𝑘𝑛,𝑣𝑛)] ,相关的 查询向量仍然为 𝑞。这种模式下,一般会使用查询向量 𝑞和相应的键 𝑘𝑖进行计算注意力权值 𝑎𝑖。
当计算出在输入数据上的注意力分布之后,利用注意力分布和键值对中的对应值进行加权融合计算:
3. 多头注意力机制
多头注意力(Multi-Head Attention)是利用多个查询向量 𝑄=[𝑞1,𝑞2,…,𝑞𝑚],并行地从输入信息(𝐾,𝑉)=[(𝑘1,𝑣1),(𝑘2,𝑣2),…,(𝑘𝑛,𝑣𝑛)]中选取多组信息。在查询过程中,每个查询向量 𝑞𝑖将会关注输入信息的不同部分,即从不同的角度上去分析当前的输入信息。
假设 𝑎𝑖𝑗代表第 𝑖 各查询向量 𝑞𝑖 与第 𝑗个输入信息 𝑘𝑗 的注意力权重, 𝑐𝑜𝑛𝑡𝑒𝑥𝑡𝑖 代表由查询向量𝑞𝑖计算得出的Attention输出向量。其计算方式为:
最终将所有查询向量的结果进行拼接作为最终的结果:
公式里的 ⊕表示向量拼接操作。
4. 自注意力机制
在前面几种注意力机制中,使用了一个查询向量 𝑞和对应的输入 𝐻=[ℎ1,ℎ2,…,ℎ𝑛]进行attention计算,这里的查询向量𝑞往往和任务相关,比如基于Seq-to-Seq的机器翻译任务中,这个查询向量𝑞可以是Decoder端前个时刻的输出状态向量。
然而在自注意力 机制(self-Attention)中,这里的查询向量也可以使用输入信息进行生成,而不是选择一个上述任务相关的查询向量。相当于模型读到输入信息后,根据输入信息本身决定当前最重要的信息。
也就是说,自注意力机制的查询向量可以不再依赖前个时刻的输出,可以直接有输入信息产生查询向量,最终构成了查询-键-值(Query-Key-Value)的模式。
Value的权重就是由Query和Key的相似度得来的,即不同的Query可以关注到不同的Value。
Transformer的QKV的计算方法,Q是Query的矩阵,K是Key的矩阵,dk是纬度,注意这里的运算全部为矩阵运算,并行度很高。
首先,需要将原始输入映射到查询空间𝑄、键空间𝐾和值空间𝑉,相关计算公式如下:
接下来,我们将去计算每个位置的注意力分布,并且将相应结果进行加权求和:
最后,为了加快计算效率,这里其实可以使用矩阵计算的方式,一次性计算出所有位置的的Attention输出向量:
总结一下,自注意力机制就是不再使用传统RNN依次输入单个词,后一个依赖前一个获取上下文的方式,转而从输入信息中分别构建查询-键-值(Query-Key-Value),从而可以并行的计算Q、K、V,进而得到后续计算所需要的context,从而极大的加快了运算速度。