Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型，即输入是一种语言，输出是另一种语言。本文将介绍一下Transformer入门的一些必备知识。
1. 词表示
要想把单词输入神经网络，需要将单词进行编码，与ASCII码不同，神经网络所使用的编码往往并不高效，而是更稀疏，从而方便网络提取和使用词的特征。
- One-Hot编码: 一种简单的单词编码方式
One-Hot编码是一种比较简单的单词编码方式。假设我们现在有单词数量为𝑁的词表，那可以生成一个长度为𝑁的向量来表示一个单词，在这个向量中该单词对应的位置数值为1，其余单词对应的位置数值全部为0。
缺点：向量维度过长；向量之间正交，没有关联关系
- Word Embedding: 一种分布式单词表示方式
假设每个单词都可以用𝑛个特征进行表示，即可以使用这𝑛个特征来刻画每个单词，有了这些特征去构建词向量，就能够根据这些特征比较容易地去划分单词的类别，比如”狗”和”蜈蚣”均是动物，在这个角度上说是一类的，他们之间的距离应该要比”狗”和”君子兰”近。
在NLP领域一般直接将模型表示为长度为𝑛的向量让模型去训练(只是每个向量维度具体代表什么含义是不好去解释的)。但好消息是通过合适的词向量学习算法，是可以比较好的学习到单词的语义信息的，语义相近的单词之间的距离会比较近，语义不同的单词之间距离会比较远。
粗暴的理解就是，每个单词表示成了一个向量，向量的每个维度代表了单词的“某个特征”。
2. 编码器-解码器
Seq2Seq将一个作为输入的序列映射为一个作为输出的序列，这一过程由编码（Encoder）输入与解码（Decoder）输出两个环节组成, 编码器负责接收输入序列，并将序列中的信息编码为中间表示即一个向量，这个向量作为输入传给解码器，解码器将中间表示解码为目标序列.
3. 自注意力机制
Transformer改进了RNN被人诟病的训练慢的特点，传统的Encoder-Decoder架构在建模过程中，下一个时刻的计算过程会依赖于上一个时刻的输出，而这种固有的属性就限制了传统的Encoder-Decoder模型就不能以并行的方式进行计算。
而Transformer架构的优点在于它完全摈弃了传统的循环结构，取而代之的是只通过注意力机制来计算模型输入与输出的隐含表示，而这种注意力的名字就是大名鼎鼎的自注意力机制（self-attention）。自注意力机制就是通过某种运算来直接计算得到句子在 编码 过程中每个位置上的注意力权重；然后再以权重和的形式来计算得到整个句子的隐含向量表示。最终，Transformer架构就是基于这种的自注意力机制而构建的Encoder-Decoder模型。
可以理解为Transformer既能将输入的序列所有内容都记住并有效利用，又规避了RNN这种循环架构不能并行的问题，也就是说让网络变得更宽，参数更多，并行度更高，可以有多个提取有用信息的入口，提取之后还能将这些信息有效组织在一起利用。
1. 经典注意力机制
图中展示了一个机器翻译的结果，在这个例子中，我们想将”who are you”翻译为”你是谁”，传统的模型处理方式是一个seq-to-seq的模型，其包含一个encoder端和一个decoder端，其中encoder端对”who are you”进行编码，然后将整句话的信息传递给decoder端，由decoder解码出”我是谁”。在这个过程中，decoder是逐字解码的，在每次解码的过程中，如果接收信息过多，可能会导致模型的内部混乱，从而导致错误结果的出现。
我们可以使用Attention机制来解决这个问题，从图2可以看到，在生成”你”的时候和单词”you”关系比较大，和”who are”关系不大，所以我们更希望在这个过程中能够使用Attention机制，将更多注意力放到”you”上，而不要太多关注”who are”，从而提高整体模型的表现。
图中展示的是生成单词”machine”时的计算方式。首先将前一个时刻的输出状态 𝑞2 和Encoder的输出 ℎ=[ℎ1,ℎ2,ℎ3,ℎ4]进行Attention计算，得到一个当前时刻的 𝑐𝑜𝑛𝑡𝑒𝑥𝑡，用公式可以这样组织：
解释一下，这里的 𝑠(𝑞𝑖,ℎ𝑗)表示注意力打分函数，它是个标量，其大小描述了当前时刻在这些Encoder的结果上的关注程度，然后用softmax对这个结果进行归一化，最后使用加权评价获得当前时刻的上下文向量 𝑐𝑜𝑛𝑡𝑒𝑥𝑡。这个𝑐𝑜𝑛𝑡𝑒𝑥𝑡可以解释为：截止到当前已经有了”I love”，在此基础上下一个时刻应该更加关注源中文语句的哪些内容。这就是关于Attention机制的一个完整计算。
最后，将这个𝑐𝑜𝑛𝑡𝑒𝑥𝑡和上个时刻的输出”love”进行融合作为当前时刻RNN单元的输入。
2. 键值对注意力机制
假设我们的输入信息不再是前边所提到的𝐻=[ℎ1,ℎ2,ℎ3,…,ℎ𝑛]，而是更为一般的键值对（key-value pair）形式 (𝐾,𝑉)=[(𝑘1,𝑣1),(𝑘2,𝑣2),…,(𝑘𝑛,𝑣𝑛)] ，相关的 查询向量仍然为 𝑞。这种模式下，一般会使用查询向量 𝑞和相应的键 𝑘𝑖进行计算注意力权值 𝑎𝑖。
当计算出在输入数据上的注意力分布之后，利用注意力分布和键值对中的对应值进行加权融合计算：
3. 多头注意力机制
多头注意力(Multi-Head Attention)是利用多个查询向量 𝑄=[𝑞1,𝑞2,…,𝑞𝑚]，并行地从输入信息(𝐾,𝑉)=[(𝑘1,𝑣1),(𝑘2,𝑣2),…,(𝑘𝑛,𝑣𝑛)]中选取多组信息。在查询过程中，每个查询向量 𝑞𝑖将会关注输入信息的不同部分，即从不同的角度上去分析当前的输入信息。
假设 𝑎𝑖𝑗代表第 𝑖 各查询向量 𝑞𝑖 与第 𝑗个输入信息 𝑘𝑗 的注意力权重， 𝑐𝑜𝑛𝑡𝑒𝑥𝑡𝑖 代表由查询向量𝑞𝑖计算得出的Attention输出向量。其计算方式为：
最终将所有查询向量的结果进行拼接作为最终的结果：
公式里的 ⊕表示向量拼接操作。
4. 自注意力机制
在前面几种注意力机制中，使用了一个查询向量 𝑞和对应的输入 𝐻=[ℎ1,ℎ2,…,ℎ𝑛]进行attention计算，这里的查询向量𝑞往往和任务相关，比如基于Seq-to-Seq的机器翻译任务中，这个查询向量𝑞可以是Decoder端前个时刻的输出状态向量。
然而在自注意力 机制（self-Attention）中，这里的查询向量也可以使用输入信息进行生成，而不是选择一个上述任务相关的查询向量。相当于模型读到输入信息后，根据输入信息本身决定当前最重要的信息。
也就是说，自注意力机制的查询向量可以不再依赖前个时刻的输出，可以直接有输入信息产生查询向量，最终构成了查询-键-值（Query-Key-Value）的模式。
Value的权重就是由Query和Key的相似度得来的，即不同的Query可以关注到不同的Value。
Transformer的QKV的计算方法，Q是Query的矩阵，K是Key的矩阵，dk是纬度，注意这里的运算全部为矩阵运算，并行度很高。
首先，需要将原始输入映射到查询空间𝑄、键空间𝐾和值空间𝑉，相关计算公式如下：
接下来，我们将去计算每个位置的注意力分布，并且将相应结果进行加权求和：
最后，为了加快计算效率，这里其实可以使用矩阵计算的方式，一次性计算出所有位置的的Attention输出向量：
总结一下，自注意力机制就是不再使用传统RNN依次输入单个词，后一个依赖前一个获取上下文的方式，转而从输入信息中分别构建查询-键-值（Query-Key-Value），从而可以并行的计算Q、K、V，进而得到后续计算所需要的context，从而极大的加快了运算速度。
