摘要
本文主要针对NLP任务中经典的Transformer模型的来源、用途、网络结构进行了详细描述,对后续NLP研究、注意力机制理解、大模型研究有一定帮助。
1. 引言
在上一篇《Text-to-SQL小白入门(一)》中,我们介绍了Text-to-SQL研究的定义、意义、研究方法以及未来展望,其中在介绍研究方法时,多次提到了Seq2Seq框架以及相应的Encoder-Decoder方法。而今天提到的模型Transformer,是人工智能领域,尤其是NLP领域和CV领域的杰出代表,也是目前最先进的模型之一!
在步入正式学习前,我们先对Seq2Seq方法、Encoder-Decoder方法、Transformer模型做一个简单的区分。
- Encoder-Decoder是一种架构,一种通用的模型结构,只要用到了编码器和解码器就可以称为Encoder-Decoder方法。
- Seq2Seq方法解决的是两个序列之间的映射问题,是Encoder-Decoder方法的一种特殊形式。主要类别有以下几种:
- 基于LSTM的Seq2Seq模型
- 基于CNN的Seq2Seq模型
- 基于RNN的Seq2Seq模型
- 基于Attention的Seq2Seq模型
- Transformer方法是基于自注意力机制self-attention的Seq2Seq模型。
2. Transformer是什么?
2.1. 来源
Transformer模型来源于2017年NIPS(CCF-A)谷歌团队发表的论文《Attention Is All You Need》。目前最火的大模型,比如BERT、GPT系列等都离不开Transformer模型。目前改论文的谷歌学术的被引用次数已经达到84986,如图1所示,这个数据已经可以载入史册了!
图1 论文Attention Is All You Need谷歌学术引用数
插个题外话,Transformer的作者谷歌8子,已经全部离职,arxiv上v6版本也删除了划掉了所有作者的谷歌邮箱,如图2所示。(今年8月初又重新更新了v7版本)
图2 论文Attention Is All You Need作者名单
2.2. 概述
Transformer也是【变形金刚】的英语,台大李宏毅老师也喜欢用变形金刚举例子)
Transformer是一种非常流行的神经网络结构,已经被用于多种自然语言处理任务的大规模预训练模型,如语言模型、机器翻译、文本摘要、问答系统等。
Transformer的主要优点是其并行计算能力,能够处理长文本,同时通过自我注意力机制可以有效地捕捉上下文信息。
3. Transformer有什么用?
在前面的概述中,已经简单介绍了Transformer可以在多个场景广泛应用,接下来举几个例子,更直观感受一下。
- 1 -> N:生成任务,比如输入为一张图片,输出图片的文本描述。
- N -> 1:分类任务,比如输入为一句话,输出这句话的情感分类。
- N -> N:序列标注任务,比如输入一句话,输出该句话的词性标注。
- N -> M:机器翻译任务,比如输入一句中文,输出英文翻译。
3.1. 序列关系为1 vs N
比如生成任务中,图片生成自动描述,就是序列关系1 vs N,如图3所示。
- 输入:长度为1,一张图片
- 输出:长度为N,图片的文本描述
图3 图像生成文本描述例子
3.2. 序列关系为N vs 1
比如分类任务中,序列关系为N vs 1,以文本情感分类sentimental analysis为例。
- 输入:长度为N,一段文本。比如教师评价本文中“今天老师上课非常有趣,我很喜欢”
- 输出:长度为1,文本的情感正/负面倾向,比如得到“正面positive”。
3.3. 序列关系为N vs N
比如有序列标注任务,比如文本词性标注syntactic parsing
- 输入:长度为N,一段文本。
- 输出:长度为N,这段文本每个单词的词性说明(比如最基础的是名词n,动词v,形容词adj等等,实际标注中,比如图4中deep是NP,名词短语;is是VP,动词短语;)
图4 文本词性标注例子
3.4. 序列关系为N vs M
语音识别Speech Recognition任务输入输出如图5所示:
- 输入序列:长度为N,一段语音序列
- 输出序列:长度为M,一段文字“你好吗”
图5 语音识别例子
机器翻译Machine Translation任务的输入输出如图6所示:
- 输入序列:长度为N,一段中文“机器学习”
- 输出序列:长度为M,一段翻译“machine learning”
图6 机器翻译例子
语音翻译Speech Translation任务的输入输出入图7所示:
- 输入序列:长度为N,一段语音“machine learning”
- 输出序列:长度为M,一段翻译“机器学习”
(这个任务也可以用语音识别+机器翻译结合来完成,但是有的语言没有文字,就很难办,但是Transformer模型直接从语音到文字翻译是可以胜任的)
图7 语言翻译例子
4. Transformer具体结构
话不多说,直接上Transformer结构“世界名画”,如图8所示,核心部分主要可以分为Embedding、Positional Encoding、Encoder、Decoder,接下来就分别介绍一下。
图8 transformer结构
4.1. 输入部分
在这里,我们把Input -> Input Embedding -> Positional Encoding 当作输入部分,这部分处理完后,会作为Encoder编码器的输入,如图9所示。
图9 Transformer结构中Encoder和输入部分
4.1.1. Input
在Transformer论文中,作者以机器翻译这个领域为切入点来介绍模型,所以该模型在论文里面的输入输出就对应前面提到的序列关系N vs M。
- 输入:一段文本:比如说“我爱你”
- 输出:一段英语翻译:比如说“I LOVE YOU”
4.1.2. Input Embedding
输入文本信息后,怎么才能让模型获取这个输入呢?所以需要对文本进行编码,让模型可以读取输入。模型读取的一般是向量,所以需要让文本转化为向量,这就是Input Embedding做的事情。
更学术一点的话语是,文本是一种非结构化的数据信息,是不可以直接被计算的。我们需要将这些非结构化的信息转化为结构化的信息,也就是这里的Input embedding。
常用的方法主要用one-hot编码(翻译为独热编码,看起来怪怪的)、整数编码、word embedding(词嵌入)。
4.1.2.1. one-hot
用通俗的话来解释就是:把每一个单词都用某个位为1,其余位全是0的二进制向量来表示,比如如图10所示。
- apple:只有第1位为1,其余都是0,[1 0 0 0 0 …]
- bag:只有第2位为1,其余都是0,[0 1 0 0 0 …]
- cat:只有第3位为1,其余都是0,[0 0 1 0 0 …]
图10 one-hot 和 word embedding编码
one-hot编码优点:
- 存储非常方便
- 计算效率高
缺点也很明显,在实际情况中,文本中很可能出现成千上万个不同的词,这时候向量就会非常长。其中99%以上都是 0。
- 向量如果过于悉数,存储空间浪费严重
- 更重要的是,one-hot编码没有语义信息,无法看出两者单词之间的相似性。
4.1.2.2. 整数编码
通俗解释:把每一个单词都用1个整数来表示,跟one-hot有点类似。
- apple:用数字1表示
- bag:用数字2表示
- cat:用数字3表示
优点:
- 容易实现
- 适用于大量数据
缺点:
- 存储空间利用率低下
- 无法表达词语之间的关系
4.1.2.3. word embedding
前面铺垫了这么多,前面两种方式都无法表达语义关系,那么词嵌入方法就肯定可以了。
word embedding 是文本表示的一类方法。跟 one-hot 编码和整数编码的目的一样。同时词嵌入并不特指某个具体的算法,跟上面2种方式相比,这种方法有几个明显的优势:
- 语义相似的词在向量空间上也会比较相近,如上面的图10所示。
- 可以将文本通过一个低维向量来表达,不像 one-hot 那么长,比如图11中,把“我”编码为一个512维的向量;“你”也是一个512维的向量;“你”也是一个512维的向量。【论文中也是512维】
- 通用性很强,可以用在不同的任务中。
图11 word embedding 示例
word embedding主流的方法有word2vec 和 GloVe。
- word2vec:这是一种基于统计方法来获得词向量的方法。
- GloV: 是对 word2vec 方法的扩展,它将全局统计和 Word2vec 的基于上下文的学习结合了起来。
4.1.3. positional embedding
需要明白为什么有这个positional embedding的存在? 因为在transformer机构中,输入是并行处理的,这样计算效率更高了,但是忽略了文字的先后顺序的重要性。
论文中公式如图12所示,偶数(2i)位置用sin表示,奇数(2i+1)位置用cos表示。
图12 位置编码公示
举个例子,比如“我爱你”中的“爱”这个字, 位置编码可以大概写成[sin,cos,sin,cos…,cos],对应总共512维情况,如图13所示。
图 13 位置编码举例
把word embedding 和 positional embedding之后的输入加起来,作为编码器Encoder最终的输入,如图14所示。
图14 输入编码后相加
这里有个拓展,就是为什么位置编码是有效的?参考图15 本质上还是数学:三角函数的性质+线性代数 更通俗的解释就是: 对于后续某一个位置比如pos+k位置,都可以被前面pos位置和k位置线性组合,这样就说明了相关位置信息
图15 推理位置编码有效
4.2. Encoder编码器
终于,终于,终于到了论文最核心的部分了 论文里面提到的是“We propose a new simple network architecture, the Transformer”,感觉一点也不simple啊
我们先明确一件事情,就是Encoder编码器做了一件什么事情?输入输出的边界是什么?简化版本如图16所示。
- 输入:一堆向量[x1,x2,x3,x4]
- 输出:一堆处理后的向量[h1,h2,h3,h4],长度保持一致。
图16 Encoder编码器输入输出示意图
4.2.1. Attention Mechanism注意力机制
Transformer里面最核心的部分是基本注意力机制的,论文标题也直接是Attention is all you need,那么我们需要了解一下什么注意力机制?
注意力机制(Attention Mechanism)的研究最早受到了人类视觉系统研究的启发。由于人类视网膜不同部位的信息处理能力不同,人们会选择性关注所有信息中的部分信息,同时忽略掉其他信息。为了高效利用视觉信息,人类需要选择视觉区域中的某个部分重点关注,比如图17所示,颜色越深,代表越关注。
比如人们在用电脑观看视频时,会重点关注电脑屏幕上的内容,选择性忽略电脑背景和鼠标键盘等等。
图17 注意力机制可视化
在深度学习领域,注意力机制的本质在于模拟人类视觉效果,关注重要特征,丢弃用处不大的特征。注意力机制在许多任务上取得了巨大的成功,除了在自然语言处理NLP任务应用外,还在计算机视觉CV任务广泛应用(比如图像分类、目标检测、语义分割、视频理解、图像生成、三维视觉、多模态任务和自监督学习等)。
4.2.2. Self-Attention自我注意力机制
前面介绍了基本的注意力机制原理,那么回到论文中,Transformer中的注意力机制是什么样子的? 确实挺“简单”的,计算注意力权重就只有一个公式罢了,理解起来还是需要花点时间。
4.2.2.1. Attention注意力公式
要理解Transformer中的Multi-Head Attention(图18),需要先了解(单头)自注意力机制,也就是论文提到的注意力计算公式Attention(Q,K,V)。
图18 Multi-Head Attention 示例
因为输入其实都只有1个,但是在Multi-Head Attention模块前其实有3个输入,代表Q、K、V,这三个向量都是来源于相同的输入编码,所以是自注意力机制。
4.2.2.2. Q,K,V
Q,K,V是什么?
我们需要知道Q,K,V代表的都是向量,比如Q是一系列[q1,q2,q3,….]集合,K是一系列[k1,k2,k3,…]集合,V是一系列[v1,v2,v3,…]集合。
- q代表的是query查询,后续会和每一个k进行匹配,找到最相似的k
- k代表的是key关键字,后续会被每一个q匹配
- v代表的是value值,代表从输入中提到到的信息
- 注意:每一个key,都对应一个value;计算query和key的匹配程度就是计算两者相关性,相关性越大,代表key对应value的权重也就越大,这就是不同信息的权重不一样,这就是注意力机制!
Q,K,V从哪里来?
Q,K,V是向量乘法得到的,如图19所示。
- 输入是文本“Thinking Machines”,2个单词
- 经过编码embedding后变为[x1,x2],2个向量
- 经过和一个共享的参数W^Q、W^K、W^V【这个参数是可训练的】相乘,就可以得到Q、K、V
- 在这里,Q就是[q1,q2];K就是[k1,k2];V就是[v1,v2]。
图19 Q、K、V来源
Q,K,V怎么用?
用法其实就是图20Attention计算公式,主要分为4步。
- 先使用点乘计算Q和K转置的相似性
- 然后再除以一个系数【这是进行点乘后的数值很大,导致通过softmax后梯度变的很小】
- 然后再经过一个softmax函数归一化,这样就得到了不同的注意力权重
- 最后再和信息value相乘
图20 Attention计算公式
可以举个例子,来说明一下各个参数的计算过程,如图21所示。假设输入仍然是两个单词,编码后得到[x1,x2],通过前面Q、K、V来源,我们得到了[q1,q2];[k1,k2];[v1,v2]
- 先使用点乘计算Q和K转置的相似性,图21里面q1和k1点乘【点乘结果为1,代表两者最相似;点乘结果为0,代表两者最不相似】,其实写k1转置会更合适,但是不影响理解意思。
- q1的大小是1✖️3
- k1转置的大小是3✖️1
- 相乘得到结果的大小1✖️1,比如就是图中的112,同理另外q2相乘得到96,所以得到结果[112 96]
- 然后再除以一个系数,假设这里系数为8,那么结果为[14 12]
- 最后再经过一个softmax函数归一化,得到结果[0.88 0.12],这里图片中写错了,应该是[0.54 0.46],这就是不同的信息权重,这就是注意力机制
- 最后再和信息value[v1,v2]相乘,得到最终的sum
图21 Attention计算举例
在实际的计算过程中,用的都是矩阵乘法,所以是并行计算的,所以Transformer计算效率高,如图22所示。
图22 Attention计算并行计算示例
4.2.3. Multi-Head Attention多头注意力机制
前面提到了单头自注意力机制,这是构成多头注意力机制的基础,论文中使用的是Multi-Head Attention,这里的注意力就是Self-Attention。
为什么需要多头注意力机制?因为卷积操作可以输出多通道,不同的通道可以代表的特征信息,Transformer也借鉴了这个思路,这里的head就有点类似于卷积操作中的channel通道。
多头注意力公式,如图23所示。
图23 多头注意力机制计算公式
同样的,举个例子,我们假设有2个head的情况,输入仍然是两个单词编码,这里假设为[a1,a2],然后经过和共享参数相乘得到Q、K、V,经过head 划分以及计算注意力,最终得到值[b1,b2]
- 因为head = 2, 所以把q1和一个矩阵相乘得到[q1_1, q1_2](有的源代代码中使用的是直接相除均分);同样的,q2和一个矩阵相乘得到[q2_1, q2_2].
- 然后利用Attention(Q,K,V)公式计算得到head1计算的输出b1_1,如图24
- 然后利用Attention(Q,K,V)公式计算得到head2计算的输出b1_2,如图25
- 再把b1_1,b1_2拼接concat[b1_1, b1_2]
- 和一个矩阵相乘得到一个值b1,如图26
- 重复上面步骤,可以得到另一个值b2
- 最终[a1,a2]经过多头注意力机制得到[b1,b2]
图24 多头注意力机制计算b1_1
图25 多头注意力机制计算b1_2
图26 多头注意力机制计算b1
4.2.4. Add残差机制
我们可以发现的是,在论文的Encoder部分中如图27所示,还有一个Add & Norm,这里的Add代表的就是残差,Norm代表的是Layer Normalization。
图27 Transformer中残差和归一化
残差网络的概念来源于CV大佬何恺明2015年提出的ResNet,《Deep Residual Learning for Image Recognition》,谷歌学术引用目前176823!!!目前这个backbone仍然是CV届主流的架构之一。 再提一句,凯明大神将于2024年加入MIT,回归学术界~
残差的概念很简单,就是把原始的输入也加入到了经过注意力机制的输出后面,如图28,这就是ResNet中的残差结构,多了一条shortcut分支,也就是等值变换identity。
- 输入为X
- 分之1输出:经过特征提取的值F(X)
- 分支2输出:经过等值变换的值,就是原始的输入X
- 最终输出为X+F(X)
图28 残差结构示意图
同样的,在我们的Encoder结构中,加上残差结构后的输入输出如下所示。
- 输入:X
- 分之1输出:经过注意力计算提取的值Attention(X)
- 分支2输出:经过等值变换的值,就是原始的输入X
- 最终输出为X+Attention(X)
为什么需要残差结构? 原论文中有详细解释,主要是为了解决层数过多时的梯度消失的现象。 也可以通过数学上的链式求导法则来证明。AI离不开数学!
4.2.5. Layer Normalization
可能会遇到一个区分Batch Normalization vs Layer Normalization,也就是BN vs LN CV里面BN用的多 NLP里面LN用的多 相似点,都是‘强迫’数据保持均值为0,方差为1的正态分布
- BN:批处理归一化,主要针对的是一个batch里面,所有的样本相同维度比如一堆图片,计算图片R、G、B三个通道的均值和方差。
- LN:层归一化,主要针对的是一个样本里面,不同维度取均值和方差。因为如果当文本长度差距比较大的时候,有的文本比如长度为1,有的文本长度为1000000,这样针对所有样本做BN,其实是效果不行的。【论文中用的是LN】
举个例子,如图29所示,这里假设的是二维输入【实际上文本输入是三维的】,假如前面9个文本都是有5个单词构成,第10个文本有20个单词。如果是做BN的话,会默认所有样本的相同位置的字都是有相似的含义的,比如“我”、“今”、“生”、…、“这”都是属于样本的第1个位置,显然他们含义不一样。LN的处理就是默认一个样本里面假设他们的语义信息是有相关性的,所以用来计算均值和方差。
- “我喜欢打球”
- “今天天气好”
- “生活很美好”
- …
- “这句话仅仅只是个例子为了保持长度等于二十”
图29 BN和LN示例
4.2.6. Feed Forward前馈神经网络
直接上公式,如图30所示,其实就是两个全连接层FC(或者叫只有一个隐藏层的MLP)
- 第一个全连接层(xW1 + b1)会把维度从512变换到2048维
- 然后经过Max函数,也就是ReLU激活函数
- 然后第二个全连接层会把维度从2048变回原来的512维,保持了输入输出维度一致,因为还有残差连接。
图30 FFN公式计算示例
不过值得注意的是,Encoder会堆叠N次,论文中N取值为6(Decoder也是堆叠6次),如图31所示。
图31 Encoder堆叠次数
4.3. Decoder解码器
在解码器部分,主要结构和Encoder结构有点类似,如图32所示,不同点主要是:
- 第一个注意力是遮掩后的多头注意力机制Masked Multi-Head Attention
- 第二个多头注意力的输入部分其中1个来源于Masked Multi-Head Attention,其中2个来源于Encoder编码器,这里有个cross attention的概念。
图32 Encoder和 Decoder部分对比
4.3.1. Masked Multi-Head Attention
首先Decoder中的输入部分,首先是来源于output编码后的向量,比如在机器翻译任务中的话,input是“hello world”,output对应的ground truth就是“你好世界”。比如在语音翻译任务中,input是“机器学习”的语音,output对应的ground truth就是“机器学习”文本。
现在把output输入到Masked Multi-Head Attention模块中,跟Multi-Head Attention计算类似,唯一的不同是在计算当前单词的时候,会遮挡住当前单词以及当前单词后续的词(会加入2个特殊符号,一个是BEGIN开始符号,一个END结束符号)。
举个例子,比如是正常的Self-Attention时候,如图33所示。
- 想要输出b1需要结合输入a1,a2,a3,a4
- 想要输出b2需要结合输入a1,a2,a3,a4
- 想要输出b3需要结合输入a1,a2,a3,a4
- 想要输出b4需要结合输入a1,a2,a3,a4
图33 正常的Self-Attention示例
如果是Masked Self-Attention时,如图34所示。
- 想要输出b1需要结合输入a1
- 想要输出b2需要结合输入a1,a2
- 想要输出b3需要结合输入a1,a2,a3
- 想要输出b4需要结合输入a1,a2,a3,a4
图34 Masked Self-Attention示例
更全面的展示,和上面的举例子对应起来就是如图35所示。
- 这里的Decoder的输出部分“机 器 学 习”对应着图34的[b1 b2 b3 b4]
- 这里的Decoder的输入部分“BEGIN 机 器 学”对应着图34的[a1 a2 a3 a4]
- 这里为了和上面对应,还有一个步骤没有画出来,就是会把“习”继续作为Decoder 输入,然后Decoder输出一个“END”符号,那么就结束。
图35 Masked Self-Attention示例
为什么需要mask ? 其实这个跟预测输出的时候,我不能把输出值告诉你有点像,只能通过模型来预测。比如我想要知道这个语音对应的翻译是“机”,我不能把文字“机”也直接输送到模型里面。
4.3.2. Multi-Head Attention
Decoder解码器中的多头注意力机制的QKV来源于Encoder编码器和Decoder解码器,编码器提供K和V,解码器提供Q,如图36所示。
- 解码器Decoder提供的是q,就是一个query,比如是包含BEGIN特殊字符相关信息的
- 编码器Encoder提供的是k1,v1,k2,v2,k3,v3,通过Attention公式计算后得到加权后的值v。所以这里是cross attention.
- 这个值v会经过Add & norm模块、Feed Forward模块、Add & norm模块,然后重复堆叠Decoder模块,如上面提到的图32部分。
图36 Cross Attention示例
4.4. output
终于终于来到了输出部分
这里主要是一个线性层+softmax,如图37所示。
- input 是把所有的数据一次性扔进去
- output 是一个词一个词的扔进去
- 在经过多个Decoder解码器后,比如output 输入的是“BEGIN”字符,最后经过线性层Linear、Softmax层后输出预测的概率,选取概率最大的值就是我们模型最终的预测输出。
图37 output 示例
5. 参考链接
zhuanlan.zhihu.com/p/647249972
参考了很多B站大佬视频,强推
讲的有不对的地方,请批评指正,感谢