Transformer原理介绍 #8

New Issue

Open

opened 2024-10-21 11:13:01 +08:00 by GANGUAGUA · 0 comments

GANGUAGUA commented 2024-10-21 11:13:01 +08:00

Copy Link

Transformer介绍

Transformer是2017年谷歌大脑团队在一篇名为《Attention is All You Need》论文中提出的序列模型。

• Seq2seq的模型结构，用以序列预测序列的任务，例如机器翻译。
• 由编码器（Encoder）与解码器（Decoder）组成，每个编码器由1个位置编码层（Encoder）与N个编码层（Decoder）组成，每个解码器由1个位置编码层与N个解码层（Encoder Layer）以及1个以Softmax为激活函数的全连接层组成。
• 第t个编码层的输入是t-1个编码层的输出，解码层同理。
• 模型的输入：以机器翻译为例，例如是将中文翻译成英语的任务，训练时的数据应是中文、英语句子对。编码器输入的是中文，解码器输入的是英文。在做预测时，编码器输入的是要翻译的中文，解码器输入的是模型上一时刻的输出。
• 模型的输出：编码器的输出将作为解码器中某个模块的输入，解码器的输出即整个模型的输出是Softmax归一化后序列类别分布，通常维度是【Batch Size，序列长度，类别数量】。

编码层 Encoding Layer

图中有三种模块，分别是：

1. Multi-Head Attention，多头注意力。
2. Add & Norm, 残差与Layer Normalization
3. Feed Forward，前馈神经网络

Multi-Head Attention 多头注意力：多头注意力与缩放点乘注意力算法

• 缩放点成注意力（Scaled Dot-Product Attention)：

• 其中dk指K向量的维度，Q代表Query向量，K代表Key向量，V代表Value向量。在“编码器”中，Q、K、V都是由输入的序列向量得到。设X为输入的序列向量，则：

• 是模型需训练的三套不同的线性变化参数。
  • 
• 以上的注意力层可称为单头注意力层，而多头注意力Multi-Head Attention是指用不同的的多计算几次单头注意力层的输出之后再全部拼接起来：

- 其中![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728638289825-afdd009e-b54b-4134-af11-8e4ff0ae97e8.png)是模型需训练的线性变化矩阵，维度为【单头注意力层输出向量的长度 x head数量，多头注意力层输入向量的长度（也就是输入向量X的维度）】。它的作用就是将经过多头注意力操作的向量维度再调整至输入时候的维度。

Add & Norm: 残差与Layer Normalization

残差

• 所谓残差就是在经神经网络多层传递后加上最初的向量。作用是当网络层级深时可以有效防止梯度消失

• 图中的传播方式可描述为：^

• 根据链式求导法则，反向传播时为：

_ ∂D_in / ∂ A_out = 1 + (∂ C / ∂ B ) ∙ (∂_ B / ∂ A_out )

• 所以不管网络多深，梯度上都会有个1兜底，不会为0造成梯度消失。

Layer Normalization

• Layer Normalization (LN) 和 Batch Normalization (BN) 类似，都是规范化数据的操作。公式写出来看起来也和BN一样，LN完整的公式如下：

• 

• 

• ε是干扰因子，标准差和均值的计算公式和普通的没什么区别，其实重点是什么叫做第 l 个。只要把 BN 和 LN 的区别给理解了就能理解 l 的含义。

BN与LN的区别

从图片来看：

• 假设Batch size为 3，每个样本有4个特征维度。
• Batch Normalization的均值与标准差是从纵向看的，因此跟Batch size 是存在联系的。
• Layer Normalization的均值与标准差是从横向看的，是算单个数据中自己这些特征维度的均值与标准差，因此跟Batch size没有关系。
• 所以 l 只的是第几个数据

Feed Forward 前馈神经网络

• Transformer 中所谓的前馈神经网络就是MLP的结构。唯一值得一提的是在这个MLP中，输入向量和输出向量是一样的，中间隐藏层的维度可随意调整。

位置编码 Positional Encoding

• 由于Transformer模型中的自注意力机制本身无法感知序列中词汇的位置信息，因此需要添加位置编码来提供这种信息。不管是编码器还是解码器都需要用到位置编码。
• 位置编码通常是固定的，且随着位置的不同而变化，以确保模型能够理解词汇的顺序。这句话可能看起来有些矛盾，但实际上是在描述位置编码的两个特性：
  • 固定性：位置编码是固定的，意味着对于同一个位置，无论在哪个序列中，编码的值都是相同的。这是为了让模型能够学习到一个通用的位置编码模式，而不需要针对每个不同的序列重新学习。
  • 位置依赖性：尽管编码是固定的，但它的值会随着序列中词汇的位置不同而变化。换句话说，对于序列中的每个不同位置，都有一个独特的位置编码与之对应。这样做的目的是为了让模型能够区分序列中词汇的顺序，因为不同的词汇顺序可能会影响句子的意思。
    • 举个例子，假设我们有一个句子 "The cat sits on the mat"，位置编码会为 "The"、"cat"、"sits"、"on"、"the"、"mat" 这些单词分别分配一个唯一的编码，即使 "the" 这个词出现了两次，它在不同位置的编码也是不同的。这样，模型就能够区分 "the" 这个词在句首和句中的位置，进而理解它在句子中的不同作用。
• 在实际应用中，位置编码通常是通过一个预先定义好的函数生成的，比如可以使用正弦和余弦函数的不同频率来为每个位置生成一个唯一的编码向量。这些向量随后会被加到词嵌入（word embeddings）向量上，从而让模型在处理序列数据时能够考虑到词汇的位置信息。

进行位置编码

• 在输入编码层之前，需要进行位置编码：

• 代表这个模型中此时输入向量的维度。pos代表该输入得样本在序列中的位置，从0开始。2i和2i+1得看作两个整体，2i代表该向量中第2i偶数位，2i+1就是第2i+1奇数位。
• 下图展示了pos与i的意义，图中的 x0, x1, x2…代表该向量中的元素。

位置编码的原理

• 三角函数性质的公式：

• 所以将代入上述公式有：
• 所以 PE(M+N) 可由 PE(M) 与 PE(N) 计算得到，也就是说各个位置间可以相互计算得到，所以每个向量都包含了相对位置的信息。

解码器 Decoder

• 解码器比编码器多了：
  • 遮盖的多头注意力层
  • 交互注意力层
• 训练时解码器的输入是预测的序列

遮盖的多头注意力层

• 遮盖的多头注意力层Masked Multi-Head Attention
• 遮盖的意义是为了将未来信息过遮盖住，使得训练出来的模型更准确。
  • 例如输入“我爱中国”，当轮到要预测“中”时，模型获得的信息应该是“我爱新”这三个字。但是Transformer的Attention层做计算时，模型获得的信息将会是“我爱新国”这四个字。则“国”对于“中”来说显然属于未来信息。所以在训练时需要将未来信息都遮盖住。使模型在预测“中”时，获得的信息是“我爱新**”。预测“新”时，获得的信息是“我爱***”。

交互注意力层

• 解码器中的交互注意力层与编码器中的注意力层唯一区别在于，前者计算Query向量的输入是编码器的输出。解码器的注意力层实际上被称为自注意力层。
• 自注意力层的Q，K，V计算方式如下：

• 其中的X即输入的序列。
• 交互注意力层中的Q计算方式如下：

• 其中的即解码器的输出。

## Transformer介绍  Transformer是2017年谷歌大脑团队在一篇名为《Attention is All You Need》论文中提出的序列模型。 + Seq2seq的模型结构，用以序列预测序列的任务，例如机器翻译。 + 由编码器（Encoder）与解码器（Decoder）组成，每个编码器由1个位置编码层（Encoder）与N个编码层（Decoder）组成，每个解码器由1个位置编码层与N个解码层（Encoder Layer）以及1个以Softmax为激活函数的全连接层组成。 + 第t个编码层的输入是t-1个编码层的输出，解码层同理。 + 模型的输入：以机器翻译为例，例如是将中文翻译成英语的任务，训练时的数据应是中文、英语句子对。编码器输入的是中文，解码器输入的是英文。在做预测时，编码器输入的是要翻译的中文，解码器输入的是模型上一时刻的输出。 + 模型的输出：编码器的输出将作为解码器中某个模块的输入，解码器的输出即整个模型的输出是Softmax归一化后序列类别分布，通常维度是【Batch Size，序列长度，类别数量】。 ## 编码层 Encoding Layer  图中有三种模块，分别是： 1. Multi-Head Attention，多头注意力。 2. Add & Norm, 残差与Layer Normalization 3. Feed Forward，前馈神经网络 ### **Multi-Head Attention 多头注意力：多头注意力与缩放点乘注意力算法** + 缩放点成注意力（Scaled Dot-Product Attention)：  + 其中dk指K向量的维度，Q代表Query向量，K代表Key向量，V代表Value向量。在“编码器”中，Q、K、V都是由输入的序列向量得到。设X为输入的序列向量，则：    + 是模型需训练的三套不同的线性变化参数。 -  + 以上的注意力层可称为单头注意力层，而多头注意力Multi-Head Attention是指用不同的的多计算几次单头注意力层的输出之后再全部拼接起来：   - 其中是模型需训练的线性变化矩阵，维度为【单头注意力层输出向量的长度 x head数量，多头注意力层输入向量的长度（也就是输入向量X的维度）】。它的作用就是将经过多头注意力操作的向量维度再调整至输入时候的维度。 ### **Add & Norm: 残差与Layer Normalization** #### **残差** + 所谓残差就是在经神经网络多层传递后加上最初的向量。作用是当网络层级深时可以有效防止梯度消失  + 图中的传播方式可描述为：^  + 根据链式求导法则，反向传播时为： _ ∂_D_in / _∂_ A_out = 1 + (∂ C / _∂_ B ) ∙ (_∂_ B / ∂ A_out ) + 所以不管网络多深，梯度上都会有个1兜底，不会为0造成梯度消失。 #### **Layer Normalization** + Layer Normalization (LN) 和 Batch Normalization (BN) 类似，都是规范化数据的操作。公式写出来看起来也和BN一样，LN完整的公式如下：  +   +   + ε是干扰因子，标准差和均值的计算公式和普通的没什么区别，其实重点是什么叫做第 l 个。只要把 BN 和 LN 的区别给理解了就能理解 l 的含义。 ##### BN与LN的区别  从图片来看： + 假设Batch size为 3，每个样本有4个特征维度。 + Batch Normalization的均值与标准差是从纵向看的，因此跟Batch size 是存在联系的。 + Layer Normalization的均值与标准差是从横向看的，是算单个数据中自己这些特征维度的均值与标准差，因此跟Batch size没有关系。 + 所以 l 只的是第几个数据 ### **Feed Forward 前馈神经网络** + Transformer 中所谓的前馈神经网络就是MLP的结构。唯一值得一提的是在这个MLP中，输入向量和输出向量是一样的，中间隐藏层的维度可随意调整。  ## 位置编码 Positional Encoding  + <font style="color:#060607;background-color:#FFFFFF;">由于Transformer模型中的自注意力机制本身无法感知序列中词汇的位置信息，因此需要添加位置编码来提供这种信息。不管是编码器还是解码器都需要用到位置编码。</font> + 位置编码通常是固定的，且随着位置的不同而变化，以确保模型能够理解词汇的顺序。<font style="color:#060607;background-color:#FFFFFF;">这句话可能看起来有些矛盾，但实际上是在描述位置编码的两个特性：</font> - <font style="color:#060607;background-color:#FFFFFF;">固定性：位置编码是固定的，意味着对于同一个位置，无论在哪个序列中，编码的值都是相同的。这是为了让模型能够学习到一个通用的位置编码模式，而不需要针对每个不同的序列重新学习。</font> - <font style="color:#060607;background-color:#FFFFFF;">位置依赖性：尽管编码是固定的，但它的值会随着序列中词汇的位置不同而变化。换句话说，对于序列中的每个不同位置，都有一个独特的位置编码与之对应。这样做的目的是为了让模型能够区分序列中词汇的顺序，因为不同的词汇顺序可能会影响句子的意思。 </font> * <font style="color:#060607;background-color:#FFFFFF;">举个例子，假设我们有一个句子 "The cat sits on the mat"，位置编码会为 "The"、"cat"、"sits"、"on"、"the"、"mat" 这些单词分别分配一个唯一的编码，即使 "the" 这个词出现了两次，它在不同位置的编码也是不同的。这样，模型就能够区分 "the" 这个词在句首和句中的位置，进而理解它在句子中的不同作用。</font> + 在实际应用中，位置编码通常是通过一个预先定义好的函数生成的，比如可以使用正弦和余弦函数的不同频率来为每个位置生成一个唯一的编码向量。这些向量随后会被加到词嵌入（word embeddings）向量上，从而让模型在处理序列数据时能够考虑到词汇的位置信息。 #### <font style="color:#060607;">进行位置编码</font> + 在输入编码层之前，需要进行位置编码：  + 代表这个模型中此时输入向量的维度。pos代表该输入得样本在序列中的位置，从0开始。2i和2i+1得看作两个整体，2i代表该向量中第2i偶数位，2i+1就是第2i+1奇数位。 + 下图展示了pos与i的意义，图中的 x0, x1, x2…代表该向量中的元素。  #### **位置编码的原理** + 三角函数性质的公式：  + 所以将代入上述公式有： + 所以 PE(M+N) 可由 PE(M) 与 PE(N) 计算得到，也就是说各个位置间可以相互计算得到，所以每个向量都包含了相对位置的信息。 ## 解码器 Decoder  + 解码器比编码器多了： - 遮盖的多头注意力层 - 交互注意力层 + 训练时解码器的输入是预测的序列 ### 遮盖的多头注意力层  + 遮盖的多头注意力层Masked Multi-Head Attention + 遮盖的意义是为了将未来信息过遮盖住，使得训练出来的模型更准确。 - 例如输入“我爱中国”，当轮到要预测“中”时，模型获得的信息应该是“我爱新”这三个字。但是Transformer的Attention层做计算时，模型获得的信息将会是“我爱新国”这四个字。则“国”对于“中”来说显然属于未来信息。所以在训练时需要将未来信息都遮盖住。使模型在预测“中”时，获得的信息是“我爱新**”。预测“新”时，获得的信息是“我爱***”。 ### 交互注意力层  + 解码器中的交互注意力层与编码器中的注意力层唯一区别在于，前者计算Query向量的输入是编码器的输出。解码器的注意力层实际上被称为自注意力层。 + 自注意力层的Q，K，V计算方式如下：    + 其中的X即输入的序列。 + 交互注意力层中的Q计算方式如下：  + 其中的即解码器的输出。

Sign in to join this conversation.

No Branch/Tag Specified

Branches Tags

main

No results found.

Labels

Clear labels

No items

No Label

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_kb#8

No description provided.