注意力机制 Attention Mechanism #199
Labels
No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
No Milestone
No project
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: HswOAuth/llm_course#199
Loading…
Reference in New Issue
Block a user
No description provided.
Delete Branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
什么是注意力机制
首先提到注意力机制，最需要关注的就是”注意”二字，我们需要注意什么？注意力来源于大数据，数据中包含我们需要的的重要数据，也包含不重要的数据。
但是对于一个模型而言（比如CNN、LSTM），很难决定什么数据重要，什么数据不重要。
由此，注意力机制诞生了。
注意力机制的起源
通过热力图，科学家们发现就像人类在观察事物时会自然地将注意力集中在某些区域：在热力图上，我们会自然将注意力集中到红色区域。在与人接触时，我们会将注意力放在对方的脸/眼睛上。在看文章时，会优先关注文章标题。在看段落时会先注意开头。这些都是视觉注意力。
视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。
这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，极大地提高了视觉信息处理的效率与准确性。
热力图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于上图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。
因此，这些我们自然而然关注的部分，也就是热力图上的红色区域可能包含更多更重要的信息。
注意力机制：我们会把焦点聚焦在比较重要的事务上。
因此，注意力机制（Attention Mechanism）是一种在深度学习模型中用来增强模型对信息重要性的识别能力的技术。它允许模型在处理数据时动态地关注输入序列中的关键部分，从而提高模型的性能和准确性。
怎么做注意力
首先，我们需要了解三个值：Query (Q), Key (K), Value (V)。Query：代表观察者，或者查询值。
Key：代表关键值。
Value：代表被查询对象。
首先我们得明确一个点，注意力模型从大量信息 Values 中筛选出少量重要信息，这些重要信息一定是相对于另外一个信息 Query 而言是重要的，例如对于上面那张婴儿图，Query 就是观察者。也就是说，我们要搭建一个注意力模型，我们必须得要有一个 Query 和一个 Values，然后通过 Query 这个信息从 Values 中筛选出重要信息。
这些概念源自于信息检索系统，举个简单的例子：当你在某电商平台搜索某件商品时（如冬季男士薄款羽绒服），你在搜索引擎上输入的内容便是Query。然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等）。然后从大量的Values中，根据Query和Key的相似度得到匹配的内容筛选出重要信息（Value）。简单点说，就是计算 Query 和 Values 中每个信息的相关程度。
**如何计算Q与V的相关程度**
第一步：计算比较Q和K的相似度
通过刚刚电商购物的例子，我们可以理解这个步骤就是搜索引擎尝试将我们的输入Query（冬季男士薄款羽绒服）与关键值Key（商品的种类，颜色，描述）进行匹配。计算比较 Q 和 K 的相似度，用 f 来表示：
一般第一步计算方法包括四种
最终会返回
第二步：对相似度进行归一化
计算完相似度后，下一步是对这些相似度值进行归一化，以便它们可以被解释为概率。这通过softmax函数实现：这里，
表示第i个Key的权重。除以 
的目的是为了防止由于Key向量的维度 
较大而导致的梯度消失问题。这个操作确保了即使在高维空间中，softmax函数也能稳定地工作。
第三步：计算加权的Value（V）的和
最后一步是使用上一步计算出的权重 𝛼𝑖_αi_ 来对所有的Value向量 𝑉𝑖_Vi_ 进行加权求和，得到最终的Attention向量：这个向量代表了模型对输入序列的“关注”结果，它结合了序列中所有元素的信息，每个元素的重要性由其对应的权重
决定。
总结来说，注意力机制通过计算输入序列中每个元素与当前处理元素的相似度，然后对这些相似度进行归一化处理，最后将这些归一化的相似度应用于Value向量，以生成一个综合了序列中所有元素信息的向量。这个过程允许模型动态地关注输入数据中最重要的部分。