JimmyLiu刘江2024-04-17CS330MIP–Lecture9自然语言处理-音频信息处理NaturalLanguageProcessing-AudioProcessing

Lecture09ContentsReviewofLecture08Attention/ChatGPT音频信息处理

期中考试情况统计

期中考试

期中考试

期中考试

文本处理发展里程碑词袋模型Bag-of-Words1954词频-逆文档频率TF-IDF1972潜在语义分析LSA1990词嵌入WordEmbedding2013知识图谱KnowledgeGraph2012循环神经网络/长短期记忆RNN/LSTM2014注意力机制/聊天机器人Attention/ChatGPT2017/2022

RecurrentNeuralNetwork(RNN)RNN的结构简单，相比BoW模型，考虑了文本序列的顺序；RNN容易出现梯度爆炸/消失问题；理论上RNN可以处理任意长度的序列输入，但实际上RNN难以捕捉长序列依赖；

长短时记忆LSTM输入门i：根据Xt和ht-1选择接收什么输入信息（0到1值）遗忘门f：根据Xt和ht-1决定保留或遗忘历史信息（0到1值）状态更新g：根据Xt和ht-1决定对细胞状态的一个潜在更新（-1到1值）输出门o：根据Xt和ht-1决定下一个隐状态（0-1值）；细胞单元c：根据ft,it,gt和Ct-1决定维护单元状态；隐藏状态h：根据ot,ct(-1到1值）

Sequence-to-Sequence序列到序列学习S2S由编码器(Encoder)和解码器(Decoder)组成：编码器：将输入文本序列编码成向量；解码器：根据输入，生成对应的文本序列；

Lecture09ContentsReviewofLecture08Attention/ChatGPT音频信息处理

文本处理发展里程碑词袋模型Bag-of-Words1954词频-逆文档频率TF-IDF1972潜在语义分析LSA1990词嵌入WordEmbedding2013知识图谱KnowledgeGraph2012循环神经网络/长短期记忆RNN/LSTM2014注意力机制/聊天机器人Attention/ChatGPT2017/2022

注意力机制(Attention)注意力(Attention)模拟了人类在处理信息时的注意力分配过程。注意力机制的核心思想是根据输入的不同部分的重要性，动态地分配模型的注意力。广义上说，注意力被表达为一个函数，将查询(query)和一组键值对(Key,Value)映射到一个输出。其中，查询、键、值和最终输出都是向量。输出则被计算为值的加权和，每个值的权重由查询与相应键的兼容性函数来表示。

实际上，注意力机制使神经网络能够近似模拟人类使用的视觉注意机制。就像人们处理新场景时，模型会将强烈的“高分辨率”关注点放在图像的某一部分上，同时以“低分辨率”感知周围区域，然后随着网络对场景的理解而调整关注点。

注意力机制(Attention)

Transformer中的注意力机制临床意义整体架构数据集ScaledDot-ProductAttention（缩放点积注意力）是一种常用的自注意力机制，用于在深度学习中对序列数据进行建模。其核心计算部分包括三个主要步骤：点积计算（DotProduct）：首先，将查询（Query）矩阵Q和键（Key）矩阵K进行点积运算。这一步骤计算了查询向量和所有键向量之间的相似度得分，即衡量查询向量与每一个位置上的键向量有多匹配。缩放（Scaling）：由于随着维度d的增加，点积的结果也会迅速增大，可能导致softmax函数梯度变得极小，影响训练效果。因此，对点积结果除以d的平方根进行缩放。这样可以保持各个位置上的注意力得分在softmax之前具有相近的尺度，确保模型收敛性能更好。加权求和（WeightedSum）：最后，将注意力权重矩阵与值（Value）矩阵V进行点积运算，得到最终的上下文向量（ContextVector）。每个输出位置的向量是由值向量经过注意力权重调整后综合而成的。

Transformer中的注意力机制临床意义整体架构数据集Softmax

多头注意力的具体实现方式在Transformer中，注意力模块并行地多次重复其计算。其中每一个都被称为一个注意力头（AttentionHead）。注意力模块将其查询（Query）、键（Key）和值（Value）参数分为N个部分，并分别将每个分割部分通过单独的注意力头独立处理。整体架构数据集

多头注意力与NLP整体架构数据集多头注意力（Multi-HeadAttention）是一种在Transfo