硬件、CPU、GPU概念
一个处理器（也被称为CPU），它除了能够运行操作系统和许多其他功能之外，还能够执行我们给它的程序，通常由8个或更多个核心组成。
内存（随机访问存储，RAM）用于存储和检索计算结果，如权重向量和激活参数，以及训练数据。
一个或多个以太网连接，速度从1GB/s到100GB/s不等。在高端服务器上可能用到更高级的互连。
高速扩展总线（PCI...
BERT来自Transformers的双向编码器表示
在预训练之后，输出可以被认为是一个矩阵，其中每一行都是一个表示预定义词表中词的向量。事实上，这些词嵌入模型都是与上下文无关的。
BERT 是“Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型（Autoencoder LM），并且其设计了两...
微调BERT
一方面，在提出时，BERT改进了各种自然语言处理任务的技术水平。
另一方面，原始BERT模型的两个版本分别带有1.1亿和3.4亿个参数。
因此，当有足够的计算资源时，我们可以考虑为下游自然语言处理应用微调BERT。
单文本分类单文本分类将单个文本序列作为输入，并输出其分类结果。语言可接受性语料库（Corpus of Linguistic Acceptability，COLA）...
Bahdanau注意力一个没有严格单向对齐限制的可微注意力模型。在预测词元时，如果不是所有输入词元都相关，模型将仅对齐（或参与）输入序列中与当前预测相关的部分。这是通过将上下文变量视为注意力集中的输出来实现的。
模型
定义注意力解码器以下AttentionDecoder类定义了带有注意力机制解码器的基本接口。
123456789#@saveclass AttentionDecoder(d2l...
Transformertransformer模型完全基于注意力机制，没有任何卷积层或循环神经网络层，transformer最初是应用于在文本数据上的序列到序列学习，但现在已经推广到各种现代的深度学习中，例如语言、视觉、语音和强化学习领域。
模型架构transformer的编码器和解码器是基于自注意力的模块叠加而成的，源（输入）序列和目标（输出）序列的嵌入（embedding）表示将加上位置编...
注意力提示生物学中的注意力提示非自主性提示和自主性提示
非自主性提示是基于环境中物体的突出性和易见性。 想象一下，假如你面前有五个物品： 一份报纸、一篇研究论文、一杯咖啡、一本笔记本和一本书， 所有纸制品都是黑白印刷的，但咖啡杯是红色的。 换句话说，这个咖啡杯在这种视觉环境中是突出和显眼的， 不由自主地引起人们的注意。 所以你把视力最敏锐的地方放到咖啡上。
喝咖啡后，你会变得兴奋并想读书。...
注意力汇聚：Nadaraya-Watson核回归注意力机制的主要成分：查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚， 注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。
生成数据集
1234567891011121314151617n_train = 50 # 训练样本数x_train, _ = torch.sort(torch.rand(n_train) * 5) ...
注意力评分函数
使用高斯核来对查询和键之间的关系建模
高斯核指数部分视为注意力评分函数（attention scoring function）， 简称评分函数（scoring function）
把这个函数的输出结果输入到softmax函数中进行运算。
通过上述步骤，我们将得到与键对应的值的概率分布（即注意力权重）
最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。
掩蔽soft...
自身位置和注意力编码有了注意力机制之后，我们将词元序列输入注意力池化中， 以便同一组词元同时充当查询、键和值。 具体来说，每个查询都会关注所有的键－值对并生成一个注意力输出。 由于查询、键和值来自同一组输入，因此被称为 自注意力（self-attention）也被称为内部注意力（intra-attention）
自注意力
比较卷积神经网络、循环神经网络和自注意力让我们比较下面几个架构，目标都...
Dropout暂退法暂退法的思想是在隐藏层中丢弃某些单元，以减少模型对某些特征的依赖。删除了h2和h5，因此输出的计算不再依赖于h2或h5，并且它们各⾃的梯度在执⾏反向传播时也会消失。这样，输出层的计算不能过度依赖于h1, . . . , h5的任何⼀个元素。
实现神经元的丢弃假设某个神经元被丢弃的概率为p，那么该神经元的输出可以表示为：计算h{}’期望值:
这种插入方式使得在插入了...
