机器学习-深度学习介绍机器学习基本概念机器学习目标：寻找一个函数function，这个函数往往是人类计算起来很复杂的输入：向量、矩阵、序列输出：数值、类别、文档任务：
Regression（回归）：函数输出一个标量
Clssification（分类）：给一些类别，函数输出正确的类别 。阿尔法狗可以看作19×19类别的分类
Structured learning（结构化学习）：创造一些结构（...
Lecture 2:What to do if my network fails to trainPRE1训练的三个过程
写出有未知数的function： \theta表示未知的参数
定义Loss：Loss的输入是一组参数，判断这组参数好不好
找\theta：使得Loss的值越小越好
优化训练
检查training data的loss，loss值比较大
分析在训练资料上没学好的原因
如...
比赛记录
初始分数 0.60875Conformerd_model=80, n_spks=600, dropout=0.1
第一次修改 0.72950更改模型参数 d_model=160, n_spks=600, dropout=0.1使用TransformerEncoder层 self.encoder = nn.T...
jieba、hanlp词性对照表jieba
a 形容词
ad 副形词
ag 形容词性语素
an 名形词
b 区别词
c 连词
d 副词
df
dg 副语素
e 叹词
f 方位词
g 语素
h 前接成分
i 成语
j 简称略称
k 后接成分
l 习用语
m 数词
mg
mq 数量词
n 名词
ng 名词性语素 ...
conda、miniconda、anaconda的区别condaconda是一种通用包管理系统，旨在构建和管理任何语言和任何类型的软件。包管理与pip的使用类似，环境管理则允许用户方便地安装不同版本的python并可以快速切换。
Miniconda只包含最基本的内容——python与conda，以及相关的必须依赖项，对于空间要求严格的用户，Miniconda是一种选择。就只包含最基本的东西，...
残差网络核心思想：每个附加层都应该更容易地包含原始函数作为其元素之一
残差块
ResNet沿用了VGG完整33的卷积层设计。 残差块里首先有2个有相同输出通道数的33卷积层。 每个卷积层后接一个批量规范化层和ReLU激活函数。 然后我们通过跨层数据通路，跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前。 这样的设计要求2个卷积层的输出与输入形状一样，从而使它们可以相加。 如果想改变...
残差网络核心思想：每个附加层都应该更容易地包含原始函数作为其元素之一
残差块
ResNet沿用了VGG完整33的卷积层设计。 残差块里首先有2个有相同输出通道数的33卷积层。 每个卷积层后接一个批量规范化层和ReLU激活函数。 然后我们通过跨层数据通路，跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前。 这样的设计要求2个卷积层的输出与输入形状一样，从而使它们可以相加。 如果想改变...
使用块中的网络VGG块经典卷积神经网络的基本组成部分：
带填充以保持分辨率的卷积层；
非线性激活函数，如ReLU；
汇聚层，如最大汇聚层。
VGG块与之类似，由一系列卷积层组成，后面再加上用于空间下采样的最大汇聚层。
1234567891011121314import torchfrom torch import nnfrom d2l import torch as d2ldef vg...
批量规范化使用原因
原理
批量规范化层批量规范化和其他层之间的一个关键区别是，由于批量规范化在完整的小批量上运行，因此我们不能像以前在引入其他层时那样忽略批量大小。
代码实现12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596...
深度卷积神经网络（AlexNet）AlexNetAlexNet使用8层卷积神经网络AlexNet比相对较小的LeNet5要深得多。 AlexNet由八层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。 其次，AlexNet使用ReLU而不是sigmoid作为其激活函数。
模型设计在AlexNet的第一层，卷积窗口的形状是11×11。 由于ImageNet中大多数图像的宽和高比MNIS...
