-
深度学习-李沐-第四节-权重衰退
权重衰退一种常见的处理过拟合的方法。 使用均方范数作为硬性限制控制模型容量的两种方式：参数的数量、参数的选择范围。该方法是通过限制参数值的选择范围，来控制模型容量的。∥w∥^2 代表权重中每一项的平方和。通常不限制偏移b，小的θ意味着更强的正则项。这种方法很少用，一般转化为下面这种柔性限制。 使用均方范数作为柔性限制 参数更新法则一般来说，ηλ比1要小，和之前参数更新公式相比，每次更新的时候... -
深度学习-李沐-第四节-模型选择、⽋拟合和过拟合
模型选择、⽋拟合和过拟合训练误差与泛化误差 训练误差(training error)是指模型在训练数据集上计算得到的误差。即为模型在训练数据上的误差 泛化误差(generalization error)是指模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望。即为模型在新数据上的误差 验证数据集和测试数据集 验证数据集：一个用于评估模型好坏的数据集 测试数据集：只用...
-
深度学习-李沐-第四节-权重衰退
权重衰退一种常见的处理过拟合的方法。 使用均方范数作为硬性限制控制模型容量的两种方式：参数的数量、参数的选择范围。该方法是通过限制参数值的选择范围，来控制模型容量的。∥w∥^2 代表权重中每一项的平方和。通常不限制偏移b，小的θ意味着更强的正则项。这种方法很少用，一般转化为下面这种柔性限制。 使用均方范数作为柔性限制 参数更新法则一般来说，ηλ比1要小，和之前参数更新公式相比，每次更新的时候... -
深度学习-李沐-第四节-模型选择、⽋拟合和过拟合
模型选择、⽋拟合和过拟合训练误差与泛化误差 训练误差(training error)是指模型在训练数据集上计算得到的误差。即为模型在训练数据上的误差 泛化误差(generalization error)是指模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望。即为模型在新数据上的误差 验证数据集和测试数据集 验证数据集：一个用于评估模型好坏的数据集 测试数据集：只用...