Deep Learning

字数

1851 字

阅读时间

8 分钟

概率论

极大似然估计

概率是通过已知的条件，推测事件发生的可能性；似然则相反，是基于已经确定的结果反推产生这个结果的可能性。

$$\begin{array}{r}\theta ：\mathrm{环}\mathrm{境}\mathrm{对}\mathrm{应}\mathrm{的}\mathrm{参}\mathrm{数}\\ x：\mathrm{事}\mathrm{件}\mathrm{发}\mathrm{生}\mathrm{的}\mathrm{结}\mathrm{果}\\ \mathrm{概}\mathrm{率}：P(x|\theta )P\mathrm{是}\mathrm{关}\mathrm{于}x\mathrm{的}\mathrm{函}\mathrm{数}\\ \mathrm{似}\mathrm{然}：L(\theta |x)L\mathrm{是}\mathrm{关}\mathrm{于}\theta \mathrm{的}\mathrm{函}\mathrm{数}\end{array}$$

极大（最大）似然估计：通过已知结果推测最大概率导致这些样本结果出现的模型参数。

2.4 Calculus

梯度

我们可以连结一个多元函数对其所有变量的偏导数，以得到该函数的梯度（gradient）向量。 具体而言，设函数$f:{\mathbb{R}}^n\to \mathbb{R}$的输入是一个$n$维向量$\mathbf{x}=[x_1,x_2,\dots ,x_n{]}^{\mathrm{\top }}$，并且输出是一个标量。 函数$f(\mathbf{x})$相对于$\mathbf{x}$的梯度是一个包含$n$个偏导数的向量:

$${\mathrm{\nabla }}_{\mathbf{x}}f(\mathbf{x})=[\frac{\partial f(\mathbf{x})}{\partial x_1},\frac{\partial f(\mathbf{x})}{\partial x_2},\dots ,\frac{\partial f(\mathbf{x})}{\partial x_n}{]}^{\mathrm{\top }},$$

其中$ \nabla_{\mathbf{x}} f(\mathbf{x}) $\mathrm{通}\mathrm{常}\mathrm{在}\mathrm{没}\mathrm{有}\mathrm{歧}\mathrm{义}\mathrm{时}\mathrm{被}$\nabla f(\mathbf{x})$取代。

假设$\mathbf{x}$为$n$维向量，在微分多元函数时经常使用以下规则:

• 对于所有$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，都有${\mathrm{\nabla }}_{\mathbf{x}}\mathbf{A}\mathbf{x}={\mathbf{A}}^{\mathrm{\top }}$
• 对于所有$\mathbf{A}\in {\mathbb{R}}^{n\times m}$，都有${\mathrm{\nabla }}_{\mathbf{x}}{\mathbf{x}}^{\mathrm{\top }}\mathbf{A}=\mathbf{A}$
• 对于所有$\mathbf{A}\in {\mathbb{R}}^{n\times n}$，都有${\mathrm{\nabla }}_{\mathbf{x}}{\mathbf{x}}^{\mathrm{\top }}\mathbf{A}\mathbf{x}=(\mathbf{A}+{\mathbf{A}}^{\mathrm{\top }})\mathbf{x}$
• ${\mathrm{\nabla }}_{\mathbf{x}}\parallel \mathbf{x}{\parallel }^2={\mathrm{\nabla }}_{\mathbf{x}}{\mathbf{x}}^{\mathrm{\top }}\mathbf{x}=2\mathbf{x}$

同样，对于任何矩阵$\mathbf{X}$，都有${\mathrm{\nabla }}_{\mathbf{X}}\parallel \mathbf{X}{\parallel }_F^2=2\mathbf{X}$​。 正如我们之后将看到的，梯度对于设计深度学习中的优化算法有很大用处。

关于梯度向量是行向量还是列向量？

都不是，行向量和列向量是从矩阵的角度来描述向量时才特有的，普通向量并没有必须放到矩阵中去，也没有所谓必须是行向量或者列向量的说法

练习

绘制函数$y=f(x)=x^3-\frac{1}{x}$和其在$x=1$​处切线的图像。

import numpy as np
import matplotlib.pyplot as plt

def func(x):
    return x ** 3 - 1 / x
def numerical_lim(f,x):
    h = 1e-4
    return (f(x+h)-f(x))/h
def tangent_line(f, x):
    ## d就是调用numerical_diff求得在x点点导数
    d = numerical_lim(f, x)
    ## 这里直接y=kx+b求截，简单粗暴，y就是截距
    y = f(x) - d * x
    ## 使用lambda匿名函数，t是形参，'：'后是要执行的函数表达式
    return lambda t: d * t + y

x = np.arange(0.1, 5, 0.1)
y = func(x)

plt.xlabel('x')
plt.ylabel('y')
## 把函数作为形参时i，传入实参函数时，只要函数名即可，不用()
tf = tangent_line(func,1)
## 因为tf返回的是lambda函数，所以要多调一次函数
y2 = tf(x)
plt.plot(x, y)
plt.plot(x, y2, linestyle='--')
plt.show()

求函数$f(\mathbf{x})=3x_1^2+5e^{x_2}$​的梯度。

$$[6x_1,5e^{x_2}]$$

函数$f(\mathbf{x})=\parallel \mathbf{x}{\parallel }_2$​的梯度是什么？

$$\begin{array}{r}||x|{|}_2=\sqrt{\sum _{i=1}^n{x}_i^2}\\ =\sqrt{x_1^2+x_2^2\dots \dots +x_n^2}\\ D(||x|{|}_2)=\frac{1}{2\sqrt{\sum _{i=1}^n{x}_i^2}}D(\sum _{i=1}^n{x}_i^2)\\ =\frac{x_i}{\sqrt{\sum _{i=1}^n{x}_i^2}}\\ {\mathrm{\nabla }}_x||x|{|}_2=[\frac{x_1}{\sqrt{\sum _{i=1}^n{x}_i^2}}\dots \dots \frac{x_n}{\sqrt{\sum _{i=1}^n{x}_i^2}}]\end{array}$$

尝试写出函数$u=f(x,y,z)$，其中$x=x(a,b)$，$y=y(a,b)$，$z=z(a,b)$的链式法则。

$$\begin{gathered} \frac{\partial u}{\partial a}=\frac{\partial f}{\partial x}\frac{\partial x}{\partial a}+\frac{\partial f}{\partial y}\frac{\partial y}{\partial a}+\frac{\partial f}{\partial z}\frac{\partial z}{\partial a} \\ \frac{\partial u}{\partial b}=\frac{\partial f}{\partial x}\frac{\partial x}{\partial b}+\frac{\partial f}{\partial y}\frac{\partial y}{\partial b}+\frac{\partial f}{\partial z}\frac{\partial z}{\partial b} \end{gathered}$$

2.5 Automatic Differentiation

[5分钟深度学习] ##02 反向传播算法

在PyTorch中，.requires_grad_(True) 是一个用于设置张量（tensor）属性的方法，用于指示计算时是否需要计算梯度（gradient）。具体来说：

• x.requires_grad_(True) 表示将张量 x 的 requires_grad 属性设置为 True，这意味着当对 x 进行操作时，PyTorch会自动跟踪对 x 的计算，并且在计算过程中保留梯度信息，以便后续进行反向传播计算梯度。

通常情况下，我们会将需要参与模型训练的参数设置为 requires_grad=True，以便在优化过程中自动计算参数的梯度，从而更新参数。

举例说明：

import torch

## 创建一个张量
x = torch.tensor([1.0, 2.0, 3.0], requires_grad=False)

## 设置 requires_grad=True，即需要计算梯度
x.requires_grad_(True)

## 进行一些计算
y = x.pow(2).sum()

## 反向传播，计算梯度
y.backward()

## 输出梯度
print(x.grad)  ## 这里将会输出对应的梯度值

在这个例子中，我们将 x 的 requires_grad 属性设置为 True，然后进行了一些计算（计算了 x 的平方和 y），然后通过 y.backward() 反向传播计算了 y 对 x 的梯度。

2.7 Documentation

为了知道模块中可以调用哪些函数和类：

• 查找模块的所有属性

dir(torch.distributions)

通常可以忽略以“__”（双下划线）开始和结束的函数，它们是Python中的特殊对象， 或以单个“_”（单下划线）开始的函数，它们通常是内部函数。 根据剩余的函数名或属性名，我们可能会猜测这个模块提供了各种生成随机数的方法， 包括从均匀分布（uniform）、正态分布（normal）和多项分布（multinomial）中采样。

• 查找特定函数和类的用法

有关如何使用给定函数或类的更具体说明，可以调用help函数。 例如，我们来查看张量ones函数的用法。

help(torch.ones)

3. 线性神经网络

3.1 线性回归

给定一个数据集，我们的目标是寻找模型的权重$w$和偏置$b$​， 使得根据模型做出的预测大体符合数据里的真实价格。 输出的预测值由输入特征通过线性模型的仿射变换决定，仿射变换由所选权重和偏置确定。

3.4 softmax回归

softmax回归是一个多类分类问题

计算过程

所有输出o，都转化为y，且

$$\begin{gathered} y_1+y_2+...+y_n=1 \\ {y}_1,y_2,...,y_n\in [0,1] \end{gathered}$$

• 独热编码

顾名思义，全连接层是“完全”连接的，可能有很多可学习的参数。 具体来说，对于任何具有𝑑个输入和𝑞个输出的全连接层， 参数开销为𝑂(𝑑𝑞)，这个数字在实践中可能高得令人望而却步。 幸运的是，将𝑑个输入转换为𝑞个输出的成本可以减少到𝑂(𝑑𝑞/𝑛)， 其中超参数𝑛可以由我们灵活指定，以在实际应用中平衡参数节约和模型有效性 (Zhang et al., 2021)。

损失函数

l2 loss

$$l(y,y^{\prime })=\frac{1}{2}(y-y^{\prime }{)}^2$$

l1 loss

$$l(y,y^{\prime })=|y-y^{\prime }|$$

Huber's Robust Loss

$$l(y,y^{\prime })=\{\begin{array}{rl}& |y-y^{\prime }|-\frac{1}{2}if|y-y^{\prime }|>1\\ & \frac{1}{2}(y-y^{\prime }{)}^{2}otherwise\end{array}$$

书籍

机器学习、NLP面试中常考到的知识点和代码实现

动手学深度学习

最全西瓜书-周志华《机器学习》笔记

论文

颠覆传统！Transformer时序预测重大突破

贡献者

Yiming Li

文件历史

最后编辑于 大约 4 小时前查看完整历史

2bb8d-update