零前置知识

损失函数与激活函数

损失函数的形式称为交叉熵（cross entropy），后面的推导中的损失函数L都是此形式

梯度下降法

Repeat:

{

$w:=w-\alpha \frac{\partial L(w,b)}{\partial w}$

$b:=b-\alpha \frac{\partial L(w,b)}{\partial b}$

}

until convergence

可见若进行梯度下降法，需求出w与b对L的导数

一 Logistic回归中的导数与back propagation

基本结构

logistic回归的梯度表达式推导与反向传播

由于需要求出对w和b的导数，根据导数的链式法则，逆向一步步可最终求出w和b的导数，故导数反向传播

$da:\frac{\mathrm{d} L}{\mathrm{d} x}=-\frac{y}{a}+\frac{1-y}{1-a}$

$dz:\frac{\mathrm{d} L}{\mathrm{d} z}=\frac{\mathrm{d} L}{\mathrm{d} a}\frac{\mathrm{d} a}{\mathrm{d} z}=\left(-\frac{y}{a}+\frac{1-y}{1-a}\right)\left(a(1-a) \right )=a-y$

$dw:\frac{\mathrm{d} L}{\mathrm{d} w}=\frac{\mathrm{d} L}{\mathrm{d} z}\frac{\mathrm{d} z}{\mathrm{d} w}=dz\cdot x$

$db:\frac{\mathrm{d} L}{\mathrm{d} b}=\frac{\mathrm{d} L}{\mathrm{d} z}\frac{\mathrm{d} z}{\mathrm{d} b}=dz$

二神经网络中梯度的向量化表达与递推关系

与logistic回归相像，易得nn中的梯度表达式与其向量化表示，如下

递推关系和一般形式的向量表达

对于第i层对应的向量化表示：

$dA^{[i-1]}=W^{[i]T}\cdot dZ^{[i]}$

$dZ^{[i]}=dA^{[i]}*g^{[i]}'(Z^{[i]})$

$dW^{[i]}=\frac1mdZ^{[i]}\cdot A^{[i-1]T}$

$db^{[i]}=\frac1mnp.sum\left(dZ^{[i]},axis=1,keepdim=True\right)$

ps：dA的推导

$da^{[i-1]}:\frac{\mathrm{d} L}{\mathrm{d} a^{[i-1]}}=\frac{\mathrm{d} L}{\mathrm{d} z^{[i]}}\frac{\mathrm{d} z^{[i]}}{\mathrm{d} a^{[i-1]}}=w^{[i]}dz^{[i]}$