ResNet

残差网路

这是一个两层神经网络。

计算过程从a[l]开始，先进行线性运算。 $$ z^{[l+1] }= W^{[l+1]}a^{[l]} + b^{[l+1]} $$ 在由激活函数g得到a[l+1]，这里g是线性整流函数relu $$ a^{[l+1]} = g(z^{[l+1]}) $$ 随后进行第二层线性运算 $$ z^{[l+2]} = W^{[l+2]}a^{[l+1]} + b^{[l+2]} $$ 再经过Relu $$ a^{[l+2]} = g(z^{[l+2]}) $$ 在残差网络中加入一点变化

即"跳远连接" $$ a^{[l+2]} = g(z^{[l+2]} + a^{[l]}) $$ 这样，随着网络的加深，训练误差也跟着下降。