about反向传播算法的直观理解—-吴恩达机器学习 9 – 3 – Backpropagation Intuition 笔记

本文基本是吴恩达老师视频+我截图

我们首先研究一下前向传播的原理:

首先给出一个模型Forward Propagation

此模型包含两个输入单元input units,注意并不包含偏移单元

下一层有两个隐藏单元hidden units,接下来一层也是两个隐藏单元

最后有一个输出单元

image-20200209110810873

然后我们假设 训练样本examplex^{(i)}, y^{(i)} 那么就得出了我们输入层的值

然后我们到达第二层,算出z^{(2)}_{1}z^{(2)}_{2} 这二者是 input units 的加权总和

代入函数(我的理解),或者叫应用于函数(?),得出a^{(2)}_{1}a^{(2)}_{2}

继续刚才的步骤得到:

image-20200209112021574

最后得到:

单独看品红色:

那么我们类比求得z^{3}_1

那么反向传播为(青色):

发表评论