反向传播算法

目录

* Chain rule <https://www.cnblogs.com/nickchen121/p/10914739.html#chain-rule>
* Multi-output Perceptron
<https://www.cnblogs.com/nickchen121/p/10914739.html#multi-output-perceptron>
* Multi-Layer Perceptron
<https://www.cnblogs.com/nickchen121/p/10914739.html#multi-layer-perceptron>
Chain rule



Multi-output Perceptron



Multi-Layer Perceptron

* 对于多隐藏层结构的神经网络可以把隐藏层的节点看成输出层的节点


* For an output layer node \(k\in{K}\)
\[
\frac{\partial{E}}{\partial{W_{jk}}}=O_j\delta_k,\,\delta_k=O_k(1-O_k)(O_k-t_k)
\]

* For a hidden layer node \(j\in{J}\)
\[
\frac{\partial{E}}{\partial{W_{ij}}}=O_i\delta_j,\,\delta_j=O_j(1-O_j)\sum_{k\in{K}}\delta_kW_{jk}
\]

* 其中\(\delta_k\)可以看做是\(O_j\)的信息；\(\delta_j\)可以看做是\(O_i\)的信息
* 并且下一层的隐藏层偏微分的更新都基于上一隐藏层的偏微分

• « 上一篇：Django基础(23): 权限管理(permissions)与用户组(group)详解
• » 下一篇：全球十大咨询公司比较