神经网络算法的实现步骤和细节处理【公式部分】

算法步骤

1.确定算法层次模型,有几层,几个隐藏层,每层有多少节点

2.使用feedforward算法计算出,a2,a3,z2,z3

3.写出代价函数J,并对其进行正则化

4.写出激励函数sigmoid的导数表达式

5.随机初始化参数Theta

6.使用向后递推法获取每层的grad,具体步骤如下

6.1获取输出层的误差

6.2获取其他层的误差

6.3获取每层的delta


7.进行梯度检查,检查向后递推所得的值的正确性


8.使用fmincg等高级优化方法传入我们所得的代价函数J和grad,获得最优化参数Theta

9.使用向前推导法结合8所得参数,即可得到预测结果。

u3coding
A software developer

Leave a Comment

Your email address will not be published. Required fields are marked *

*