神经网络算法的实现步骤和细节处理【公式部分】

算法步骤

1.确定算法层次模型，有几层，几个隐藏层，每层有多少节点

2.使用feedforward算法计算出，a2,a3,z2,z3

3.写出代价函数J,并对其进行正则化

4.写出激励函数sigmoid的导数表达式

5.随机初始化参数Theta

6.使用向后递推法获取每层的grad，具体步骤如下

6.1获取输出层的误差

6.2获取其他层的误差

6.3获取每层的delta

7.进行梯度检查，检查向后递推所得的值的正确性

8.使用fmincg等高级优化方法传入我们所得的代价函数J和grad，获得最优化参数Theta

9.使用向前推导法结合8所得参数，即可得到预测结果。