0%

神经网络相关

1.神经网络:带有成千上万个参数的分层的大型数学公式,从每一层传播到下一层时呈全连接结构,参数为连接强度(强度大,关联大)和偏移量,经过几层映射后从原始数据到最终的结果。{例:从手写数字识别中,从700多个像素点的图像,到0-9的10个点的输出层,输出信号为这个数字是几的判断}

2.模型训练:根据样本期望的输出,以及模型得到的真实输出比较,调整神经网络每相邻两层映射间的参数。{例:手写数字识别中,代价为一组数据中,每个数据,预测每个数字时,p(xi)和{0或1}的差值的平方}

3.反向传播算法(BMP):从输出层到输入层,每相邻两层i和i-1间,将i层所有数据对结点权值的变化的希望相加,作为一次对i-1层的调整。然后根据第i层受到调整的程度,继续向前调整第i-1层。

4.梯度下降:梯度是使带有多个参数的函数变化最快的方向,梯度下降是一个人通过计算所有数据的梯度,然后沿着负梯度方向一步一步下山。

5.随机梯度下降:由于梯度下降每一步计算量过大,将数据分成一些组(bench),每次计算某一组的梯度然后下山。不一定每一步都是全局梯度,但是整体速度明显提升。

-------------这么快就看完啦^ω^谢谢阅读哟-------------