type
status
date
slug
summary
tags
category
icon
password
Email
落絮无声春堕泪，行云有影月含羞。——吴文英《浣溪沙》
BP神经网络
算法流程
设 为输入变量， 为输出变量， 为隐藏层神经元的输出， f 为激活函数的映射关系。
设 为第 个输入变量与第 个隐藏层神经元的权重。
设 为第 个隐藏层神经元与 最终输出结果 的权重。
- 建立激活函数：常见的有 激活函数，当然还有其他的激活函数，例如 函数 与 函数
- 进行正向传播，正向传播的公式如下
- 我们最终想要得到的目标为真实值与通过网络预测值之间误差尽可能小，目标函数设定为：
- 其中真实输出值是 ，预测输出值是：，我们希望他们的差值平方求和尽可能小。
b. 改变一下形式，拿出第 个对象做目标，再把所有对象总和作为最终目标, 代表第i个特征的输入：
- 进行梯度下降法的反向传播，运用链式求导法则。
- 参数的优化：
- 得到最优参数 和 以后，就可以获取模型，然后预测输出。
代码实现
神经网络的超参数优化
使用
fitrnet 可以进行神经网络的超参数优化。具体步骤如下：使用贝叶斯方法进行超参数优化
- OptimizeHyperparameters：auto
- HyperparameterOptimizationOptions：struct("AcquisitionFunctionName","expected-improvement-plus",'MaxObjectiveEvaluations',optimize_num)
- optimize_num：设置一个优化次数
其他与上面完全一样
代码实现
神经网络的分类
分类问题：输出结果固定为 1，2，3等某一类。
最后可以得到准确率
- 作者:Yuleo
- 链接:https://www.helloylh.com/article/bpnetwork
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。