一、感知器
二、多层人工神经网络
（1）基本概念
神经网络，这里先以前馈神经网络为介绍，每层为全连接，则对于2个神经元，参数为：
（1）w权值，（2）b偏置，（3）delta 激活函数。
多层神经网络的结构图，以下为前馈神经网络的结构（2层）：
常用的 delta 激活函数：
基于梯度下降的权值更新：
$$ w_{j}\leftarrow w_{j}-\lambda \frac{\partial E(w)}{\partial w_{j}}$$
$\lambda$为学习率。
（2）反向传播（back-propagation）
对于数据集，可以使用mini-batch，每次选取一部分，直到将数据使用完毕。每次每个数据包括两个阶段， 向前阶段和向后阶段。
向前阶段：通过初始权值、初始偏置和激活函数，每次更新隐藏层和输出层的值；
向后阶段：通过权值更新法则，更新权值和偏置。
直到数据使用完毕，或者，权值更新的差值小于某个阈值。
（3）神经网络特点
1、至少含有一个隐藏层的是一种普适近似（universal approximator），即可以用来近似任何目标函数。
2、可以处理冗余特征，冗余特征的权值会非常小。
3、梯度下降法会收敛到局部极小值，避免方法可以在权值更新公式上加上一个动量项（momentum term）
