全连接神经网络

更高层、深入的线性回归，加了激活函数的多层感知机。
就最简单的线性回归，其实相当于输出是单神经元。
Wx+b = y
假设 x 25×1 维，W就是1×25维，最后输出一个值y,是单神经元。
Wx+b =y
假设x 25×1 维，W 12×25 维，最后输出y 是12维，是12个神经元。
W的维度是后一层神经元的个数*前一层神经元的个数
这就是全连接神经网络的权重。

CNN

CNN卷积核有点类似做图像处理的空间滤波器。在图像处理中，空间滤波器可以提取图像特征。

卷积核，共享权重。它不是让每一个像素点作为一个神经元，然后去连下一层每一个神经元。它需要更新的权重数，卷积核大小*卷积核个数
卷积核的参数也是训练得到的，具体深层、浅层提取什么特征应该是观察得到的。

RNN

RNN , 通常我们看到的图，是它在时序上的展现。时序上的输出是它一个很大的特征。
它可以看作全连接网络的升级版,全连接网络+时序上的信息传递。
比如一句话苹果好吃。转化为向量矩阵，字向量假如5维，那这句话就是
4 × 5 维。
全连接网络：铺平展开20维，20个神经元。
卷积神经网络：4×5 , 用卷积核提取。
RNN ：每次输入1×5 维到全连接神经网络中，然后得到每个时序的output，传给下一个时序。即这个时序output和下一个时序的1×5维一起再次输入这个全连接神经网络。

最终输出是一个形状为 (timesteps, output_features) 的二维张量，
其中每个时间步是循环在 t 时刻的输出。
输出张量中的每个时间步 t 包含输入序列中时间步0 ~ t 的信息，即关于全部过去的信息。
因此，在多数情况下，你并不需要这个所有输出组成的序列，你只需要最后一个输出（循环结束时的 output_t ）