人工神经网络 信托的两层含义不包括

多层神经网络 1. 回顾2. 多层神经网络结构2.1 两层神经网络例子2.2 非线性函数的作用 3. 三层神经网络可以模拟任意的非线性函数3.1 构造三角形非线性函数的神经网络结构3.2 构造四边形非线性函数的神经网络结构3.3 构造不规则封闭曲线非线性函数的神经网络结构3.4 构造两个三角形非线性函数的神经结构 4. 结尾参考资料

1. 回顾

  在上一讲中，我们提到从上个世纪80年代开始，人工神经网络领域迎来了新的突破，产生了多层神经网络，人们终于可以利用人工神经网络处理非线性问题了。

2. 多层神经网络结构 2.1 两层神经网络例子

  这一讲主要介绍多层神经网络的结构。下面这幅图是最简单的多层神经网络，它包含2层，总共由3个神经元相互连接而成。

图1 两层神经网络的例子

  输入 X X X向量，有两个分量 x 1 x_1 x1​， x 2 x_2 x2​，输出 y y y是一个数值。我们逐层写出输入到输出之间的关系：    a 1 = ω 11 x 1 + ω 12 x 2 + b 1 a_1=ω_{11}x_1+ω_{12}x_2+b_1 a1​=ω11​x1​+ω12​x2​+b1​（第一个神经元）    a 2 = ω 21 x 1 + ω 22 x 2 + b 2 a_2=ω_{21}x_1+ω_{22}x_2+b_2 a2​=ω21​x1​+ω22​x2​+b2​（第二个神经元）    z 1 = φ ( a 1 ) z_1=φ(a_1) z1​=φ(a1​)（非线性函数）    z 2 = φ ( a 2 ) z_2=φ(a_2) z2​=φ(a2​)（非线性函数）    y = ω 1 z 1 + ω 2 z 2 + b 3 y=ω_1z_1+ω_2z_2+b_3 y=ω1​z1​+ω2​z2​+b3​（第三个神经元）

当然，我们也可以用一个非常复杂的公式描述多层神经网络输入与输出的关系 y = w 1 φ ( ω 11 x 1 + ω 12 x 2 + b 1 ) + w 2 φ ( ω 21 x 1 + ω 22 x 2 + b 2 ) + b 3 (1) y=w_1φ(ω_{11}x_1+ω_{12}x_2+b_1)+w_2φ(ω_{21}x_1+ω_{22}x_2+b_2)+b_3 ag{1} y=w1​φ(ω11​x1​+ω12​x2​+b1​)+w2​φ(ω21​x1​+ω22​x2​+b2​)+b3​(1)

这个神经网络分成了两层，第一层是前2个神经元，第二层是后一个神经元，两层之间用非线性函数 φ ( ∗ ) φ(*) φ(∗)连接起来。

  这里有个问题请大家思考一下，在这个多层神经网络模型中，待求的参数是哪些呢？

  显然，待求的参数有9个，分别是：

第一层网络中的（ w 11 ， w 12 ， w 21 ， w 22 ， b 1 ， b 2 w_{11}，w_{12}，w_{21}，w_{22}，b_1，b_2 w11​，w12​，w21​，w22​，b1​，b2​）第二层网络中的（ w 1 ， w 2 ， b 3 w_1，w_2，b_3 w1​，w2​，b3​） 2.2 非线性函数的作用

  需要强调的是两层之间的非线性函数 φ ( ∗ ) φ(*) φ(∗)是必须的。我们不妨考虑一下，如果我们不加这个非线性函数 φ ( ∗ ) φ(*) φ(∗)，而是让第一层的输出直接作用到第二层的输入上会有什么结果呢？

这时输出 y y y将等于如下这个式子 y = w 1 ( ω 11 x 1 + ω 12 x 2 + b 1 ) + w 2 ( ω 21 x 1 + ω 22 x 2 + b 2 ) + b 3 y=w_1(ω_{11}x_1+ω_{12}x_2+b_1)+w_2(ω_{21}x_1+ω_{22}x_2+b_2)+b_3 y=w1​(ω11​x1​+ω12​x2​+b1​)+w2​(ω21​x1​+ω22​x2​+b2​)+b3​ 把它经过一系列的化简后 y = ( w 1 ω 11 + w 2 ω 21 ) x 1 + ( w 1 ω 12 + w 2 ω 22 ) x 2 + ( w 1 b 1 + w 2 b 2 + b 3 ) (2) y=(w_1ω_{11}+w_2ω_{21})x_1+(w_1ω_{12}+w_2ω_{22})x_2+(w_1b_1+w_2b_2+b_3) ag{2} y=(w1​ω11​+w2​ω21​)x1​+(w1​ω12​+w2​ω22​)x2​+(w1​b1​+w2​b2​+b3​)(2) 可以看到， y y y是 x 1 x_1 x1​， x 2 x_2 x2​加权求和再加上偏置的形式，输出仍然是输入的线性加权求和再加偏置的形式。

如果我们现在假设一个神经元的状况

图2 单个神经元的例子

那么将有 y = w 1 x 1 + w 2 x 2 + b (3) y=w_1x_1+w_2x_2+b ag{3} y=w1​x1​+w2​x2​+b(3)

综合上述复杂的式(2)及简单的式(3)，我们可以看到，如果式(3)的 w 1 = w 1 ω 11 + w 2 ω 21 w_1=w_1ω_{11}+w_2ω_{21} w1​=w1​ω11​+w2​ω21​，同时另外两个相应的式子也相应的相等，那么式(2)与式(3)将会是同一个模型。也就是说，如果层与层之间不加非线性函数，那么多层神经网络将会退化到一个神经元的感知器模型状态。

我们论证了在多层神经网络中必须加入非线性函数，下一个问题是我们要加的非线性函数是什么呢 ？

这里先直接给出答案，非线性函数是阶跃函数。例如 φ ( x ) = { 1 , x > 0 0 , x < 0 φ(x)=egin{cases} 1, & x>0\ 0, & x1,0,​x>0x