靠谱 的软件外包伙伴

您的位置:首页 > 新闻动态 > 神经网络系统平台软件开发入门实战案例!

神经网络系统平台软件开发入门实战案例!

2016-07-30 09:45:35

本文中我们会从头实现一个简单的3层神经网络。我们不会推导所有的数学公式,但会给我们正在做的事情一个相对直观的解释。我也会给出你研读所需的资源链接。

这里假设你已经比较熟悉微积分和机器学习的概念了。比如,你知道什么是分类和正则化。当然你也应该了解一点优化技巧,如梯度下降是如何工作的。但是即使你对上面提到的任何一个概念都不熟悉,你仍然会发现本文的有趣所在。

但是为什么要从头实现一个神经网络呢?即使你打算将来使用像PyBrain这样的神经网络库,从头实现神经网络仍然是一次非常有价值的练习。它会帮助你理解神经网络的工作原理,而这是设计有效模型的必备技能。

需要注意的是这里的示例代码并不是十分高效,它们本就是用来帮助理解的。在接下来的文章中,我会探索如何使用Theano写一个高效的神经网络实现。

产生数据集

让我们从力所能及的产生数据集开始吧。幸运的是,scikit-learn提供了一些很有用的数据集产生器,所以我们不需要自己写代码了。我们将从make_moons 函数开始。

 

产生的数据集中有两类数据,分别以红点和蓝点表示。你可以把蓝点看作是男性病人,红点看作是女性病人,x和y轴表示药物治疗。

我们的目标是,在给定x和y轴的情况下训练机器学习分类器以预测正确的分类(男女分类)。注意,数据并不是线性可分的,我们不能直接画一条直线以区分这两类数据。这意味着线性分类器,比如Logistic回归,将不适用于这个数据集,除非手动构建在给定数据集表现很好的非线性特征(比如多项式)。

事实上,这也是神经网络的主要优势。你不用担心特征构建,神经网络的隐藏层会为你学习特征。

Logistic回归

为了证明这个观点,我们来训练一个Logistic回归分类器。它的输入是x和y轴的值,输出预测的分类(0或1)。为了简单,我们使用scikit-learn库里的Logistic回归类。

 

上图展示了Logistic回归分类器学习到的决策边界。使用一条直线尽量将数据分离开来,但它并不能捕捉到数据的“月形”特征。

训练神经网络

让我们来建立具有一个输入层、一个隐藏层、一个输出层的三层神经网络。输入层的结点数由数据维度决定,这里是2维。类似地,输出层的结点数由类别数决定,也是2。(因为我们只有两类输出,实际中我们会避免只使用一个输出结点预测0和1,而是使用两个输出结点以使网络以后能很容易地扩展到更多类别)。网络的输入是x和y坐标,输出是概率,一个是0(女性)的概率,一个是1(男性)的概率。它看起来像下面这样:

我们可以为隐藏层选择维度(结点数)。放入隐藏层的结点越多,我们能训练的函数就越复杂。但是维度过高也是有代价的。首先,预测和学习网络的参数就需要更多的计算。参数越多就意味着我们可能会过度拟合数据。

如何选择隐藏层的规模?尽管有一些通用的指导和建议,但还是依赖于具体问题具体分析,与其说它是一门科学不如说是一门艺术。我们稍后会在隐藏层的结点数上多做一点事情,然后看看它会对输出有什么影响。

我们还需要为隐藏层挑选一个激活函数。激活函数将该层的输入转换为输出。一个非线性激活函数允许我们拟合非线性假设。常用的激活函数有tanh、the sigmoid函数或者是ReLUs。这里我们选择使用在很多场景下都能表现很好的tanh函数。这些函数的一个优点是它们的导数可以使用原函数值计算出来。例如,tanh x的导数是1-tanh^2 x。这个特性是很有用的,它使得我们只需要计算一次tanh x值,之后只需要重复使用这个值就可以得到导数值。

因为我们想要得到神经网络输出概率,所以输出层的激活函数就要是softmax。这是一种将原始分数转换为概率的方法。如果你很熟悉logistic回归,可以把softmax看作是它在多类别上的一般化。

神经网络如何预测

神经网络使用前向传播进行预测。前向传播只不过是一堆矩阵相乘并使用我们上面定义的激活函数了。假如x是该网络的2维输入,我们将按如下计算预测值(也是二维的):

zi是输入层、ai是输出层。W1,b1,W2,b2是需要从训练数据中学习的网络参数。你可以把它们看作是神经网络各层之间数据转换矩阵。看着上文的矩阵相乘,我们可以计算出这些矩阵的维度。如果我们的隐藏层中使用500个结点,那么有返回首页] [打印] [返回上页]   下一篇