CN105303235A - 大规模分层神经网络的构建方法 - Google Patents

Abstract

本发明提出了一种大规模分层神经网络的构建方法，包括：设计神经单元，设计神经元集群之间的连接，设计神经元集群之间的信息传递机理，根据神经元集群的连接和信息传递机理得到大规模分层神经网络。本发明实施例的大规模分层神经网络的构建方法通过构建大规模分层神经网络对人脑工作过程进行一定程度复现，能够解决图像识别中因物体的旋转、尺寸缩放等不能识别或识别不清的问题。

Description

大规模分层神经网络的构建方法

技术领域

本发明涉及人工智能技术领域，特别涉及一种大规模分层神经网络的构建方法。

背景技术

计算机之所以不能像人脑一样识别成千上万种物体，根本原因在于人脑与计算机在工作机理上有着本质的区别。

相关技术中，所设计的神经网络规模一般较小，且是单层的神经元群。虽然对于小规模神经网络的研究已经有了一些成果，单层神经元群算法也已经能够解决一些普通的图像识别问题，但是对于一些复杂的图像中待识别物体有遮挡、平移、旋转的问题，这些小规模网络就会有一定的局限性。

另外，有科学研究表明，人的大脑皮质从表面到深层依次包括分子层、外颗粒层、外锥体细胞层、内颗粒层、内椎体细胞层、多形细胞层，即人脑是一个分层结构。正是由于大脑这种特殊的分层级联模式，才使得人脑能够识别成千上万钟物体。因此，如果仅局限于小规模神经元的研究，只能得到大脑局部的工作机理，即识别物体的部分特征，而无法对整个大脑的工作机制有较为系统的认识，更不能揭示整个大脑精密运转的原理。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

有鉴于此，本发明提出了一种大规模分层神经网络的构建方法，该方法通过构建大规模分层神经网络对人脑工作过程进行一定程度复现，能够解决图像识别中因同一种物体的旋转、尺寸缩放等不能识别或识别不清的问题。

根据本发明的一个实施例，提出了一种大规模分层神经网络的构建方法，包括以下步骤：设计神经单元；设计神经元集群之间的连接；设计神经元集群之间的信息传递机理；根据所述神经元集群的连接和信息传递机理得到大规模分层神经网络。

根据本发明的一个的实施例，所述神经单元之间基于脉冲发放模式相互连接。

根据本发明的一个实施例，所述神经单元之间存在连接权重，可以通过STDP(Spike-timing-dependentplasticity，脉冲时间依赖的突触可塑性)模式改变所述连接权重。

根据本发明的一个实施例，所述通过STDP模式改变所述连接权重，具体包括：判断在发放周期内，所述神经单元之间是否有电位发放；如果是，则增大所述连接权重；如果否，则减小所述连接权重。

根据本发明的一个实施例，所述神经单元即为所述神经元集群，所述神经元集群之间采用分层级联的方式连接。

根据本发明的一个实施例，所述神经元集群之间通过预设编码方式连接，所述预设编码方式根据所述神经元集群的功能设计。

根据本发明的一个实施例，所述设计神经元集群之间的信息传递机理，具体包括：在两个神经元集群之间设置中转站。

本发明实施例的大规模分层神经网络的构建方法通过构建大规模分层神经网络对人脑工作过程进行一定程度复现，能够解决图像识别中因物体的旋转、尺寸缩放等不能识别或识别不清的问题。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于大规模分层神经网络的构建方法的流程图；

图2为根据本发明一个具体实施例的神经集群之间连接的结构示意图；

图3为根据本发明一个实施例的分层神经网络连接的示意图；

图4为根据本发明一个实施例的神经元集群之间信息传递的示意图；

图5为图像识别设计流程的示意图。

具体实施方式

下面参考附图描述根据本发明实施例的大规模分层神经网络的构建方法，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

本发明的实施例提出了一种基于大规模分层神经网络的构建方法。

图1为根据本发明一个实施例的大规模分层神经网络的构建方法的流程图。

如图1所示，根据本发明实施例的大规模分层神经网络的构建方法，包括以下步骤：

S101，设计神经单元。

其中，神经单元是神经网络中的最小结构，其内部是相当于一个小型的神经元集群，可以独立完成一定的任务。可以理解，若想实现更多的功能，则需与其他神经单元之间配合工作。

S102，设计神经元集群之间的连接。

在本发明的实施例中，神经元集群即为神经单元，神经单元之间基于脉冲发放模式相互连接，且神经元集群之间采用分层级联的方式连接。

具体地，神经元集群之间是基于特定预设编码方式进行连接的，上述预设编码方式根据神经元集群的功能来设计。由于神经元集群的功能多样，因此各神经元集群之间的连接结构形式较为丰富，例如可以采用图2所示的结构形式：

如图2所示，x₁,x₂,...,x_N表示N个输入状态变量，它们通过群编码方式得到对应的转移状态变量y₁,y₂,...,y_M，与y₁,y₂,...,y_M相连的是输出状态变量z₁,z₂,...,z_K，转移状态变量y_m与输出状态变量y_k之间的连接权重为w_mk，通过STDP规则无监督地对权重进行更新。这些状态变量在实际网络中都对应一个神经元集群，状态变量之间的信息传递都是基于神经元脉冲发放模式。具体过程可以描述如下：

(a)输入状态变量x_n通过一定的群编码模式，得到对应的转移状态变量y_nm，而每个y_m的发放动作等价为一个齐次泊松过程。当y_m发放时，会向所有输出神经元发放一个宽度为σ的脉冲。

(b)输出神经元z_k的发放由膜电位u_k决定：

$u_k\left(t\right)=\underset{m=1}{\overset{M}{\Σ}}{w}_{mk}\·y_m\left(t\right)$

输出神经元z_k的发放概率为p(z_k|t)∝exp(u_k(t))，且根据WTA(Winner-take-all，赢者通吃)机制，得到发放概率最高的输出神经元z_k'发放。而根据STDP规则，当z_k'发放时，则w_mk'增大，否则w_mk'减小。因此当输入状态变量x_n一定时，转移状态变量y_m的发放也是较为规律的，那么若有一个输出状态变量z_k'一直发放，则转移状态变量和该输出状态变量之间的连接权重最终收敛至一个稳定值，此时可以得到输入状态变量x_n对应的特定的输出响应，即输出状态变量z_k'。经过大量的样本学习，可以对输出进行概率推理，从而得到输入，例如得到输入人脸图像的表情识别结果。

举例说明，如图3所示，神经单元A、B之间基于脉冲发放模式相互连接，两者之间的权重为w_AB，可以通过STDP模式调整连接权重。调整方法具体如下：判断在发放周期内，神经单元之间是否有电位发放；如果是，则增大连接权重；如果否，则减小连接权重，这也符合人脑的生理机能。可以理解，每对有连接的神经单元之间都存在连接权重，经过长时间的学习，整个神经网络就能实现相应的功能。例如对一个图像分类学习网络来说，就会体现出相应的图像分类功能。

S103，设计神经元集群之间的信息传递机理。

在本发明的实施例中，各神经元集群有一定的功能，该功能即对应各神经元集群的输出信息。因此，可以在两个神经元集群(例如A、B)之间设置一个类似路由器的中转站，对两神经元集群之间传递的信息进行“解码-反编码”模式，以使得A神经元集群传递来的信息能够被B神经元集群所理解。

举例说明，经过一定群编码后的神经元群具有特定的含义，能够实现相应指定的功能。如图4所示，神经元集群A、B、C是已经经过群编码的神经元集群。神经元集群之间的信息交互都是通过神经脉冲来传导，而且它们之间的脉冲传导都是双向的。当具有一定含义的信息输入一个神经元集群之后，根据神经元集群所代表意义进行相应处理，处理之后会将有效信息传递至下一个神经元集群。再处理后可能会给予上一个神经元集群反馈，也可能会将新的信息传递给下一个神经元集群。

S104，根据神经元集群的连接和信息传递机理得到大规模分层神经网络。

可以理解，该大规模分层神经网络具有复杂功能，例如可以准确识别一张复杂图像中的多种人脸信息，包括人脸表情、性别、年龄等。在本发明的一个具体实施例中，可以针对该大规模分层神经网络搭建一个神经电路。具体地，可以根据该大规模分层神经网络所要实现功能的复杂性设计具有相关功能的芯片，这些芯片可认为是上述大规模分层神经网络的神经单元或神经元集群，根据上述大规模分层神经网络的神经单元或神经元集群之间的连接和信息传递机理确定芯片之间的连接方式，再根据这些芯片的连接方式搭建神经电路。

需要说明的是，根据本发明实施例的大规模分层神经网络的构建方法得到的大规模分层神经网络的合理性，可以通过图5所示的图像识别来验证。

本发明实施例的大规模分层神经网络的构建方法通过构建大规模分层神经网络对人脑工作过程进行一定程度复现，能够解决图像识别中因物体的旋转、尺寸缩放等不能识别或识别不清的问题。

另外，还需要说明的是，本发明实施例中的每个神经元集群默认是一个小神经元集群，即一个神经单元，大神经元集群则可由若干小神经元集群/神经单元组成。而大规模分层神经网络，则是由若干大神经元集群组成，亦或是由更多的小神经元集群/神经单元组成。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (7)

1.一种大规模分层神经网络的构建方法，其特征在于，包括以下步骤：

设计神经单元；

设计神经元集群之间的连接；

设计神经元集群之间的信息传递机理；

根据所述神经元集群的连接和信息传递机理得到大规模分层神经网络。

2.如权利要求1所述的大规模分层神经网络的构建方法，其特征在于，所述神经单元之间基于脉冲放模式相互连接。

3.如权利要求1所述的大规模分层神经网络的构建方法，其特征在于，所述神经单元之间存在连接权重，可以通过STDP模式改变所述连接权重。

4.如权利要求3所述的大规模分层神经网络的构建方法，其特征在于，所述通过STDP模式改变所述连接权重，具体包括：

判断在发放周期内，所述神经单元之间是否有电位发放；

如果是，则增大所述连接权重；

如果否，则减小所述连接权重。

5.如权利要求1所述的大规模分层神经网络的构建方法，其特征在于，

所述神经单元即为所述神经元集群，所述神经元集群之间采用分层级联的方式连接。

6.如权利要求1所述的大规模分层神经网络的构建方法，其特征在于，所述神经元集群之间通过预设编码方式连接，所述预设编码方式根据所述神经元集群的功能设计。

7.如权利要求1所述的大规模分层神经网络的构建方法，其特征在于，所述设计神经元集群之间的信息传递机理，具体包括在两个神经元集群之间设置中转站。