(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 111931813 A(43)申请公布日 2020.11.13
(21)申请号 202010634517.1(22)申请日 2020.07.02
(71)申请人 北京理工大学
地址 100081 北京市海淀区中关村南大街5
号(72)发明人 夏旸 车海莺
(74)专利代理机构 长沙智德知识产权代理事务
所(普通合伙) 43207
代理人 段芳萼(51)Int.Cl.
G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
权利要求书2页 说明书4页 附图1页
(54)发明名称
一种基于CNN的宽度学习分类方法
(57)摘要
本发明公开了一种基于CNN的宽度学习分类方法，以下具体步骤：获得训练数据与测试数据；对训练数据与测试数据进行预处理；利用卷积神经网络CNN对训练数据进行特征提取，得到训练数据的特征映射，生成宽度学习基础模型的特征结点层；将上述映射的特征增强为随机生成权重的增强矩阵，生成宽度学习基础模型的增强结点层；由特征结点层与增强结点层构建输入矩阵，输入宽度学习模型进行训练，构建宽度学习基础模型；利用最终训练好的改进宽度学习模型。其技术方案要点是，在保证特征结点数量相似的情况下，CNN_BLS,比BLS具有更好的分类结果，同时在与ELM模型的对比中，保留了宽度学习系统的原有的高效率，具有更好的综合效果。
CN 111931813 ACN 111931813 A
权 利 要 求 书
1/2页
1.一种基于CNN的宽度学习分类方法，其特征在于：包括以下具体步骤：步骤1、获得训练数据与测试数据；步骤2、对训练数据与测试数据进行预处理；步骤3、利用卷积神经网络CNN对训练数据进行特征提取，得到训练数据的特征映射，生成宽度学习基础模型的特征结点层；
步骤4、将上述映射的特征增强为随机生成权重的增强矩阵，生成宽度学习基础模型的增强结点层；
步骤5、由特征结点层与增强结点层构建输入矩阵，输入宽度学习模型进行训练，构建宽度学习基础模型；
步骤6、利用最终训练好的改进宽度学习模型。
2.根据权利要求1所述的一种基于CNN的宽度学习分类方法，其特征在于：所述步骤3中，生成特征结点层的过程为：
步骤3-1：对经过预处理后得到的输入数据X，使用卷积神经网络模型产生一个含有k个特征窗口的特征映射Zk；
步骤3-2：同上，使用k次卷积神经网络模型，生成k个特征窗口Zi，每个Zi特征窗口均包含n个特征结点，其中，i＝1,2,…,k；
步骤3-3：将k个特征窗口Z1,Z2,…,Zk拼接构成含有k×n个特征结点的特征结点层。3.根据权利要求2所述的一种基于CNN的宽度学习分类方法，其特征在于：所述卷积神经网络模型具体包括：
基于TensorFlow框架构造的一个包括：1个卷积层、1个池化层和1个全连接层的卷积神经网络，具体为：
步骤3-1-1：卷积层采用16个5×5单通道卷积核对输入数据做X卷积，激活函数使用“relu”，输出16个28×28的特征；
步骤3-1-2：池化层输入卷积层的输出数据，采用最大池化计算，Z1池化窗口大小为2×2，步长为2×2，填充方式为“SAME”，经池化层计算后输出为16个大小为14×14的特征映射；
步骤3-1-3：全连接层输入为上一层的输出数据，激活函数使用“relu”，输出为包含10个神经元的特征映射，即一个Zi，其中i＝1,2,...,k；
步骤3-1-4：使用k次上述卷积神经网络模型，得到最终的特征结点层，进入下一步计算，其中，k表示特征窗口的个数，n表示每组特征窗口所包含的特征结点个数。
4.根据权利要求2所述的一种基于CNN的宽度学习分类方法，其特征在于：所述步骤4中，步骤4-1：采用m组随机产生的权重和偏置同步骤3所产生的特征映射，通过ξ其中j变换，j＝1,2,...,m，来构造增强结点矩阵，其中ξr表示每组增强变j是一个双曲正切激活函数，换所对应的增强结点的数目。
5.根据权利要求1所述的一种基于CNN的宽度学习分类方法，其特征在于：所述步骤5中，步骤5-1：将特征结点矩阵和增强结点矩阵拼接成一个整体，得到隐含层输出矩阵，其中隐含层结点个数为L＝k×n+m×r。
6.根据权利要求5所述的一种基于CNN的宽度学习分类方法，其特征在于：所述步骤5-2中，通过引入正则化，使用最小二乘法，即岭回归来求解权值矩阵，得到最终的权重估计量，
2
CN 111931813 A
权 利 要 求 书
2/2页
通过计算求解输出权重W，最终得到训练完成的最终模
型。
7.根据权利要求3所述的一种基于CNN的宽度学习分类方法，其特征在于：所述步骤6中，步骤6-1、利用最终训练好的改进宽度学习模型，包括：训练过程产生的权值和偏置以及输出权W，估计测试数据输入所对应的分类输出。
3
CN 111931813 A
说 明 书
一种基于CNN的宽度学习分类方法
1/4页
技术领域
[0001]本发明涉及智能学习领域，特别涉及一种基于CNN的宽度学习分类方法。背景技术
[0002]目前在智能学习领域，对于解决不同类型的智能分类问题，较为广泛的是使用深度神经网络模型。但是，当面对更为复杂的问题时，一般需要加大深度神经网络模型的网络结构深度并调整每层网络的神经元数，随后采用迭代更新的方式训练各个网络层之间的连接权重，最终达到理想的模型效果。面对大量的实验数据，随着深度模型越来越复杂，层数越来越深，待优化参数也随之成倍增多，通常需要耗费大量的时间和机器资源来进行参数的迭代优化，造成了实际应用的困难。[0003]针对这一问题，陈俊龙等在随机矢量功能连接神经网络的基础上提出了一种可以和深度学习媲美的宽度学习模型，称之为宽度学习系统(BLS)，是一种无需深度结构的高效增量学习系统。目前，BLS已经在图像识别等领域中表现出了逼近深度神经网络学习模型的学习能力。相对于深度模型结构来说，宽度模型结构简单，没有多个层与层之间的连接，不需要利用梯度下降迭代的来更新权重，而是使用岭回归通过矩阵计算直接求解出权值矩阵，所以在计算速度上相比深度学习模型占很大优势。[0004]但是，由于BLS在求解样本的描述特征，构建特征层的过程中，默认使用随机产生的权重和偏执，所以在面对复杂样本情况下，会造成样本代表特征描述不充分，从而学习能力下降的问题，对于分类任务的准确率也有所损失。因此，为宽度学习模型寻找到一种更为可靠且有效的特征提取步骤是十分必要的。[0005]为了解决上述问题，本文提出一种基于CNN的宽度学习分类方法。发明内容
[0006]为了克服现有技术的不足，本发明的目的在于提供一种基于CNN的宽度学习分类方法，在保证特征结点数量相似的情况下，CNN_BLS,比BLS具有更好的分类结果。同时在与ELM(极限学习机)模型的对比中，保留了宽度学习系统的原有的高效率，具有更好的综合效果。
[0007]本发明的上述技术目的是通过以下技术方案得以实现的：[0008]一种基于CNN的宽度学习分类方法，包括如图1所述，为本发明较优实施例中一种基于CNN的宽度学习分类方法，包括以下具体步骤的技术方案予以实现：[0009]步骤1、获得训练数据与测试数据；[0010]步骤2、对训练数据与测试数据进行预处理；[0011]步骤3、利用卷积神经网络CNN对训练数据进行特征提取，得到训练数据的特征映射，生成宽度学习基础模型的特征结点层；[0012]步骤4、将上述映射的特征增强为随机生成权重的增强矩阵，生成宽度学习基础模型的增强结点层；
4
CN 111931813 A[0013]
说 明 书
2/4页
步骤5、由特征结点层与增强结点层构建输入矩阵，输入宽度学习模型进行训练，
构建宽度学习基础模型；[0014]步骤6、利用最终训练好的改进宽度学习模型，包括：训练过程产生的权值和偏置以及输出权W，估计测试输入对应的输出。[0015]进一步的，所述步骤3中，生成特征结点层的过程为：[0016]步骤3-1：对经过预处理后得到的输入数据X，使用卷积神经网络模型产生一个含有k个特征窗口的特征映射Zk；[0017]步骤3-2：同上，使用k次卷积神经网络模型，生成k个特征窗口Zi，每个Zi特征窗口均包含n个特征结点，其中，i＝1,2,…,k；[0018]步骤3-3：将k个特征窗口Z1,Z2,…,Zk拼接构成含有k×n个特征结点的特征结点层。
[0019]进一步的，所述卷积神经网络模型具体包括：[0020]基于TensorFlow框架构造的一个包括：1个卷积层、1个池化层和1个全连接层的卷积神经网络，具体为：[0021]步骤3-1-1：卷积层采用16个5×5单通道卷积核对输入数据做X卷积，激活函数使用“relu”，输出16个28×28的特征；[0022]步骤3-1-2：池化层输入卷积层的输出数据，采用最大池化计算，Z1池化窗口大小为2×2，步长为2×2，填充方式为“SAME”，经池化层计算后输出为16个大小为14×14的特征映射；
[0023]步骤3-1-3：全连接层输入为上一层的输出数据，激活函数使用“relu”，输出为包含10个神经元的特征映射，即一个Zi，其中i＝1,2,...,k；[0024]步骤3-1-4：使用k次上述卷积神经网络模型，得到最终的特征结点层，进入下一步计算，其中，k表示特征窗口的个数，n表示每组特征窗口所包含的特征结点个数。[0025]进一步的，所述步骤4中，步骤4-1：采用m组随机产生的权重和偏置同步骤3所产生的特征映射，通过ξ其中j＝1,2,...,m，来构造增强结点矩阵，其中ξj变换，j是一个双曲正切激活函数，r表示每组增强变换所对应的增强结点的数目。[0026]进一步的，所述步骤5中，步骤5-1：将特征结点矩阵和增强结点矩阵拼接成一个整体，得到隐含层输出矩阵，其中隐含层结点个数为L＝k×n+m×r。[0027]进一步的，所述步骤5-2中，通过引入正则化，使用最小二乘法，即岭回归来求解权值矩阵，得到最终的权重估计量，通过计算
求解输出权重
W，最终得到训练完成的最终模型。[0028]进一步的，所述步骤6中，步骤6-1、利用最终训练好的改进宽度学习模型，包括：训练过程产生的权值和偏置以及输出权W，估计测试数据输入所对应的分类输出。
[0029]改进的宽度学习系统CNN_BLS在保持了原有宽度学习系统BLS高效的学习速度的同时，通过卷积神经网络模型能够提取更深层次的样本特征，比BLS模型有了更强的表征能力。
[0030]综上所述，本发明具有以下有益效果：[0031]1、该方法以BLS为基础，利用CNN卷积神经网络在进行样本特征提取上的优势，基
5
CN 111931813 A
说 明 书
3/4页
于卷积和池化操作对初始输入样本数据的特征进行最大化的提取，使得其在复杂样本的情况下也能高效地完成机器学习分类任务，改进的宽度学习系统CNN_BLS在保持了原有宽度学习系统BLS高效的学习速度的同时，通过卷积神经网络模型能够提取更深层次的样本特征，比BLS模型有了更强的表征能力。[0032]2、在保证特征结点数量相似的情况下，CNN_BLS,比BLS具有更好的分类结果，同时在与ELM(极限学习机)模型的对比中，保留了宽度学习系统的原有的高效率，具有更好的综合效果。
附图说明
[0033]图1是改进的宽度学习模型图；
具体实施方式
[0034]以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。[0035]如图1所述，为本发明较优实施例中一种基于CNN的宽度学习分类方法，包括以下具体步骤的技术方案予以实现：[0036]步骤1、获得训练数据与测试数据；[0037]步骤2、对训练数据与测试数据进行预处理；[0038]步骤3、利用卷积神经网络CNN对训练数据进行特征提取，得到训练数据的特征映射，生成宽度学习基础模型的特征结点层；[0039]步骤3-1：对经过预处理后得到的输入数据X，使用卷积神经网络模型产生一个含有k个特征窗口的特征映射Zk；[0040]步骤3-2：同上，使用k次卷积神经网络模型，生成k个特征窗口Zi，每个Zi特征窗口均包含n个特征结点，其中，i＝1,2,…,k；[0041]步骤3-3：将k个特征窗口Z1,Z2,…,Zk拼接构成含有k×n个特征结点的特征结点层；
[0042]所述卷积神经网络模型具体包括：
[0043]基于TensorFlow框架构造的一个包括：1个卷积层、1个池化层和1个全连接层的卷积神经网络，具体为：[0044]步骤3-1-1：卷积层采用16个5×5单通道卷积核对输入数据做X卷积，激活函数使用“relu”，输出16个28×28的特征；[0045]步骤3-1-2：池化层输入卷积层的输出数据，采用最大池化计算，Z1池化窗口大小为2×2，步长为2×2，填充方式为“SAME”，经池化层计算后输出为16个大小为14×14的特征映射；
[0046]步骤3-1-3：全连接层输入为上一层的输出数据，激活函数使用“relu”，输出为包含10个神经元的特征映射，即一个Zi，其中i＝1,2,...,k；[0047]步骤3-1-4：使用k次上述卷积神经网络模型，得到最终的特征结点层，进入下一步计算，其中，k表示特征窗口的个数，n表示每组特征窗口所包含的特征结点个数。[0048]步骤4、将上述映射的特征增强为随机生成权重的增强矩阵，生成宽度学习基础模
6
CN 111931813 A
说 明 书
4/4页
型的增强结点层，所述步骤4中，步骤4-1：采用m组随机产生的权重和偏置同步骤3所产生的特征映射，通过ξ其中j＝1,2,...,m，来构造增强结点矩阵，其中ξj变换，j是一个双曲正切激活函数，r表示每组增强变换所对应的增强结点的数目。[0049]步骤5、由特征节点层与增强节点层构建输入矩阵，输入宽度学习模型进行训练，构建宽度学习基础模型，所述步骤5中，步骤5-1：将特征结点矩阵和增强结点矩阵拼接成一个整体，得到隐含层输出矩阵，其中隐含层结点个数为L＝k×n+m×r；[0050]所述步骤5-2中，通过引入正则化，使用最小二乘法，即岭回归来求解权值矩阵，得到最终的权重估计量，通过计算
求解输出权重W，最终得
到训练完成的最终模型。[0051]步骤6、利用最终训练好的改进宽度学习模型，包括：训练过程产生的权值和偏置以及输出权W，估计测试输入对应的输出，所述步骤6中，步骤6-1、利用最终训练好的改进宽度学习模型，包括：训练过程产生的权值和偏置以及输出权W，估计测试数据输入所对应的分类输出。
[0052]改进的宽度学习系统CNN_BLS在保持了原有宽度学习系统BLS高效的学习速度的同时，通过卷积神经网络模型能够提取更深层次的样本特征，比BLS模型有了更强的表征能力。
[0053]在使用标准数据集MNIST并设置相关参数之后的分类结果对比试验表示：
[0054]
[0055]
在保证特征结点数量相似的情况下，CNN_BLS,比BLS具有更好的分类结果。同时在
与ELM(极限学习机)模型的对比中，保留了宽度学习系统的原有的高效率，具有更好的综合效果。
[0057]以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
[0056]
7
CN 111931813 A
说 明 书 附 图
1/1页
图1
8
