Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 ２０１５，５１（７） ７ 基于改进支持向量机的快速稳健代理模型研究 刘玉琳 ，陈文亮 ， 鲍益东 ，丁力平 ＬＩＵ Ｙｕｌｉｎ ，ＣＨＥＮ Ｗｅｎｌｉａｎｇ ，ＢＡＯ Ｙｉｄｏｎｇ ，Ｄｉｎｇ Ｌｉｐｉｎｇ １．安徽工业大学数理学院，安徽马鞍山２４３０３２ ２．南京航空航天大学机电学院，南京２１００１６ １．Ｓｃｈｏｏｌ ｏｆＭａｔｈｅｍａｔｉｃｓ ａｎｄ Ｐｈｙｓｉｃｓ，Ａｎｈｕｉ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＴｅｃｈｎｏｌｏｇｙ，Ｍａ’ａｎｓｈａｎ，Ａｎｈｕｉ ２４３０３２，Ｃｈｉｎａ ２．Ｃｏｌｌｅｇｅ ｏｆ Ｍｅｃｈａｎｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＡｅｒｏｎａｕｔｉｃｓ ａｎｄ Ａｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ ２ １ ００ １ ６，Ｃｈｉｎａ ＬＩＵ Ｙｕｌｉｎ，ＣＨＥＮ Ｗｅｎｌｉａｎｇ，ＢＡＯ Ｙｉｄｏｎｇ，ｅｔ ａ１．Ｆａｓｔ ａｎｄ ｒｏｂｕｓｔ ｓｕｒｒｏｇａｔｅ ｍｏｄｅｌ ｒｅｓｅａｒｃｈ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ｓｕｐ－ ｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２０１５，５１（７）：７－１１． Ａｂｓｔｒａｃｔ：Ｓｕｒｒｏｇａｔｅ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＬＳ－ＳＶＭ）ｈａｓ ｐｒｅｆｅｒａｂｌｅ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ａｂｉｌｉｔｙ ａｎｄ ｐｏｗｅｒｆｕｌ ｎｏｎ—ｌｉｎｅａｒ ｅｘｐｒｅｓｓｉｏｎ ａｂｉｌｉｔｙ，ｂｕｔ ＬＳ－ＳＶＭ ｉｓ ｖｅｒｙ ｓｅｎｓｉｔｉｖｅ ｔｏ ｏｕｔｌｉｅｒｓ ｗｈｉｃｈ ａｒｅ ｉｎｅｖｉｔａｂｌｅ ｉｎ ａｃｔｕａｌ ｐｒｏｊｅｃｔｓ． Ｔｒａｄｉｔｉｏｎａｌ Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＷＬＳ－ＳＶＭ）ｏｆｔｅｎ ｈａｓ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｏｖｅｒ ｆｉｔｔｉｎｇ，ａｎｄ ｉｔ ｄｏｅｓ ｎｏｔ ｃｏｎｓｉｄｅｒ ｔｈｅ ｒｅｇｒｅｓｓｉｏｎ ｅｒｒｏｒ ｄｉｓｔｒｉｂｕｔｉｏｎ ｃｈａｒａｃｔｅｒｉｓｔｉｃ．Ａｉｍｉｎｇ ａｔ ｔｈｅｓｅ ｐｒｏｂｌｅｍｓ，ｎｏｒｍａｌ ｄｉｓｔｒｉｂｕｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ ｗｅｉｇｈｔｅｄ ｍｅｔｈｏｄ ｉｓ ｐｒｅｓｅｎｔｅｄ，ａｎｄ ｔｈｅ ｍｅｄｉａｎ ｖａｌｕｅ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｅｒｒｏｒ ｉｓ ｓｅｌｅｃｔｅｄ ａｓ ｃｒｉｔｅｒｉａ ｆｏｒ ｃｏｍｐｕｔｉｎｇ ｗｅｉｇｈｔｅｄ ｖａｌｕｅ ｉｎ ｏｒｄｅｒ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｗｅｉｇｈｔｅｄ ａｌｇｏｒｉｔｈｍ ｒｏｂｕｓｔｎｅｓｓ．Ｍｏｒｅｏｖｅｒ，ｆａｓｔ ｒｅｃｕｒｓｉｖｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｉｔｅｒａｔｉｖｅｌｙ ｗｅｉｇｈｔｅｄ ＬＳ－ＳＶＭ ｉｓ ｐｒｏｐｏｓｅｄ．Ｍａｔｒｉｘ ｒｅｌａｔｉｏｎ ｉｓ ｕｔｉｌｉｚｅｄ ｉｎ ｔｈｉｓ ｆａｓｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｉｔｅｒａｔｉｖｅｌｙ ｒｅｃｕｒｓｉｖｅ ｃａｌｃｕｌａｔｉｏｎ，ｗｈｉｃｈ ｃａｎ ｒｅｄｕｃｅ ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ ｓａｖｅ ｍｏｄｅｌｉｎｇ ｔｉｍｅ．Ｌａｓｔｌｙ，ｔｈｅ ｒｅｓｕｌｔｓ ｏｆ ｎｕｍｅｒｉｃａ１ ｒｅｇｒｅｓｓｉｏｎ ｅｘｐｅｒｉｍｅｎｔ ｖａｌｉｄａｔｅ ｔｈｅ ｆｅａｓｉｂｉｌｉｔｙ ａｎｄ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｉｓ ｍｅｔｈｏｄ． Ｋｅｙ ｗｏｒｄｓ：ｒｏｂｕｓｔ；ｓｕｒｒｏｇａｔｅ ｍｏｄｅｌ；Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｓｕｐｐｏａ Ｖｅｃｔｏｒ Ｍａｅｈｉｎｅ（ＷＬＳ—ＳＶＭ）；ｏｕｔｌｉｅｒｓ 摘要：最小二乘支持向量机代理模型具有较好的泛化能力和强大的非线性处理能力，但其对实际工程中不可避免 的异常样本十分敏感，而传统的加权最小二乘支持向量机易产生过度拟合并且未考虑到回归误差分布特性，针对这 一问题提出正态分布概率密度函数加权方法，并且采用回归误差的中值作为计算权值的衡量标准，增强了加权算法 的稳健性；提出了迭代加权最小二乘支持向量机快速递推算法，利用矩阵关系进行迭代递推计算，减少了计算量，节 约了建模时间。通过数值实例验证了该方法的可行性、有效性。 关键词：稳健；代理模型；加权最小二乘支持向量机；异常样本 文献标志码：Ａ 中图分类号：ＴＧ３０２ ｄｏｉ：１０．３７７８￣．ｉｓｓｎ．１００２．８３３１．１４０９．０１４７ ｌ 引言 优化算法的技术瓶颈。基于代理模型的优化方法是求 “代理模型”即通过建立输入参数和输出响应的函数 解大规模非线性问题最有希望的方法之一 ，鉴于其高 关系，将未知的物理黑箱问题转化为显示的数学描述。 效性，广泛应用于工程优化领域。如果能够高效建立稳 代理模型技术可以通过少量的计算，构建能够反映系统 健的代理模型，很多大规模工程问题便可以迎刃而解。 物理实质的数学模型，解决了传统的优化算法和启发式 主流的代理模型技术，如多项式响应面、Ｋｒｉｎｇｉｎｇ 基金项目：国家自然科学基金（Ｎｏ．５１１０５２００）；国家自然科学基金天元基金（Ｎｏ．１１３２６０８８）；校青年科研基金（Ｎｏ．ＱＺ２０１３２０）；校质 量工程项目（Ｎｏ．００３５３８）。 作者简介：刘玉琳（１９８１一），女，博士研究生，讲师，主要从事稳健优化方向的研究；陈文亮（１９６６一），男，博士，教授，主要从事 ＣＡＤ／ＣＡＥ方向的研究；鲍益东（１９７６一），男，博士，副教授，主要从事ＣＡＤ／ＣＡＥ方向的研究；丁力平（１９８０一），男，博 士，讲师，主要从事ＣＡＤ／ＣＡＥ方向的研究。Ｅ—ｍａｉｌ：ｌｉｕｙｕｌｉｎ＠ｎｕａａ．ｅｄｕ．ｃａ 收稿日期：２０１４－０９．１５ 修回日期：２０１４—１２．０５ 文章编号：１００２．８３３１（２０１５）０７—０００７．０５ ＣＮＫＩ网络优先出版：２０１４．１２－１１，ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／１１．２１２７．ＴＰ．２０１４１２１１．１５２８．０５５．ｈｔｍｌ ８ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 插值、神经网络、径向基插值等 ，多数建立在经验风险 最小化准则之上，导致丧失了推广能力，难以反映研究目 望为ｍｅｄ｛ｅ ｝的正态分布概率密度函数确定权值方法。 在此基础上，提出了迭代加权最小二乘支持向量机快速 递推算法，利用矩阵关系进行迭代递推计算，减少计算 量，节约迭代最小二乘支持向量机训练时间。 标的实质和特性。支持向量机（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ， ＳＶＭ）是由Ｖａｐｎｉｋ 提出的一种基于小样本统计学习理 论和结构风险最小化的建模方法，具有坚实的理论基 础，较好的泛化能力及强大的非线性和高维处理能力。 Ｓｕｙｋｅｎｓ等 提出最小二乘支持向量机（Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＬＳ—ＳＶＭ），选择误差平方和作 ２改进加权最小二乘支持向量机 ２．１加权最小二乘支持向量机 为了增强ＬＳ—ＳＶＭ的稳健性，给定一个由１个样本数 为损失函数，用等式约束代替不等式约束，将求解过程 据组成的训练集｛ｘｆ，Ｙ ｝，ｘ ∈Ｒ ，Ｙｆ∈Ｒ， １，２，…，ｆ。 转变成一组等式方程，避免了求解耗时的二次规划 （Ｑｕａｄｒａｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ，ＱＰ）问题，使求解速度加快。 ＬＳ．ＳＶＭ在工程领域得到了广泛的应用［ｓｑｏ］，但ＬＳ—ＳＶＭ 在简化计算的同时，也丧失了解的稀疏性和稳健性等 优点。 在实际工程中，样本采集是一个容易受环境条件和 人为操作等不确定因素影响的过程。因此，训练样本中 难免会混入少量和大多数正常样本差异显著的异常样 本。ＬＳ—ＳＶＭ对异常样本的存在十分敏感，通常存在一 个或几个异常样本就会很大程度地破坏模型的特性。 为了增强ＬＳ．ＳＶＭ的稳健性，Ｓｕｙｋｅｎｓ等人提出了加权 ＬＳ—ＳＶＭ（Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅｓ Ｓｕｐｐｏ￣Ｖｅｃｔｏｒ Ｍａ— ｃｈｉｎｅ，ＷＬＳ—ＳＶＭ）算法来减少异常样本对回归机的负 面影响””；包鑫对Ｓｕｙｋｅｎｓ等人提出了加权算法进行了 改进 ；Ｚｈａｎｇ和Ｇｕｏ提出重加权算法，通过对样本进行 重加权，逐步减少异常样本的影响，修正回归机的估计 值” ；赵永平等提出了基于滚动窗思想的最小二乘支持 向量机稳健模型构建方法 ；张淑宁等人提出了鲁棒最 小二乘支持向量回归机算法，通过引入鲁棒学习来获得 鲁棒估计ｕ １；Ｓｈｉｍ等人采用模糊聚类来实现最小二乘支 持向量机稳健回归 。上述加权方法仅根据回归误差 确定权值，采用“误差大相应的权值小，误差小相应的权 值大”原则，没有考虑到用于建模的样本的分布不均匀 性。但由于采用自适应的建模方法，建模数据信息会重 复出现在某些局部区域，用于建模的样本具有冗余的特 性。因此，模型会对某些特殊点（如“拐点”等）的表达不 明显，削弱了某些特殊点对回归模型的贡献，回归模型 易产生过拟合现象。并且上述加权方法本质均假设回 归误差ｅ 服从均值为０的正态分布。如果样本点集合 中没有异常样本存在，该假设是正确的。然而，由于异 常样本分布的影响，特别是异常样本点数量较多时，假 设样本误差ｅ 均值为０是不稳健的。 针对ＷＬＳ．ＳＶＭ传统加权方法易产生过度拟合及 未考虑到回归误差分布特性问题，本文提出基于数学期 在ＬＳ．ＳＶＭ算法的基础上对误差变量ｅ．进行加权，得到 最优化问题： ｌ ａｒｉｎＪ（ｗ， ） １ｗＴ ＋ １ ｙ ｖｉｅ …ｓ．ｔ．Ｙ ＝ Ｔ （ ）＋ｂ＋Ｐｆ，ｉ＝１，２，…，， （１） 其中Ｗ∈Ｒ 是权值向量，非线性映射 （ ）：Ｒ 是 将输入数据映射到高维特征空间的函数，误差变量 ｅ ∈Ｒ，偏置值ｂ∈Ｒ，ｙ＞０为惩罚系数，ｖ，∈Ｒ为加权系 数，用于调节各样本点在模型中所起的作用。式（１）的 最优化问题可变换到对偶空间加以解决，得到Ｌａｇｒａｎｇｅ 函数： ， Ｌ（ｗ，６，Ｐ，ｄ）＝ （ ，Ｐ）一∑ ｆｆ＝１ ｛ （ ）＋易＋Ｐ －ｙ ｝（２） 其中Ｌａｇｒａｎｇｅ乘子６［．∈Ｒ。对各变量求偏导，并令它们 等于０。 ｌ ＝０ ＝ （ 嚣＿（】 一 ㈦ ８／；＿：０ ＯＣｉ＝Ｙｖｉｅｉ，ｉ：１，２，…，， Ｕｅｉ 杀＝０ ｗＶ￣ｂ（ ｆ）＋ ＿０，ｆ＿ｌ …，， 消去变量ｗ和ｅ，口］得线性方程组： ｌ圈 ㈩ 其中Ｊ，＝［ ｌ，Ｙ２，…，Ｙｔ］ ，１＝［１，１，…，１］Ｔ为，×１ 岣量， ａ。， 。 ， ｄｉａｇ｛￣ｖ１， １，…， ｝， Ｑ＝｛Ｑ ｌｉ， ＝１，２，…，，｝，Ｑ ＝ ） （ ）＝Ｋ（ｘ ， ），Ｋ（ｘ ， ） 为核函数。从而可得非线性回归估计函数为： （ ）＝∑ ｆＸ（ｘｆ， ）＋ｂ （５） 其中仅、ｂ为线性方程组（４）的解。 ２．２基于正态分布概率密度函数确定权值 根据稳健统计理论，采用基于中位数的统计量比基 刘玉琳，陈文亮，鲍益东，等：基于改进支持向量机的快速稳健代理模型研究 ９ 于均值的统计量具有更好的稳健性。为了使权值更能 反映样本回归误差的分布特性，增强回归模型的稳健 性，假设回归误差ｅ 服从均值为ｒｅｅｄ｛ｅ ｝的正态分布， 采用的权函数为： ：竺 ｖ ： ｅ ２ａｅ，ｉ：１，２，．．．，ｚ （６） √２７ｃ 其中ｒｅｅｄ代表中位数。 正态分布概率密度函数中盯参数决定了正态曲线 的形状：盯越小，分布越集中，曲线越陡峭； 越大，分布 越分散，曲线越扁平。考虑回归误差的统计特征，应遵 循如下取值规则：如回归误差的分布较分散，则各样本 点应赋予离散程度较大的权值，盯取值应偏小；如回归 误差的分布较紧密，则各样本点应赋予离散程度较小的 权值， 的取值应偏大。 与已有加权方法相比，基于正态分布概率密度函数 的加权方法削弱了样本冗余数据造成的“过度拟合”。 在权值计算方面，两种方法的不同如图１所示。已有方 法是回归误差绝对值越小，其权值越大。本文提出的加 权方法对回归误差位于中间的样本赋予最大的权值，而 误差远离误差中位数的样本赋予小权值。本文提出的 加权法更侧重于自适应建模方法中训练样本的非均匀 分布实际特性，并且采用回归误差的中值作为计算加权 值的衡量标准，增强了算法的稳健性。 ／ － （ａ）已有加权方法 （ｂ）正态分布概率密度函数加权法 图１两种加权方法对比示意图 ２．３ 迭代加权最小二乘支持向量机快速递推算法 迭代加权最小二乘支持向量机的每次迭代过程都 需要重新训练一次，即重新求解线性方程组（４），因此将 耗费较多的运算时间。针对该问题，从数值计算的角度 给出一种迭代加权最小二乘支持向量机的快速递推算 法。为了方便推导，将加权最小二乘支持向量机的对偶 问题改写成如下形式： 圈 （７） 其中， ｄｉａｇ｛击，袁，…， ）。则迭代加权最小二乘 支持向量机第ｋ次迭代求解的线性方程组为： ｆＱ 圈 其中， ， ｄｉａｇ｛ ， ，…， ｝。可以看到， Ⅱ 权最小二乘支持向量机第ｋ次迭代模型和第ｋ一１次迭代 模型非常相似，唯一不同之处就是 ｌ，ｅ＝ｄｉａｇ｛ ， ？ｖｋ１．２ ，…， Ｙｖ—１．， ｝，特别的 －ｄｉａｇ …， 一ｋ一ｙ ｙ ｙ 因此，可尝试通过第ｋ一１训练结果来快速计算第ｋ次训 练结果。记 ＝ ｊ ＋１ ０１］Ｉ ， ＝ ＋ ｌ１ ０１］Ｊ ， ，Ｉ， ０可利用 来快速获得 ： ，从而避 免重新对矩阵求逆，快速计算出Ｘ。为了清晰描述快速 递推算法原理，首先引入Ｓｈｅｒｍａｎ．Ｍｏｒｒｉｓｏｎ—Ｗｏｏｄｂｕｒｙ 公式。 定义１（Ｓｈｅｒｍａｎ．Ｍｏｒｒｉｓｏｎ．Ｗｏｏｄｂｕｒｙ公式）给定一 个可逆矩阵Ａ，列向量Ｕ 和“ ，假设１＋Ｈ 一ｎ ≠０，则 有以下公式成立： ｃ ＋ 。“２Ｔ）－Ｉ＝Ａ－Ｉ— Ｊ！；＋ Ａ即 ．冬 ｃ９ 根据Ｓｈｅｒｍａｎ—Ｍｏｒｒｉｓｏｎ—Ｗｏｏｄｂｕｒｙ公式，可以采用 迭代更新的方法由 来快速计算获得 ’。 （上一—Ｌ）０ …０ ｙ Ｖｋｉ Ｖｋ．Ｉ．Ｉ （１０） Ｏ ０ ０ ０ 令Ｂ０＝ Ｂｇ一 ＋１０ ，—Ｌ ｙ Ｖ ０ 行（，ｇ １１） ０… ０ 第ｇ列 则Ａ ＝ 。令 ｌｆ ＝［０，…，０， …，０】 －［ 一＇０． 一 ，０，…’０］ 的第ｇ个元素是 ＇￣／／２，ｑ的第ｇ个元素是 一 ， 则Ｂｑ＝ ｇ１＋“１ＵＴ ，ｇ。因此，根据Ｓｈｅｒｍａｎ－Ｍｏｒｒｉｓｏｎ－ ｗｏｏｄｂｕｒｙ公式，有： ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ ａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用 － １＝Ｂ 一 ，…… 拟自适应建模方法中的建模数据信息会在某些局部区 域具有冗余的特性，假定采样样本点在区间 ∈［０＿３，０．６］ 由式（１２），可知Ｂｏ 曰 … 。因为Ｂ０＝ 较密集，而在区间 ∈［０，０．３】和 ∈［０．６，１】较稀疏。 １， Ａｔ＝ ，，则 ＝ ，Ｓｏ ＝Ａ－ｌ＿ｌ，因此可由 速计算获得Ａ －ｌ。 来快 仿真实验中，支持向量机核函数取为径向基核函 数。ＬＳ．ＳＶＭ得到的回归结果，基于Ｓｕｙｋｅｎｓ加权方法 的传统ＷＬＳ—ＳＶＭ得到的回归结果，基于正态分布概率 密度函数加权方法（Ｏ－＝０．５）的改进ＷＬＳ—ＳＶＭ得到的回 归结果分别如图３、图４、图５所示。 基于上述推导，迭代加权最小二乘支持向量机快速 递推算法过程如图２所示。 可看出，在训练样本存在异常样本点干扰的情况下， ＷＬＳ ＳＶＭ的确比ＬＳ．ＳＶＭ具有更好的拟合效果；并且在 数据点密集处，基于Ｓｕｙｋｅｎｓ］Ｊｌｆ权方法的传统ＷＬＳ．ＳＶＭ 和基于正态分布概率密度函数加权方法的改进ＷＬＳ．ＳＶＭ 都取得了较好的拟合效果；而在数据点稀疏区域，本文 提出的改进ＷＬＳ．ＳＶＭ则具有更好的拟合效果。 测试样本由不加噪声扰动的函数ｆ（ｘ）产生，并且设 置与训练样本不同的采样间隔，确保测试样本与训练样本 的性。表１为３种方法建模的预测误差分析结果。 表１预测误差统计分析结果 从数值仿真实验结果来看，针对自适应代理模型建 模过程中样本点冗佘、分布不均现象，传统加权方法侧重 密集区域样本点而忽略其他样本时，会产生过度拟合。而 图２ 迭代加权最小二乘支持向量机快速递推算法流程图 本文提出的改进加权方法可有效地解决这类问题，进一 步提高代理模型的回归精度，增强代理模型的稳健性。 ３数值实例仿真实验 为了验证上述算法的可行性、有效性，采用一维非 为了考察快速递推算法的有效性，根据提出的基于 正态分布概率密度函数加权方法，在Ｍａｔｌａｂ ７．０环境下 编写和运行了未加速的迭代加权最小二乘支持向量机 （１３） 线性函数ｆ（ｘ）作为数值例子进行仿真实验。 厂ｆ ）＝３ｅ－；，《】０ ＋２ｅ— 一 ‘，０ ， ∈［０，１］ 算法及其快速递推算法。针对３个训练样本集，样本点 训练样本由两部分组成，一部分是正常样本，由厂（ｘ） 函数附加服从正态分布的随机噪声 Ⅳ（０，０．０８）产生， 另一部分是异常样本，由人为添加一些异常样本点构 成，共６６个训练样本点，其中异常样本点５个。为了模 总数分别为６６、１００、１３２，异常样本点数量分别为５、１５、 ３３，即３个训练样本集中异常样本的比例分别为７．５％、 １ ５％、２５％，均在Ｐｅｎｔｉｕｍ＠Ｄｕａ１．Ｃｏｒｅ ＣＰＵ ２．８０ ＧＨｚ， ２．００ ＧＢ内存电脑配置下进行实验，训练时间的相关结 ０ ０ ０ 图３ ＬＳ—ＳＶＭ方法回归结果 图４传统ＷＬＳ．ＳＶＭ方法回归结果 图５改进ＷＬＳ—ＳＶＭ方法回归结果 刘玉琳，陈文亮，鲍益东，等：基于改进支持向量机的快速稳健代理模型研究 ２０１５．５１（７） １１ 果如表２所示。 表２仿真样本点集训练时间对比 从训练时间来看，加速迭代加权最小二乘支持向量 机算法远远少于未加速算法，可以节省大量的训练时 间，这使得基于迭代加权的支持向量机稳健模型构建具 备了时问效率上的可行性：不需要增加过多的训练时间 就可以大幅提高代理模型对异常样本点的容忍度，获得 更加稳健的预测结果。 ４ 结论 （１）正态分布概率密度函数加权法更侧重于自适应 建模方法中训练样本的非均匀分布实际特性，削弱了样 本冗余数据造成的“过度拟合”，并且采用回归误差的中 值作为计算加权值的衡量标准，增强了算法的稳健性。 （２）迭代加权最小二乘支持向量机快速递推算法， 根据Ｓｈｅｒｍａｎ．Ｍｏｒｒｉｓｏｎ—Ｗｏｏｄｂｕｒｙ公式，利用矩阵关系 进行前后两迭代步的矩阵求逆递推计算，避免了重新求 解线性方程组，减少了计算量，节约了迭代加权最小二 乘支持向量机训练时间。 （３）通过非线性函数数值算例的仿真实验，验证了 本文提出的方法的可行性和有效性，提高了代理模型的 预测精度，增强了代理模型的稳健性，缩短了稳健代理 模型的建模时间。 参考文献： ［１】李光耀．板料冲压成形工艺与模具设计制造中的若干前沿 技术［Ｊ］．机械工程学报，２０１０，４６（１０）：３１．３５． ［２】Ｎａｃｅｕｒ Ｈ，Ｂｅｎ—Ｅｌｅｃｈｉ Ｓ．Ｒｅｓｐｏｎｓｅ ｓｕｒｆａｃｅ ｍｅｔｈｏｄｏｌｏｇｙ ｆｏｒ ｔｈｅ ｒａｐｉｄ ｄｅｓｉｇｎ ｏｆ ａｌｕｍｉｎｕｍ ｓｈｅｅｔ ｍｅｔａｌ ｆｏｒｍｉｎｇ ｐａｒａｍｅｔｅｒｓ［Ｊ］．Ｍａｔｅｒｉａｌｓ ａｎｄ Ｄｅｓｉｇｎ，２００８，２９：７８１－７９０． ［３】Ｊａｋｕｍｅｉｔ Ｊ，Ｈｅｒｄｙ Ｍ，Ｎｉｔｓｃｈｅ Ｍ．Ｐａｒａｍｅｔｅｒ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ｔｈｅ ｓｈｅｅｔ ｍｅｔａｌ ｆｏｒｍｉｎｇ ｐｒｏｃｅｓｓ ｕｓｉｎｇ ａｎ ｉｔｅｒａｔｉｖｅ ｐａｒａｌｌｅｌ Ｋｒｉｎｇｉｎｇ ａｌｇｏｒｉｔｈｍ［Ｊ］．Ｓｔｒｕｃｔｕｒａｌ ａｎｄ Ｍｕｌｔｉｄｉｓｃｉ－ ｐｌｉｎａｒｙ Ｏｐｔｉｍｉｚａｔｉｏｎ，２００５，２９（６）：４９８—５０７． ［４］Ｚｈａｎｇ Ｙａｎｑｉｎ．Ｒｅｓｅａｒｃｈ ｏｎ ｍｅｔｈｏｄ ｏｆ ｓｈｅｅｔ ｂｌａｎｋ ｄｅｓｉｇｎ ｂａｓｅｄ ｏｎ ＡＮＮ［Ｊ］．Ｆｏｒｍｉｎｇ＆Ｓｔａｍｐｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，２００９， ３４（６）：６２—６４． ［５】Ｆａｎｇ Ｈ，Ｈｏｒｓｔｅｍｅｙｅｒ Ｍ Ｆ．Ｇｌｏｂａｌ ｒｅｓｐｏｎｓｅ ａｐｐｒｏｘｉｍａｔｉｏｎ ｗｉｔｈ ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｅｎｇｉｎｅｅｒｉｎｇ Ｏｐｔｉ－ ｍｉｚａｔｉｏｎ，２００６，３８（４）：４０７．４２４． ［６】Ｖａｐｎｉｋ Ｖ Ｎ．Ｓｔａｔｉｓｔｉｃａｌ ｌｅａｒｎｉｎｇ ｔｈｅｏｒｙ［Ｍ］．Ｎｅｗ Ｙｏｒｋ：Ｊｏｈｎ Ｗｉｌｅｙ，１９９８． ［７］Ｓｕｙｋｅｎｓ Ｊ Ａ Ｋ，Ｖａｎｄｅｗａｌｌｅ Ｊ．Ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ ｃｌａｓｓｉｉｆｅｒｓ［Ｊ］．Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，１９９９，９（３）： ２９３—３００． 【８】Ｓｕｙｋｅｎｓ Ｊ Ａ Ｋ，Ｖａｎｄｅｗａｌｌｅ Ｊ．Ｏｐｔｉｍａｌ ｃｏｎｔｒｏｌ ｂｙ ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ［Ｊ］．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２００ １ （１４）：２３—３５． ［９］陈爱军．最小二乘支持向量机及其在工业过程建模中的应 用［Ｄ】．杭州：浙江大学，２００６． ［１Ｏ］王久崇，樊晓光，盛晟，等．改进的蜂群ＬＳ—ＳＶＭ故障预测［Ｊ］． 空军工程大学学报：自然科学版，２０１３，１４（１）：１６－２０． ［１１］Ｓｕｙｋｅｎｓ Ｊ Ａ Ｋ，Ｂｒａｂａｎｔｅｒ Ｊ Ｄ，Ｌｕｋａｓ Ｌ，ｅｔ ａ１．Ｗｅｉｇｈｔｅｄ ｌｅａｓｔ ｓｑｕａｒｅｓ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ：ｒｏｂｕｓｔｎｅｓｓ ａｎｄ ｓｐａｒｓｅ ａｐｐｒｏｘｉｍａｔｉｏｎ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００２，４８（１）： ８５—１Ｏ５． ［１２】包鑫，戴连奎．加权最小二乘支持向量机稳健化迭代算法 及其在光谱分析中的应用［Ｊ］．化学学报，２００９，６７（１０）： １Ｏ８１－１０８６． ［１ ３］Ｚｈａｎｇ Ｊ Ｓ，Ｇｕｏ Ｇ．Ｒｅｗｅｉｇｈｔｅｄ ｒｏｂｕｓｔ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｒｅｇｒｅｓｓｉｏｎ ｍｅｔｈｏｄ［Ｊ］．Ｃｈｉｎｅｓｅ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒｓ，２００５， ２８（７）：１１７１－１１７８． ［１４】赵永平，孙建国．基于滚动窗法最小二乘支持向量机的稳 健预测模型【Ｊ］．模式识别与人工智能，２００８，２１（１）：１－５ ［１５】张淑宁基于鲁棒学习的最小二乘支持向量机及其应用［Ｊ］． 控制与决策，２０１０，２５（８）：１１６９．１１７５． ［１ ６】Ｓｈｉｍ Ｊ，Ｈｗａｎｇ Ｃ，Ｎａｕ Ｓ．Ｒｏｂｕｓｔ ＬＳ—ＳＶＭ ｒｅｇｒｅｓｓｉｏｎ ｕｓｉｎｇ ｆｕｚｚｙ Ｃ—ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ［Ｊ］．Ａｄｖａｎｃｅｓ ｉｎ Ｎａｔｕｒａｌ Ｃｏｍ一 ｐｕｔｅｒ Ｓｃｉｅｎｃｅ，２００６，４２（２１）：１５７．１６６．
