您好,欢迎来到爱问旅游网。
搜索
您的当前位置:首页基于粒子群优化的核函数参数选优

基于粒子群优化的核函数参数选优

来源:爱问旅游网
第9卷第4期 江南大学学报(自然科学版) Vo1.9 No.4 2010年8月 Journal of Jiangnan University(Natural Science Edition) Aug. 2Ol0 基于粒子群优化的核函数参数选优 李蓉一, 赵瑾 , 申忠宇 (南京师范大学电气与自动化工程学院,江苏南京210042) 摘 要:核主元分析的性能受本身核函数参数的影响,为了优化核函数参数,提高核主元分析的性 能,在研究粒子群优化算法的基础上,提出了基于粒子群优化的核函数参数选优方法,有效地提高 了核函数参数的优化,减少了其设置的盲目性。该方法综合考虑样本的类内离散度和类间距离,建 立核函数参数优化的数学模型,应用粒子群优化算法对其寻优,通过仿真验证了该方法的有效性。 关键词:粒子群优化;核主元分析;核函数参数 中图分类号:TP 273 文献标识码:A 文章编号:1671—7147(2010)04—0444—04 Research of Optimized Kernel Function Parameter Based on Particle Swarm Optimization Algorithm LI Rong-yi,ZHAO Jin ,SHEN Zhong—yu (School of Electrical and Automatic Engineering,Nanjing Normal University,Nanjing 210042,China) Abstract:The performance of kernel principal component analysis is influenced by its kernel function parameter.Therefore,setting a good kernel function parameter is vitally important.In order to optimize the kernel function parameter and improve the performance of kernel principal component analysis,on the basis of study of the particle swarm optimization related literature,kernel function parameter optimized by particle swarm optimization algorithm is proposed in this paper,which is effectively raising the optimization of kernel parameter and reducing the blindness of its setting.By comprehensively considering within—class scatter and between—class scatter of samples feature,the objeetive function model of kernel function parameter optimization is constructed,and the particle swarm optimization algorithm was used to optimize it.The numerical simulation results are presented to validate the approach. Key words:particle swarm optimization,kernel principal component analysis,kernel function parameter 核主元分析(Kernel Principal Component 空间中的线性问题。这一非线性映射是在原空间中 Analysis,KPCA)是一种非线性方法,它引入某种 利用核函数内积运算实现的,无需知道变换的具体 非线性映射将原空间中的非线性问题转化为映射 形式。通过核函数方法,KPCA将PCA拓展到非线性 收稿日期:2010—05—18; 修订日期:2010—06—20。 基金项目:江苏省高校自然科学基础研究项目(08KJD510016;09KJB51000B)。 作者简介:李蓉一(1986一),女,江苏江阴人,控制理论与控制工程专业硕士研究生。 通信作者:赵瑾(1961一),女,浙江诸暨人,副教授,硕士生导师。主要从事动态系统的故障检测与诊断研究。 Email:zhaojin@njnu.edu.cn 第4期 李蓉一等:基于粒子群优化的核函数参数选优 445 领域,为处理非线性过程监测和控制提供了一个较 好方法。 学家James Kennedy和电气工程师Russel Eberhart 共同提出的,其基本思想是受他们早期对许多鸟类 的群体行为进行建模与仿真研究结果的启发。粒子 群算法 5 是一种优化算法,简单易于实现且具有很 强的全局收敛能力。PSO求解优化问题时,问题的解 对应于搜索空间中一只鸟的位置,这些鸟被称为 核主元分析方法的性能受核函数参数的影响 (核函数参数的选取影响了样本的分类和核主元的 提取),因此,研究核参数优化方法对核主元分析方 法性能的提高及应用具有重要的意义。Olivier Chapelle…和Keerthi_2 提出采用梯度下降算法解 决核函数多个参数的优化问题,但是该算法需要计 算目标函数对优化参数的偏导数(梯度)。如果目标 “粒子”。所有的粒子都有一个由被优化函数决定的 适应值,每个粒子还有一个速度向量决定飞行方向 和距离,然后粒子就追随当前的最优粒子在解空间 函数对某个参数的偏导数不存在或由于计算复杂 而无法求解时,采用梯度下降法无法实现核参数的 优化问题。王新峰 提出一种基于矩阵相似度的核 函数选优方法。首先给出一种具有较好分类能力的 核函数矩阵,然后利用矩阵间的相似度量关系,在 一定范围内寻找能近似此矩阵的核函数参数值。何 学文 提出利用改进的遗传算法对核函数参数寻 优,但是采用遗传算法存在编码和遗传操作的复杂 过程。 粒子群优化算法(Particle Swarm Optimizahon,PSO)是一种基于种群的全局并行寻 优方法,通过迭代搜寻最优值。 文中结合Fisher判别准则和粒子群优化算法, 首先利用Fisher判别函数的思想建立核参数优化模 型,然后利用粒子群优化算法求出参数优化模型的 全局最优解,最后通过仿真实例验证方法的有 效性。 1 基于粒子群优化的核参数选优 1.1 核函数 由于径向基函数具有某些良好的性态,在支持 向量机、人工神经网络等领域取得了广泛的应用。 因此,选择径向基函数作为核主元分析的核函数, 并且这种核函数只涉及一个参数的优化,其表达式 如下: k( ,Y)=exp[一Il —Y l1 /or/ (1) 核函数参数 被称作核宽度,大量实验表明, 径向基核函数中参数or的选取对核函数的性能影 响很大,合适的 是核函数具有良好性能保证。过 大的 ,样本的“势力范围”会过大,以至于一些毫 无关系的训练样本会干扰对新的测试样本做出正 确判断;过小的 则会导致核函数只有记忆功能而 无法对新的样本进行判断。所以,选择合适的核宽 度需要在两者之间进行权衡。 1.2 PSO的基本原理 粒子群算法最早是在1995年由美国社会心理 中的搜索。 PSO初始化为一群随机粒子(随机解),然后通 过迭代找到最优解。在每一次迭代中,粒子通过跟 踪两个极值来更新自己。第一个就是粒子本身所找 到的最优解P ,这个极值称为个体极值;另一个 极值是整个种群到当前时刻找到的最优解P ,这 个极值是全局极值。在找到这两个最优值时,粒子 根据如下的公式来更新自己的速度和新的位置 J: (t+1)=toy(t)+C1rl(P be。 (t)一 ( ))+ c2r2(P 。 (t)一 (t)) (2) (t+1)= (t)+ (t+1) 式中,C,,C 为正常数,称为加速因子,分别调节向全 局最好粒子和个体最好粒子方向飞行的最大步长, 合适的C ,C:可以加快收敛且不易陷入局部最优;∞ 称惯性因子,to较大全局搜索能力较好,而to较小则 局部搜索能力较强。式(2)中3个部分共同决定了 粒子的空间搜索能力,共同作用下粒子才能有效地 到达最好的位置。 1.3 粒子群优化核函数参数模型的建立 粒子群优化模型建立如下 ]:设 1( 11, l2,…, li),X2( 21, 22,…, 2 ) i:1,2,…,nl,J=1,2,…,17,2 是特征空间的两类特征样本,两类样本在特征空间 中的均值向量分别为 . Ⅱ1 XI =l  1∑ ( 。1 ) (L3)j  n2 1 XI2= ∑ (2 J=1  2j) (L4)斗  类间距离的平方和为 s6=lI 1一tt2 II = ( 1一 2) (xI1一 2)= 1 n1 n2 1 n1 n2 者 )一 Xli ̄2j)+ (5) 江南大学学报(自然科学版) 第9卷 s =∑I (I )一 I =I ‘ 1 2 仿真 为了验证基于粒子群优化的核函数参数优化 方法的有效性,进行仿真研究。 参数选取规则: 2.1 惯性权重选取 nI ∑ ( 。 ) ( 。 )~n T 。= z:】 1 -. nI n2 ∑ ( , )一E∑k(x , )(6) '..l:1 nl 1 1 J 1 s以=∑Il ( : )一 ll = i=l . 采用Shi_9 建议的线性递减权重(Linearly Decreasing Weight,LDW) = 一 t 1 ∑Ji}( , ≈)一 1∑∑ ( , ) =1 2 1,=1 建立粒子群优化的适应度函数 ,(Or):(5 l+S以)/s6 为最优核宽度。 对于径向基核函数,由于k(x∽ )和k(x∽ ,(7) 式中:∞ 和 i 是惯性权重的最大和最小值,典型 取值 2.2寻求适应度函数F( )的极小值,所得极小值点or :0.9~1.4, Ⅲin=0.4;f是当前进化代 数; 为最大迭代次数。 种群粒子数选取 )的值等于1,所以对径向基核函数式(6)可以简 1 种群粒子数的多少根据问题的复杂程度自行 决定。对于一般的优化问题取2O~4O个粒子完全 可以得到很好的结果,对于比较简单的问题10个粒 子已经足够可以取得好的结果,对于比较复杂的问 题或者特定类别的问题,粒子数可以取到100以上。 2.3 加速常数的选取 化为 1 s l nl一 一2÷∑∑ (1 _,21  L l i,XIj) =n。一J=1 Ⅱ2 1 l 5以 n2一 1∑∑k(x2i,x2j) s以=n:一 坤2 i=1』=1 (L 8) 1.4 粒子群优化核函数参数步骤 学习因子使粒子具有自我总结和向群体中优 根据以上介绍的优化原理和方法,实现基于粒 子群优化的核函数参数优化算法具体流程: 1)通过式(5),(6)分别计算出类间距离平方 s 及类内离散度平方s s ;通过式(7)构造作为 粒子群优化算法的适应度函数; 2)给定or的取值范围(or i ,or ),以及PSO的 秀个体学习的能力,从而向群体内或邻域内最优点 靠近。Ratnaweera_】 等通过对6个基准函数的仿真 研究,得出C 和C 各自最好的取值范围为:2.5— 0.5和0.5~2.5,一般固定为常数,并且取值为2。 也有一些其他的取值方法,常见的有同步变化和异 步变化。两个学习因子在优化过程中随时间进行相 同的变化称之为同步变化的学习因子,而两个学习 因子在优化过程中随时间进行不同的变化称之为 粒子数目Ⅳ,学习因子取值范围[c i ,c…],惯性权 重的最大和最小值c£,…, 速度Vm ; 3)随机产生初始种群,计算个体的适应度值和 种群的整体适应度值; 4)进行粒子位置更新和速度更新; 5)判断迭代次数是否达到终止条件,如果小于 最大迭代次数 ,最大 异步变化的学习因子L】¨。相对而言同步变化更简 单,因此文中采用同步变化的学习因子,即将学习 因子c 和c 的取值范围设定为[c ,c ],第f次迭 代时的学习因子取值为 c =c:=c一一 t 最大迭代次数,继续3),4),5)步骤;否则将当前 解作为最优解输出,算法终止。 根据上述参数选取规则,参数设置如表1所示。 表1 粒子群优化算法参数设置 Tab.1 PSO parameter setting 粒子群优化的适应度进化过程曲线如图1 所示。 收敛到规定的精度要求时,F(or)取得最优值,它确 保核主元分析结果类离散度最大和类间离散度最 小,此时 取得2.269 3。 由图1可见,当进化到约59代,且适应度函数 第4期 一60_【×】越 蜊 李蓉一等:基于粒子群优化的核函数参数选优 447 根据 的最优设置,对数据进行核主元分析, 与未经优化的核函数主元分析比较,得出经优化的 核函数主元分析有更好的分类效果;有效提取主 元,减少变量维数,可见核函数参数优化对核主元 分析的重要性。 3 结语 粒子群优化是一种全局并行的优化方法,文中 进化代数 提出了基于粒子群优化的核函数参数选优方法,将 其应用于核函数参数的自动优化问题,仿真结果表 明,该方法能有效求取核函数参数的全局最优解, 进而提高核主元分析的性能。 图1 适应度曲线 Fig.1 Fitness curve 参考文献(References): [1]Olivier Chapelle,Vladimir Vapnik,Oliver Bousquet,et a1.Choosing multiple parameter for suppo ̄vector machines[J]. Machine Learning,2002,46(1):1-159. [2]Sathiya Keerthi S.Eficifent tuning of SVM hyperparameters using radius/margin bound and iterative algorithm[J].IEEE Trans on Neurla Networks,2002,13(5):225—1229. [3]王新峰,邱静,刘冠军.核主元分析中核函数选优方法研究[J].振动、测试与诊断,2007,27(1):62-64. WANG Xin-feng,QIU Jing,LIU Guan-jun.Kernel function optimization in kernel principle component analysis and its application to feature extraction of ger afaults[J].Journal of Vibration,Measurement and Diagnosis,2007,27(1):62-64.(in Chinese) [4]何学文.基于支持向量机的故障智能诊断理论与方法研究[D].长沙:中南大学,2004. [5]Kennedy J,Eberhart R.Particle swarin optimization[C]//Proc of IEEE Int Conf on Neural Networks.Piscataway,NJ:IEEE Service Center,1995:1942-1948. [6]Eberhart R C,Shi Y.Particle swai/n optimization:developments,applications and resources[C]//Proc Congress on Evolutionary Computation 2001.Piscataway,NJ:IEEE Press,2001:81—86. [7]Lee Jong-Min,Yoo ChangKyOO,Choi Sang Wook.et a1.Nonlinear process monitoring using kernel principal component naalysis [J].Chemical Engineering Science,2004,59(2):223.234. [8]魏秀业,潘宏侠,黄晋英,等.基于粒子群优化的核主元分析的故障状态识别[J].机械科学与技术,2009,28(12): 1546—1550. WEI Xiu—ye,PAN Hong—xia,HUANG Ji-ying,et a1.Fault condition recognition with kernel principal component analysis based on particle swarm optimization[J].Mechanical Science and Technology for Aerospace Engineering,2009,28(12):1546—1550. (in Chinese) [9]SHI Yu-hui,Eberhart R C.A modiifed particle swarm optimizer[C]//IEEE International Conference on Evolutionary Computation.Anchorage,Alaska:1998:69-73. [10]Ratnaweera A,Halgamuge S K,Watson H C.Self-organizing hierarchical particle swarth optimizer with time・varying acceleration coeicfients[J].Evolutionary Computation,2004,8(3):240-255. [11]龚纯,王正林.精通MATLAB最优化计算[M].北京:电子工业出版社,2009. (责任编辑:杨勇) 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- awee.cn 版权所有 湘ICP备2023022495号-5

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务