华南理工大学学报(自然科学版) ›› 2017, Vol. 45 ›› Issue (7): 135-142.doi: 10.3969/j.issn.1000-565X.2017.07.019

• 电子、通信与自动控制 • 上一篇    下一篇

一种基于 ICDF 的支持向量机参数快速优化方法

王加朋 胡跃明 罗家祥   

  1. 华南理工大学 自动化科学与工程学院,广东 广州 510640
  • 收稿日期:2016-09-07 修回日期:2016-11-23 出版日期:2017-07-25 发布日期:2017-06-01
  • 通信作者: 罗家祥( 1979-) ,女,博士,副教授,主要从事优化调度、机器学习研究. E-mail:luojx@scut.edu.cn
  • 作者简介:王加朋( 1985-) ,男,博士生,主要从事模式识别、学习控制方向的研究. E-mail: fox007wjp@126. com
  • 基金资助:
    国家科技重大专项( 2014ZX02503-3) ; 国家自然科学基金资助项目( 61573146) ; 华南理工大学中央高校基本科研业务费专项资金资助项目( 2015zz0100)

An ICDF-Based Fast Parameter Optimization Approach for Support Vector Machines

WANG Jia-peng HU Yue-ming LUO Jia-xiang   

  1. School of Automation Science and Engineering,South China University of Technology,Guangzhou 510640,Guangdong,China
  • Received:2016-09-07 Revised:2016-11-23 Online:2017-07-25 Published:2017-06-01
  • Contact: 罗家祥( 1979-) ,女,博士,副教授,主要从事优化调度、机器学习研究. E-mail:luojx@scut.edu.cn
  • About author:王加朋( 1985-) ,男,博士生,主要从事模式识别、学习控制方向的研究. E-mail: fox007wjp@126. com
  • Supported by:
    Supported by the National Science and Technology Major Project of the Ministry of Science and Technology of China( 2014ZX02503-3) and the National Natural Science Foundation of China( 61573146)

摘要: 在高斯核支持向量机 ( SVM) 的参数优化中,针对以特征空间中的类间距离( ICDF) 为测度选择核参数时存在计算量大、耗时长的问题,首先提出并证明了 ICDF 是
高斯核参数的严格单峰正定函数,然后根据该结论提出了改进黄金分割法( MGSA) 来快速搜索核参数在候选集中的最佳值,在此基础上提出一种基于 MGSA 和微分进化算法的SVM 参数快速优化方法,最后通过比较实验验证了所提方法的有效性和快速性.

关键词: 支持向量机, 类间距离, 参数优化, 核参数, 改进黄金分割法

Abstract: In the process of parameter optimization for support vector machines ( SVMs) with Gaussian kernel,in- ter-cluster distance in feature spaces ( ICDF) is an effective measure.However,ICDF may result in heavy compu- tational load and large time consumption.In order to solve this problem,firstly,the theorem that ICDF is a positive strictly-unimodal function about Gaussian kernel parameter is proved.Then,according to this theorem,a modified golden section algorithm ( MGSA) is proposed to search a shrunk value fast for kernel parameter in the candidate set.Thus,a fast parameter optimization approach on the basis of both MGSA and differential evolutionary algorithm is presented.Finally,some experiments are carried out to verify the effectiveness and rapidity of the proposed ap- proach.

Key words: support vector machine, inter-cluster distance, parameter optimization, kernel parameter, modified golden section algorithm