基于二次规划乘性更新法则的支持向量机实现新算法

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:syhappy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
支持向量机是机器学习研究中的一个重要的分支,自从这一模型被提出以来取得了飞速的发展。乘性更新法则是其中一种作用于该模型目标函数的创新迭代工具,得到了广大研究者的关注。  支持向量机的主要实现技术框架是序列最小优化(Sequential Minimal Optimi-zation, 简称SMO)算法,这种框架运算速度快,但编程复杂。为了便于实现编程, Sha Fei提出了基于乘性更新法则的非负二次规划算法。这种算法的优点有:(1)运算简单,易于编程。二次规划的所有变量可以并行运算。不同于 SMO 算法每次只能同时对两个变量进行迭代。(2)对硬件要低。  支持向量机目标函数的求解可以等价为带有约束条件的二次规划的优化。Sha Fei 算法提供了一种直接优化的乘性更新法则,即不需要固定的工作子集,也不需要对每一步的学习率仔细检查,使得所有的支持向量可以并行迭代。该算法进一步在等式约束的非负二次规划中直接求解出等式约束系数的迭代公式,从而推导出乘性更新法则并将其运用于支持向量机中。大量实验表明,其运算速度比SMO慢。  本文针对Sha Fei框架运算速度慢这一缺点,开展了以下工作,提出了一种新算法:  (1)在求解非负二次规划问题中,本文在Sha Fei框架的基础上重新构造辅助函数,提出一种新的乘性更新法则。该更新法则的数学表达式中无根号运算,相比于Sha Fei框架算法,更易于编程实现。该法则的理论基础是把半正定矩阵分解为两个矩阵,分别包含半正定矩阵的正负元素。对正元素部分构造辅助函数,其构造方法类似于Sha Fei框架中该矩阵辅助函数的构造。不同的是,负元素部分的辅助函数构造不再利用对数函数来构造而是直接利用一个简单的线性函数来构造,从而推导出新的乘性更新法则。  (2)支持向量机的对偶变换中,利用牛顿法对等式约束系数进行求解。通过实验证明,该求解方法相比与Sha Fei框架中等式约束系数的求解,可以大幅度提高优化速度。  在支持向量机的运用中,新算法在保证准确率大体一致的前提下,其总体运算时间比Sha Fei的基于乘性更新法则的二次规划算法减少一半左右。理论和实验证明,该算法大幅度优化支持向量机的目标函数,总体上缩短了支持向量机的运算时间。
其他文献
物体从宏观尺寸延伸到微纳尺寸所表现出来的特性差别大,导致微纳操作方法与宏观操作方法不同。本文基于SEM图像,对SEM下纳米构件的操作方法及操作轨迹进行研究,借助数字图像处理
在图像处理领域,视频图像序列中运动目标的分割与跟踪是一个被广泛研究的热点。在众多的分割和跟踪方法中,本文将研究对象定位在具有一定复杂背景下的运动物体,采用马尔可夫
目标跟踪技术广泛应用于军事、安防、交通监控等领域。如何在视频序列中对感兴趣目标进行有效跟踪,是计算机视觉中一个极具挑战性的课题。近年来,通过研究人员的不懈努力,提
广播全台网络是电台数字化的基础,因此在电台计算机综合信息系统中占据着相当重要的地位。未来广播电台将同时面对采编系统、文稿系统、播出系统、广告资源系统、媒体资产管
在自动化控制领域,PLC是一种重要的控制设备。随着技术的不断发展,工业控制对PLC的性能要求越来越高。因此,设计出一个连接PLC本体CPU与扩展模块的实时、可靠、稳定的通信系统,显