基于白描技术的判别性正则化在线分类算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:liucm001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会与现代科技的发展,人们将面临着越来越多的数据,传统的机器学习方法计算开销大,通常难以应用到大规模数据的学习问题上。而当面对大规模学习问题时,在线学习往往是一种易于应用且高效的方法。现有的在线学习方法大致可分为线性模型和核化模型两类。其中,线性模型的计算开销小,所以计算速度快。但当面临复杂数据时,这类模型在精度上很可能表现不佳。后来有研究者引入核技巧(kernel trick),提出了核化模型,显著提高了精度。然而核技巧的引入,导致模型的计算开销显著上升。因此,如何在提高准确性的同时,能够不引入过多的计算开销,保持较好的计算速度是在线学习中一个十分重要的问题。本文主要关注在线分类问题。在分类问题中,判别信息是十分重要的,却没能被现有的大部分在线分类模型所充分利用。针对这一问题,本文提出了一种新的线性模型,称为白描的判别性正则化在线梯度下降分类模型(Sketch Discriminatively Regularized Online Gradient Descent Classification,SDROGD)。该模型把判别信息同时引入到损失函数以及一项新的正则化项中,最终通过优化模型的目标函数,除了能够达到最小化分类误差的目的,还可以令相同类的样本在投影空间中距离尽可能近,而不同类的样本尽可能远。这样既能保持在线模型的优点,又能提高分类精度。具体地,SDROGD首先借助类内散布矩阵和类间散布矩阵构建了判别信息矩阵,然后把该矩阵嵌入到一项新的正则化项中。而在模型的训练过程中,采用白描技术在线更新判别信息矩阵,这一技术可以方便地与一个数学技巧配合,使得该模型的时间和空间复杂度能够容易地进一步优化,从而能更加适用于在线情景。由于白描技术是一种近似方法,因此本文也给出了其逼近性的相关理论分析。此外,本文还证明了SDROGD的时间复杂度与训练样本的个数、特征维度成线性关系,且具有良好的收敛性。最后,本文从多个角度进行实验,包括分类精度、训练时间以及参数稳定性。结果表明,SDROGD具有较好的计算速度,甚至在分类精度上超过了一些采用核技巧的方法。为了使SDROGD模型能够应对更复杂的在线多分类问题,本文进一步提出了Multi SDROGD模型。通过扩展模型参数,Multi SDROGD可以一次求解同时得到多个分类超平面。本文也给出了多类模型的相关优化方法及理论分析,证明多分类模型Multi SDROGD与二分类模型SDROGD具有相似的收敛性及时空复杂度。在多个实验数据集上的实验结果也表明Multi SDROGD在多类情况下依然有较好的表现。
其他文献
由于政治经济发展、医疗水平提升以及计划生育等政策,中国社会已经自2000年开始正式进入人口老龄化阶段。2019年11月22日附近,中共中央、国务院印发了《国家积极应对人口老龄化中长期规划》。为响应规划的号召,为可敬可亲的老年人开发助老服务机器人产品是一种很好的服务,语音交互作为十分方便、快捷、易于操作的人机交互方式势必会应用于其上。本文研究语音交互技术中的“嘴巴”部分——语音合成系统,提出了语音合
随着社会发展,人们学习与工作压力增大,脊柱畸形发病率也日趋升高,且呈现发病低龄化趋势。脊柱畸形会对人类的生理和心理造成严重伤害,对处于身心发育期的青少年危害尤为严重,因此,推广脊柱畸形检测与筛查具有极大社会价值。当前的检测手段有两大类:放射性与非放射性脊柱形态检测。放射性脊柱形态检测精确度较高,是目前医学上常用的检测手段,但是会对患者造成过量辐射,增加患者罹患癌症等相关疾病的概率。针对脊柱畸形多发
类人机器人在结构、感知、动作等方面与人类具有相似性,其研究涉及机械、控制、计算机等多个学术领域,是一个值得深入研究的方向。RoboCup是以击败人类足球世界杯冠军为目的机器人世界杯,该项目推动了机器人技术,特别是类人机器人技术的发展。本文基于SEU_Uni Robot类人足球机器人,优化设计并实现应用于RoboCup类人KidSize组别的上层控制系统。本文在提出上层控制系统总体方案的基础上,详细
近年来,因机器人在工业制造、深海探测以及航天航空等领域内发挥着重要的作用,其控制问题亦成为学术界的研究热点之一。本文将非奇异终端滑模、自适应技术以及有限时间稳定性理论相结合,研究了n关节刚性机械臂系统的轨迹跟踪控制问题。本文主要工作概括如下:(1)针对包含内部不确定和外部干扰的n关节刚性机械臂系统,基于非奇异终端滑模实现对参考轨迹的跟踪。首先,提出了一种包含反正切函数的新型非奇异终端滑模(ATNT
移动机器人作为新世纪智能化关键载体,已逐渐在工业、服务业、农业和航天等领域得到了广泛的运用。随着任务需求以及环境多样性的增加,移动机器人的研究不断面临新的挑战,尤其是其自动化和信息化。本文基于MT-R型移动机器人平台研究移动机器人的导航与抓取问题,具体内容如下:(1)基于单目视觉研究机器人的目标识别与测距算法。依据小孔成像模型利用张氏标定法对摄像机标定,获取相机内参。根据特定目标的颜色和形状特征,
冷轧管性能优越、精度高,广泛应用于国民经济许多领域。新型冷轧管机采用三个直流电机实现轧辊和回转、送进驱动,其性能和运行状态直接决定了冷轧管的质量。已有的冷轧管机现场监控器通过采集驱动电机的电压电流信号实现了对生产过程中冷轧管机运行状态的监控,并能够连接上位机实现监控数据存贮和管理。随着新型冷轧管机的技术升级和普及应用,轧管厂和制造商在设备安装调试、使用维护、故障维修、质量跟踪等方面都面临挑战,需要
类人机器人是智能机器人领域的研究热点,受到机器人学界的广泛关注。本课题针对Robo Cup类人足球机器人Kid Size项目,在东南大学SEU_Uni Robot团队历年研究成果基础上,优化设计和实现完整的类人机器人运动控制系统,以提升机器人运动性能。本文研究内容主要包括:搭建机器人的软硬件系统,采用两层控制器的控制架构,完成舵机执行器、传感器的选型,使用MCU作为机器人下层控制器,完成定时任务和
在传统多标记学习中,每个对象由单个特征向量构成的示例表示,学习系统的目标是构建由示例空间至标记空间幂空间的映射。一般而言,对象的特征表示对于学习系统的泛化性能有着重要影响。如何突破传统的单特征向量表示,提升多标记学习系统泛化性能,值得进一步深入研究。本文围绕多标记特征表示开展研究,主要做了如下两方面的工作:一方面,“类属特征(label-specific features)”表示通过为每个标记构造
零样本学习作为机器学习中的一项新的挑战,越来越多的研究者将注意力放在了这一项新的任务上。零样本学习指的是利用类别辅助信息,在没有对应类别训练样本的情况下,对该类别的样本做出正确预测的任务。零样本学习可以根据测试集中样本的类别分为传统零样本学习和广义零样本学习,也可以根据使用数据的不同,分为类别归纳示例归纳式、类别直推示例归纳式、类别直推示例直推式三种。在先前类别归纳示例归纳式的零样本学习研究中,对
图像内容理解是计算机视觉领域重要的研究目标。分割,尤以细粒度图像分割,是实现图像内容理解的一个重要途径。全景分割,作为细粒度图像分割任务中的一种,可以帮助计算机更全面的理解图像中每一类物体的位置、形状等信息,它的有效解决,将有助于自动驾驶、行为识别等多个问题的发展。本文主要着眼于神经网络建模、针对全景分割问题的计算机视觉方法研究。更具体来说,是通过对数字图像进行像素点级别的分类实现对图像中物体的识