【摘 要】
:
随着大数据时代人工智能领域的快速发展,机器学习成为现代科学不可或缺的技术,结构风险最小化作为机器学习的核心部分,涉及到复合函数优化问题的求解,寻找性能更好的优化算法来提高模型精确度成为了热门研究课题。本文主要介绍一种通用的拟牛顿加速算法,为了进一步提高其数值优化性能,结合自适应L-BFGS规则提出了自适应拟牛顿加速方案,通过数值实验来测试方案对复合函数的优化效果。整篇论文包含如下六章内容:第1章简
论文部分内容阅读
随着大数据时代人工智能领域的快速发展,机器学习成为现代科学不可或缺的技术,结构风险最小化作为机器学习的核心部分,涉及到复合函数优化问题的求解,寻找性能更好的优化算法来提高模型精确度成为了热门研究课题。本文主要介绍一种通用的拟牛顿加速算法,为了进一步提高其数值优化性能,结合自适应L-BFGS规则提出了自适应拟牛顿加速方案,通过数值实验来测试方案对复合函数的优化效果。整篇论文包含如下六章内容:第1章简单介绍了复合函数优化问题的背景及研究近况,包括针对复合函数提出的一阶优化和拟牛顿类算法、一阶方法的加速方案等。第2章回顾了复合函数优化中较为常用的随机梯度下降算法SAG和SVRG,以及标准BFGS算法和其变体L-BFGS等拟牛顿类算法的相关研究工作,详细介绍了自适应拟牛顿算法的更新规则。第3章主要介绍了Moreau包络线的定义和性质,以及在此基础上提出的近似点算法及其变体,总结了优化算法中常用的光滑技术。第4章详细介绍了QNing算法的具体步骤和相关参数,给出了算法收敛性和全局复杂度分析结果;将修正后的自适应拟牛顿法与QNing相结合,讨论加速方案对QNing算法性能的影响。第5章在含有不同正则化惩罚项的机器学习优化模型上进行数值实验,使用不同规模的机器学习数据集对自适应QNing算法进行评估,研究相关参数对算法鲁棒性的影响。实验表明该方案在某些情况下可以达到比其他方案更快的收敛速度,选择合适的正则项参数及光滑系数可以提高算法性能,适用于中低维的混合型数据集。第6章对全文所做的工作进行了总结,针对自适应拟牛顿加速方案的优点和不足之处做出合理评价,讨论相应的改进策略以及对自适应拟牛顿方法的展望。
其他文献
随着我国矿山企业将简化碎矿流程、提高系统生产能力、改善磨矿效果或选别指标等作为建设目标,高压辊磨机作为一种高效的粉碎设备得到不断地认可和推广。然而在充分利用矿石资源的同时,也产生了大量的粉质细颗粒尾矿。目前我国对高压辊磨技术广泛应用而导致的尾矿存放问题缺少相应的法律法规和技术标准,高压辊磨尾矿渣的堆存只能参考排土场或者尾矿库的堆排方式进行设计和排放管理,亟待对高压辊磨尾矿渣的堆存开展相关研究,以期
钛盐混凝剂相对于铝铁盐混凝剂而言,具有生物安全性高,残留金属少;在水中水解快,耐低温性好;混凝后絮体尺寸大,易沉降等优点。溶胶凝胶法使得钛盐混凝剂制备过程变得可控,然而凝胶化所用时间久,制备效率低。基于此,在溶胶基础上,借鉴铁铝盐混凝剂工业生产干燥工艺,缩短后续凝胶化时间或省去凝胶化过程,实现聚钛混凝剂(PT)快速稳定制备,接着优化生产工艺方案并量产实现百千克级别生产,最后选用低温低浊水为研究对象
自Hoppock首次发布研究工作满意度的成果以来,对于各种职业领域的工作满意度研究方兴未艾。教师工作满意度研究一直都是国内外学者关注的热点,但是仅有有少量学者对中职学校教师工作满意度做了研究,目前中职学校英语教师工作满意度方面的研究还比较少,并且中职学校发展势头强劲,随着中职学生学历提升通道的打开,英语作为升学考试必考科目,学科地位的重要性不言而喻,中职英语教师工作满意度的研究需要重视,因此,笔者
L10-FePt纳米材料具有超高磁晶各向异性、良好的化学催化性能和生物兼容性,在垂直磁记录,高性能永磁材料,电化学催化以及生物医学方面具有广阔的应用前景。然而直接合成的FePt纳米粒子一般是化学无序的fcc结构,需有序化热处理转化成L10(fct)结构。但有序化热处理通常会导致粒子球化、团聚和异常长大,严重影响粒子的性能和应用。针对该问题,本研究利用化学固相反应工艺,将前驱体与盐充分混合,前驱体在
时代在进步,社会对中职学校学生的素质要求也在不断提高。虽然绝大多数中等职业学校把培养目标定位为培养高素质的一线技能型人才,但在具体实践中部分中职学校依然存在“重专轻法”现象,即重视专业技能教育,忽视法律素质教育,这种做法的直接结果是中职学校对法律类课程不重视,导致法律类课程教学存在一定问题,学生法律素养培养难度增加。作者立足于现实,通过在济宁市X中等职业学校进行实习,完成了对济宁地区五所中职学校共
本文围绕矿山环境影响评价中的土壤重金属污染问题,采用GIS技术和层次分析法对矿山土壤环境污染定量评价进行了探索研究。论文以南京地区矿山规划环评数据为背景,以Cu2+为例,结合降雨条件下铜元素总量回归预测模型、土壤吸附Cu2+的数学模型,采用GIS空间分析技术,开展对降雨条件下矿山土壤重金属污染范围和污染强度预测方法的探索,并力图寻找适用于矿山规划环评精度级别的污染预测模式和技术路线,取得的主要成果