基于系数正则化的高维空间梯度估计算法

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:huohuonan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
二十一世纪已迎来了大数据时代,数据包含的变量个数越来越多但同时冗余的信息也越来越多.统计学习或者机器学习从这些数据中学习越来越困难,因此在建立模型前进行变量选择非常必要.多变量函数的梯度每个分量是函数关于这个位置变量的偏导数,范数大小相应的代表了对应位置变量发生变化时因变量发生变化的程度.梯度估计在变量选择问题中起着重要的作用,因此本文主要研究从样本点学习梯度.  本文提出了一种基于系数正则化的高维空间梯度估计算法.与传统梯度估计算法相比,该算法无需对变量所在的区域进行剖分,可以有效的用于高维空间.并且我们的算法直接对梯度进行估计,而不是先对从样本点学习函数到求导得到梯度估计.因此该算法更加的直接有效.我们给出了该算法的表示定理,将复杂的优化问题转化为简单的线性方程组问题求解.此外,借助于奇异值分解,我们还讨论了如何有效地降低表示定理中矩阵的规模.并给出了降维后的误差分析和降维算法.使得算法能够更快速的求解.在本文最后的部分,我们通过两个数值例子来验证基于系数正则化的梯度估计算法的有效性.第一个例子是模拟数据,验证我们的算法可有效用于变量选择和变量相关性研究.同时,第二个数值例子选取空气质量监测数据,算法得到的结果符合我们日常的认知,进一步说明我们的算法是有效可行的.
其他文献
在不变式理论中,模情形下transfer理想的结构是一个重要的问题.本文研究了模情形下最小阶非交换p-群(p ≠ 非亚循环群P的transfer理想以及其不变式的一些性质.令Fq是特征为p(≠ 2)的有限域,V_4是非亚循环群P在域Fq上的4维表示空间.我们通过寻找向量空间V_4的对偶空间V_4*的一组Dade基证明了不变式环Fq[V_4]P是多项式代数,并证明了余不变式环Fq[V_4]P不是正则
学位
本文主要利用像空间分析研究了约束极值优化问题与广义向量拟平衡问题的强、弱择一性定理和最优性条件及其在向量交通网络均衡问题上的应用,并讨论了弱向量变分不等式的间隙
扩散过程起源于物理学,之后引起数学学者们的广泛关注,一直以来是随机分析方向的前沿和热点。如何延续这种扩散过程和其它领域的有机结合,体现交叉效用,拓展扩散过程理论的研
盲源分离(Blind Source Separation,简记为BSS)指的是在未知源信号分布和它们的混合方式的环境下,只是根据观测到的混合信号,就能分离出源信号的过程。独立成分分析方法(Indepen
在遥感图像的道路特征信息提取过程中,特别要考虑对图像的滤波问题,这是因为在获取和传输遥感图像的过程中,非常容易受到各种不同噪声源的干扰和影响,而噪声的存在会给图像的读取