近年来,伴随着计算机技术的兴起,大数据和云计算逐渐走进人们的视野,海量的数据和我们的生活变得息息相关。当数据存在异质性且受到复杂的噪声干扰,样本量很大甚至以流式数据的方式呈现时,传统的数据分析方法和统计模型面临着诸多挑战。一方面模型需要进行修正以适应复杂的数据结构,另一方面无法一次性导入内存的数据迫使算法必须依据少量多次获取的样本进行学习。在这一背景下,设计出满足实时更新需求的自适应学习算法以弥补已有方法的不足,成为当今获得广泛关注和应用的热点问题。本文将最优控制方法融入到机器学习的研究中,创新性的建立了一个基于最优反馈控制在线学习框架,并在该框架下提出了一系列用于解决线性和非线性的分类与回归问题的鲁棒自适应学习算法。进一步地,该算法被拓展到时下热门的深度学习领域,应用于图像识别和文本分类。此外,本文还将改进的深度学习算法与传统微观计量模型相结合,实现了全新视角下样本选择问题的研究。本文的主要工作概括如下:第一,构建了基于最优控制的鲁棒在线学习架构,分别讨论该架构下的线性回归、二分类和多分类问题。首先在线学习被转化为状态反馈控制问题,接着使用线性二次型调节器（linear quadratic regulator,LQR）获取最优的参数更新。对未知参数较少的低维情形,使用迭代方法求解Riccati方程,并将对应算法命名为OLQR（online linear quadratic regulator）;对于更为常见的高维问题,本文提出ROHDL（online high dimensional learning algorithm）算法,通过极分解大大简化了计算量。OLQR和ROHDL算法相对于经典方法可以获得更快的收敛速度和更好的预测精度,当噪声结构较为复杂时这一优势更为明显。与相关算法的对比实验也证实了所提出算法的优越性。第二,将上述线性问题的架构拓展到非线性回归与分类问题。借助核技巧,非线性学习本质上仍然可以看成有限维系统的一系列状态反馈控制问题。选取固定带宽的高斯核作为核函数,本文提出了一种适用于非线性回归的OKLQR（online kernel linear quadratic regulator）算法。进一步地,考虑到实时数据常常包含结构性的变动,因此固定带宽的核函数存在一定的缺陷,本文提出改进后的OAKL（online adaptive kernel learning）和CAOKC（control-based adaptive online kernel classification）算法,将带宽也作为需要在线更新的未知参数,分别解决非线性的回归与分类问题。大量对比研究表明,该方法相较于当前相关算法在收敛速度、预测精度和对噪声的鲁棒性方面都存在一定优势。第三,提出了基于控制的深度学习优化器CSGC（control-based stochastic gradient descent compression）。深度学习一般需要较多的样本才能完成训练,而每次参数更新仅涉及少量样本,本质上也是一种在线学习,本文所提出的架构依然适用。深度神经网络往往包含较多的未知参数,依据前文所述的框架可以得到一个包含网络中所有未知参数的完整的状态反馈系统。接着根据神经元的连接方式将这些参数分割为若干组,完整的系统也据此分为对应的线性子系统,这些子系统和ROHDL类似,利用极分解技巧就可以进行快速更新。本文给出了CSGC优化器的收敛性与收敛速度相关证明,以论证算法的有效性。与主流的利用一阶信息的梯度方法相比,CSGC不仅继承了控制算法收敛快、预测准确率高的特点,而且可以一定程度上缓解梯度消失问题。在模拟数据、图像识别和文本分类任务上与现有优化器的对比实验也证实了该算法的优越性。第四,基于深度学习的思想,本文提出一种深度学习视角下的样本选择模型（deep sample selection network,DSSN）。该方法对传统的Tobit-I和Tobit-II模型进行了重新解读,分别构建了深度Tobit-I网络和Tobit-II网络,并对模型中变量的显著性水平进行度量。在构建过程中灵活运用了残差神经网络（Res Net）和长短期记忆模型（Long Short-Term Memory,LSTM）等经典深度学习模型中的部分技巧,分别实现了传统Tobit-I和Tobit-II模型的相应功能,并使用CSGC作为优化器进行求解。与经典的样本选择模型相比,一方面深度样本选择网络能够在依赖较少假设的基础上,充分挖掘、量化大样本数据背后的微观决策过程,可以更好的识别显著的变量。另一方面,由于更复杂的网络包含更多的未知参数,样本选择网络在拟合效果和预测精度上都有着显著的提升。数值模拟和实际经济数据也证实了该方法的有效性。本文创新点有:（1）提出一个完整的基于二次型最优控制的在线学习框架,在该框架下预测误差得到指数收敛,并且解决了控制算法计算复杂度较高、难以应用到高维场景的缺陷。（2）在深度学习中兼顾收敛速度和计算精度的优化算法寥寥无几,本文将二次型最优控制的在线学习框架应用到深度学习中,保留了控制算法具有的鲁棒性、收敛速度快、预测精度高等特点,为将来深度学习优化算法的设计提供了灵感。（3）本文利用深度神经网络中的一些特殊结构和技巧构建了两种不同的深度样本选择网络,充分利用了神经网络在微观计量建模中的特有优势。一方面,网络不需要对随机扰动项的分布做出任何假定,这极大的保证了模型的灵活性和泛化能力;另一方面,网络没有对参数化结构做很强的限制,因而在从大样本、非线性性数据提取信息上有着更好的效果。（4）已有研究尚未将机器学习和经济学理念很好结合,本文结合样本选择问题的经济学理念和计量模型的可解释性来构建新的模型,避免了生硬的套用机器学习方法。这种创新的尝试也为机器学习等数据科学方法与计量经济学、经济统计学的融合发展提供了全新的思路。综上所述,本文以最优反馈控制的角度为在线学习方法构建了一个全新的理论框架,在这一框架下,分类、回归和深度学习等在线学习的常见任务都可以获得更为稳定的学习效果,并且具有巨大的拓展潜力和研究前景。另外,本文提出的深度样本选择网络模型不仅能够更为细致的量化微观计量经济问题,而且也为利用人工智能技术来发展改进社会科学的实证方法提供了新的工具与思路。