本文研究了敌对节点情形下,能确保分布式数据源数据隐私的分布式在线学习算法,以及此种情形下差分隐私算法的收敛速度优化。对于前者,主要基于生成鲁棒性网络,对于不同的敌对模型优化网络拓扑,从而使得基于拉普拉斯噪声的差分隐私在线学习算法(ε-Differentially Private DOLA)和基于高斯噪声的差分隐私在线学习算法((ε,δ)-Differentially Private DOLA)这两种算法有了更快更好的收敛速度。对于后者,主要通过切换网络通信规则为私有流言梯度下降算法使得算法有更好的收敛速度,以及通过控制噪声的插入以便于能够使得在敌对模型下,算法有更好的效果。论文的工作主要包括以下三个部分:第一部分主要研究了分布式在线学习模型和隐私模型。具体来说,对于分布式设置,假设所有节点(即具有独立在线学习功能的节点)都通过一个节点(或一小批)本地数据源中的数据更新其本地参数。为了实现算法的收敛,所有节点必须将其可学习的中间参数交换给相邻节点。在隐私机制方面,研究了分布式在线学习的差异化隐私框架。简而言之,不同的隐私机器学习算法确保它们的输出不会有太大的差异,不管个体是否在训练集中。因此,对手无法从算法的输出中推断出任何有意义的信息。与传统的加密方法不同,DP通过添加适当的噪声来保护分布式数据集的隐私。对于敌对的模型,研究了在不同类型的对手行为下差分隐私模型的表现,并假定有一个上界F对手网络中节点的总数(称为F-total模型)或在当地对手每个普通节点的邻居节点(称为F-local模型)。研究了在特定的敌对行为下,图的拓扑结构对两种不同的差分隐私算法的影响。第二部分主要研究了流言梯度下降算法,其中每个代理节点以一种流言的方式与它的相邻节点以随机梯度下降的方法进行交互。随后,在其基础上研究了私有流言梯度下降算法,建立了不同的隐私级别以及收敛界。在预期的速度中实现了收敛,保留了各个节点的隐私级别,又能够有更快的收敛速度。最后通过数值实验表示,通过该算法具有更快的收敛速度和性能。第三部分主要研究了通过控制噪声的插入以确保每个节点收敛到真实的初始状态平均值的算法。在差分隐私在线学习算法中,通过在过程中注入噪声来保护节点的初始值。通过设置,在每次迭代中,每个节点都会记住上次采样时添加的噪声,在接下来的迭代中,首先减去之前添加的噪声,然后再添加一个较小量级的新噪声。从经验上讲,保护初始值的方法是首先向系统中注入噪声,噪声在网络中传播,然后逐渐消除,以确保均方意义下收敛到真实的初始状态平均值。最后,通过数值仿真表明了该算法的有效性。图[21]表[1]参[60]