深度学习是机器学习领域中的一个研究方向,是一种以复杂神经网络为基础架构,学习数据的内在规律和表示特征的算法。深度学习使计算机具有像人一样的分析学习能力——能够识别文字图像声音和挖掘数据内部特征,因此,深度学习已被广泛应用于搜索技术,数据挖掘,自然语言处理,图像识别,机器人导航,推荐系统和个性化技术中,同时也在其他相关领域中取得了许多成果。然而,现有的深度学习模型在计算上昂贵且占用大量内存,从而阻碍了它们在内存资源低的设备或对延迟要求严格的工业级应用中的部署。一方面,深度学习在处理欧氏数据,如图像、文字,语音时,最近的研究主要倾向于堆叠深度的网络或设计复杂的网络解决;另一方面,在处理非欧氏数据时,如复杂网络,图算法,研究者们倾向于将图的邻接矩阵作为神经网络输入,再堆叠深层次的网络解决,但当节点较多时,内存和时间消耗都会非常大。虽然近期有许多针对模型压缩和加速的研究被提出,然而还是存在许多问题,如大部分集中在自然图像处理,而不考虑其他欧氏数据,或未对非欧氏数据模型加速进行研究。为了更好的解决这些问题,在基于模型压缩和加速研究现状的基础上,本文重点在这两类数据上研究了如何利用模型压缩和加速在损失较少精度的情况下减少模型内存和时间的消耗。首先,对于欧氏数据（图像）下的模型压缩和加速问题,本文以知识蒸馏为基本方式解决。本文中,我们选取医疗图像（小儿肠镜）作为数据集,在考虑医疗实时性需求和医院数据孤岛的条件下,本文提出了一种集成知识蒸馏的框架。在该框架下,由于数据孤岛的存在,我们首先为每类病状（息肉,梅克儿憩室,溃疡和出血）图像训练复杂网络结构的二分类教师模型,随后使用集成知识蒸馏的方法整合了多个二分类教师模型（每个模型都检测一种疾病）到一个精简的多分类学生模型,以解决实时性的需求。本文首次提出集成知识蒸馏的方法打破医院间数据孤岛的问题,同时还达到医疗实时性的需求。我们在公开和真实数据集上测试了模型的性能,发现该模型可以达到可接受的结果,并可以帮助医生在实践实时中做出决策。另一方面,对于非欧氏数据（图、复杂网络）下的模型压缩和加速问题,本文以模型结构变换为基本方式解决。我们提出了一种新颖的,同时综合考虑网络拓扑结构和动量特性的神经网络框架–GTCN。GTCN模型能挖掘图中节点的拓扑结构和连边的时序变化规律。具体来说,我们的模型由两部分组成,通过图卷积捕获网络拓扑的图卷积网络和通过时空卷积捕获网络动态时间变化的时空卷积网络。此外,与其他模型相比,我们的模型可获得更好的结果和更快的训练速度。在九个实际网络的实验中,我们发现GTCN通过并行化实现了最优秀的效果和最先进的性能并加快了训练速度。