肥胖症是当代社会最常见的营养失调引起的疾病之一。准确识别并给出食物中的脂肪含量和热量,可以有效控制肥胖症的患病率。而实现这一步的前提是能够对食物进行有效分类,但是手动分类食物已不再适用于当前快节奏的社会。食物类别众多,且许多食物类别之间相似性高,导致分类难度较大,可以将其归类为细粒度分类问题。在细粒度图像分类中,双线性卷积神经网络模型的计算成本和表达维度较高,若能在降低双线性结构计算成本的同时还能提高(或不降低)分类精度,将具有重要现实意义。传统图像识别算法中,算法的性能较差,精度也不高,并且通常不能实现端对端的学习过程。近些年,深度学习中的卷积神经网络技术在许多图像识别领域有着较好的表现。在经典卷积神经网络模型中,其模型本身较大,参数量较多,而双线性结构模型在进行细粒度图像分类时,其模型的特征表达能力不高,表达维度也较大。针对其不足,本文在双线性卷积神经网络的基础上,从两个不同角度对该方法进行改进,从而克服原来双线性结构模型的局限性。(1)大多数算法都将细粒度的图像特征视为一个整体,而忽略了目标部分(局部)之间的空间关系。目标部分之间的空间关系在诸如图像检索,面部分类和图像分类等任务中很有用。因此本文提出利用图像特征的空间关系来获取图像特征之间的联系。空间关系可以丰富对图像的理解,并为图像分类提供额外的分类依据。(2)与双线性结构中的二阶统计特征相似,空间关系往往只用到了自相关性信息的表达。而在不同的卷积层中能捕获不同级别以及不同尺度的特征,来获取自相关性和互相关性的信息,因此本文提出了基于跨层之间的二阶统计量特征来进行食物图像分类,并且提出三种跨层特征融合方法,从中获得更佳的性能表现。最后在模型大小,参数数量,表达维度以及分类性能上进行了实验评估。