深度学习技术在视觉领域中的应用主要集中在物体的类别区分和分割上,但除了物体类别信息外,组成物体的材质信息也是具有利用价值的。材质是材料和质感的结合。它是表面可视属性的结合,包括表面的色彩、纹理、光滑度、透明度、反射率、折射率、发光度等。材质信息在许多应用场景中具有重要的参考意义,生活中的很多行为都受到材质的影响,材质识别的应用包括增强现实的运动仿真、路况对路径规划的影响、以及物体的材质对抓取力度的预判等。材质信息可以更好的加深系统对周围的环境的理解。但材质外观的多样性使得稳定的材质特征的提取有一定难度,具有一定的研究意义。本文实现对环境中材质信息的提取与应用,利用深度学习方法提取到可靠的材质特征并以此为依据对图像进行分割。本论文的主要研究内容如下:1.为了对材质信息进行提取,首先在已有材质数据集上对残差神经网络进行训练,从而获得了具有可区分性的材质特征,进而实现了单像素点的材质识别。2.将材质识别的网络与条件随机场相结合。并引入传统图像分割结果作为先验知识,实现了全场景的材质分割。3.通过在现实场景的数据采集,分析出不同材质类别下的碰撞运动规律,并将该规律引入增强现实系统之中实现了基于材质信息的碰撞运动仿真,得到了较为真实的虚拟物体运动轨迹。