肺癌的筛查一般需要PET-CT医学影像技术作为辅助手段。确定了肺癌类型,才能采用对应的医学手段进行治疗。如果只依靠医生的肉眼以及经验对肺癌的类型进行判断,不但效率低下,而且诊断效果并不理想。肺癌检测判别是医学图像领域的一个十分重要的任务,会使用到很多机器学习相关的理论和方法。然而,对于复杂问题,精确提取到图像特征应用于机器学习方法,并不是一件容易的事。面对日益增长的癌症诊断需求和耗时耗力并且准确率并不高的肺癌分型任务,本课题研究了神经网络进行肺癌分型的可能并设计了不同的网络结构进行对比实验。在之前的研究中,PET-CT的中两种模态数据经常单独使用。本课题充分利用了可使用的数据,通过神经网络,利用了多模态的数据,考察了CT,PET数据分别单独作为网络输入的效果,以及使用不同的网络结构对CT,PET数据进行融合的神经网络的效果。系统实现过程对比了在输入层进行融合(Fusion of Pixel Maps,FPM),对特征图进行融合(Fusion of Feature Maps,FFM)以及在全联接前的特征向量进行融合(Fusion of Vectors,FV)这三种融合方式,其中对特征图进行融合的网络结构表现最好。并且在对PET的处理过程中引入了SUV作为进一步处理的手段,进一步提升了分类效果。实验结果表明,对CT和PET数据进行融合的网络比单独使用任何一种模态的数据结果都要好;并且不同的融合方式对于精度的提升程度不同;在处理PET数据的过程中,引入SUV进行处理会比直接处理效果更好。最终,本文在肺癌分型任务中达到了69.4%的准确率。