多样的感官信息（如视觉、听觉、触觉等）可以帮助我们更好的感知周围环境,并实现更加准确、高效的任务表现,而具有多种传感设备的机器同样需要具有类似的能力,这是走向通用人工智能中至关重要的一环。传统多模态机器学习方法受限于表征学习、融合机制以及数据规模等因素,在典型的图像、声音以及文本等信息间的联合学习上存在较大不足,故仅可在实验场景下实现特定任务目标。当前,随着机器模型语义表征能力的日益提升和数据规模的不断增长,机器多模态感知的相关需求正呈现融合语义化、场景真实化、任务多样化等特点,这也带来了诸多新的重要难题并亟待解决,例如提出更有效的模态间融合机制、探究数据驱动下的新型学习范式、拓展机器多模态感知的真实场景应用等等。本论文以大脑多通道知觉为背景展开对机器多模态感知的相关研究,并取得了多项重要研究成果,具体如下:1.提出了基于多模态受限玻尔兹曼机的递归时序模型。该模型对现有概率深度网络进行了时序拓展,将每个时刻下玻尔兹曼机的共享隐层进行后向连接以建模整个多模态序列。以多模态序列联合概率最大化为目标,推导出该模型表达推理与参数学习的具体方法。由于不同时刻的玻尔兹曼机仅依据共享层连接进行信息传输,故其推理与学习过程相较于传统时序模型更为简单、有效。实验证实了该模型的时序建模有效性,并能一定程度上克服音频噪声干扰。2.提出了语义相似目标下的多模态学习理论。该理论利用多模态数据间具有语义相似性这一本质属性指导多模态网络模型的联合学习。通过促使不同模态的高层语义具有相似的激活分布可以降低单独模态的特异性影响,从而增强联合表达的有效性。经实验验证,该语义相似学习目标可用于多种多模态深度融合网络及相关任务,并相较于传统最大似然学习具有一致性提高。3.提出了多模态层级联合表达学习的密集融合方法。为兼具深度模型早期和中期融合策略的优点,该方法提出在不同模态网络间进行密集地层级融合,其高层联合表达不仅仅聚焦同层融合,而且也依赖于低层联合表达。通过分析,其所特有的多通路关联学习特征可促使其更有效的捕捉模态关联和进行跨模态监督学习。实验证实这种融合策略具有收敛速度快、训练误差低、精度高等显著特征。4.提出了跨图像-歌词的新型检索任务及相关方法。该检索任务为应现今多媒体数据展示需求所提出的。为实现该目标,提出了构建大规模图像-歌词关联数据集、利用关联网络模型对歌词序列和图像内容进行联合学习、采用标签注意机制缩小内容鸿沟等一系列方法。在构建的测试数据集上,该检索模型可提供与图像内容相适配的歌曲用于自动推荐,从而满足多媒体展示的现实需求。5.提出了复杂场景下基于深度多模态聚类的自监督视音学习方法。该方法提出对场景内多种视音成分进行有效地区分与关联以解决复杂场景下视音学习问题。通过对图像和声谱的高层语义特征图进行多子空间学习和像素级聚类,实现视音场景内实体的感知与发掘。继而借助于最大间隔损失下的自监督训练,完成不同模态实体间的精细化关联。实验发现,该方法训练的模型对单模态建模具有语义判别能力,并可用于多种视音理解相关任务。6.提出了盲人视听环境下的机器跨模态感知模型及其相关应用。受现有盲人视听感知设备的启发,介绍了模仿先天盲人和后天盲人的机器跨模态感知模型,即通过输入图像编码后的声音生成原有图像内容。通过在多种改进的视音编码方案上进行试验,发现机器仿真模型在一定程度上可以同人体被试的感知效果相当,并且具有高效、经济、便捷等优势。在未来,该模型可用于盲人视听感知设备的快速辅助研发,以进一步提升盲人的“视觉”感知能力。