颜色判别与感知对于正常的人类视觉系统来说,是非常简单的任务,但是对颜色编码理论与方法的研究远远没有使得机器达到人类视觉系统的智能水平,同时对颜色视觉神经元基础的研究也远远没有达到人类对颜色感知的能力。目前,颜色视觉研究己成为神经科学与计算机视觉中的难点,主要体现在：其一,从神经科学角度来说,一直以来神经生理学实验仅仅停留在对视网膜锥体信号的认识上,难以捕获视皮层颜色神经元的行为规律,因此无法解释视皮层由底层到高层的色调选择性、颜色判别与颜色感知效应：其二,从计算机视觉角度来说,颜色特征的提取与表征既需要解决目标/场景在不同光照等外界条件引起的外观颜色变化,又需要使得颜色描述子具有区分不同目标/场景类别的判别力。近年来,随着科学技术的发展,颜色视觉生物机制的研究有了新的证据与结论,这些新的认识促进了颜色视觉的发展,对解决颜色的视觉难点具有重要意义和价值。基于此,本论文以近年来神经科学研究成果为生物依据,重点关注视皮层颜色信号的传输与处理,特别是颜色神经元的空间和颜色属性,研究并分析了颜色神经元的对立性、选择性与层次性,及其编码视觉刺激的能力。重点研究了如何利用颜色神经元的空间感受野属性完成对自然图像的颜色表面与颜色边缘的有效编码,以及如何将底层颜色编码扩展到高层颜色编码,以实现不同层次上的颜色视觉系统,展开对真实世界场景中大尺度数据的视觉应用研究,最终显式地建立计算模型单元与神经元之间定性与定量的关联,丰富了视皮层颜色编码理论,是对该理论的一种科学性的描述、分析与解释,从而验证了提出的颜色编码理论更符合人类视皮层颜色视觉的生物机理。本论文提出了一种新的视皮层颜色编码理论,分别展开了从算法、应用到神经元三个层面的研究。具体地,本论文的主要研究分为三条主线：(1)第一条主线,从神经生理学出发,利用视皮层神经元对颜色和空间信息响应规律的共性与特性,提出了一个新的V1皮层颜色编码理论,主要包括两个颜色编码算法：具有颜色选择性的表面编码根据Single-Opponent (SO)神经元对低频信号响应,及其弱方向选择性,本论文利用有向线性滤波器对空间信息的编码能力,提出了一种新的不可分离的空间-颜色对立算子,将对图像的空间带通滤波转化为滤波器的激活与抑制子单元分别与对立颜色成分的线性加权和,完成SO简单单元的建模。尽管本论文提出的颜色表面编码方法并不是第一次用颜色对立信息提取颜色表面特征,但与先前提出的工作相比,创新点在于：第一,对颜色表面编码的主要动机是模拟视皮层颜色选择神经元的弱空间属性与强颜色属性。本论文的工作考虑了颜色神经元的空间选择性,与之前的工作将颜色神经元建模为无向算子(实际是类似视网膜神经元结构)相比,更符合视皮层颜色神经元的感受野形态结构：第二首次将非线性归一化机制用于编码颜色神经元的增益控制,增强了颜色选择性,并抑制了模型单元响应。实验表明,提出的算法能够提取更为丰富的图像颜色兴趣点,以及显著性区域。具有空间-颜色选择性的颜色边缘编码根据视皮层Double-Opponent (DO)神经元对颜色边缘的编码能力,本论文在基于颜色表面编码理论的基础上,提出一种基于空间滤波的颜色边缘编码理论。从对区域到对边缘检测的问题转换为对SO简单单元的空间滤波问题,并且滤波算子具有中央-周围结构的激活与抑制子单元,从而构建具有空间与颜色同时对立的DO简单单元,编码具有空间-颜色选择性的边缘特征。进一步利用能量机制,计算一对相反极性DO简单单元的能量响应,从而构建相位不变(颜色对比度反转不变)的DO复杂单元。尽管本论文提出的颜色边缘编码方法并不是第一次将颜色对立信息融入到空间滤波中,但与先前提出的工作相比,创新点在于：第一,该编码理论模拟了DO神经元的空间与颜色属性,同时形成了颜色与空间选择性与对立性,使得颜色边缘有更强的判别能力,特别是通过能量机制区分了DO简单单元与复杂单元在相位选择性上的差异,最终完成颜色对比度反转不变的颜色边缘编码；第二,该理论建立在序列的递归的颜色表面编码基础上,体现了编码理论由简单到复杂的层次特性。理论上构建DO模型单元的输入特征与视皮层中大量存在的神经元相符。相比于现有的颜色描述子通常在不同的颜色空间中滤波完成边缘信息编码,本论文提出的编码理论可以看作是一种颜色边缘的二阶算子,除了能获取丰富的颜色局部对比度和纹理信息外,进一步体现了颜色神经元完成不同功能的层次性,即从颜色表面,到颜色边缘,最后到颜色对比度不变的边缘编码方式,与神经科学的生理证据一致。更重要的是,从理论上说,该颜色编码方式适用于任意一种基于图像梯度的算法。(2)第二条主线,从视觉应用的角度出发,针对不同皮层区域所编码的特征复杂性不同,研究视皮层‘"what"通道自底向上的视觉信息处理机制,将V1皮层的颜色编码理论扩展到高层V4/IT区域的编码理论,面向不同难度的视觉任务提出了不同层次的颜色视觉系统,主要包括三个颜色视觉系统：V1皮层：基于颜色纹理基元图的轮廓检测标准轮廓检测方法广泛使用基于高斯导数的亮度通道、纹理通道、颜色通道等。然而,自然图像中的颜色丰富多样,纹理特征中同样包含了丰富的颜色信息。根据视皮层边缘/轮廓编码的生物机理,即V1神经元主要对边缘/轮廓刺激的响应,并通过线性合并的方式完成对不同视觉要素的整合,本论文利用VI皮层的颜色编码理论,提出了一种多尺度多方向颜色纹理基元图的编码方法,完成颜色纹理梯度的计算,利用逻辑回归算法学习不同视觉要素之间的合并权重,最终获取每个像素点的轮廓概率。本方法的创新点在于：纹理特征的编码考虑了颜色表面信息,丰富纹理信息的表征,有利于其外观建模。相比于传统的纹理与颜色分离表示的特征而言,本论文提出的轮廓检测系统更符合人类视皮层V1神经元对纹理的编码属性,更好地适应颜色与纹理同时变化的场景图像。V1皮层：全局颜色特征提取的场景分类神经科学研究发现场景感知仅仅需要图像的全局特征编码,不需要目标细节的特征提取或场景分割,因此可以看做是神经元在V1皮层完成的特征编码；此外,相比于灰度级或给予错误颜色信息的场景图像,具有正确颜色信息的场景分类精度更高。借鉴Gabor滤波器获取场景全局GIST特征的能力,本论文利用V1皮层的颜色编码理论,提出颜色表面与颜色边缘特征的场景识别系统。本方法的创新点在于,借鉴了神经科学对场景分类以及颜色对场景感知重要性的研究成果,为场景识别提供了一个更为一般的场景颜色全局特征编码的视觉框架。V4/IT皮层：颜色目标识别本论文前两个颜色视觉系统都是基于V1皮层的颜色编码理论的应用研究,随着视皮层‘"what"通道的层次逐渐升高,皮层神经元编码特征逐渐复杂,最终达到V4/IT皮层完成具有位置和尺度不变的色调选择与颜色判别,是复杂目标识别的神经元基础。借鉴形状通道的层次传输仿生目标识别模型HMAX中底层V1到高层IT之间的连接方式,本论文在V1视皮层编码的基础上,将从V1到V4/IT皮层的层次连接计算方式推广到颜色信息,提出颜色表面与颜色边缘编码的前馈层次视觉系统,从大量自然场景图像中学习具有丰富空间与颜色选择性的原型模板,为V4/IT皮层的模板匹配和目标识别奠定了基础。本方法的创新点在于,完善了视皮层颜色编码理论的层次性,为目标识别提供了一个更为全面的外观建模框架。(3)前两条研究主线分别对颜色视觉的理论与方法及其视觉应用进行了研究,可见,视皮层是研究颜色编码的重要区域,一个好的颜色编码理论及模型是图像处理和计算机视觉应用的重要基础。本论文另一个重要研究内容是利用该理论模型统一神经元数据,从神经元角度完成对理论模型的科学性描述分析与解释。因此,本论文的第三条研究主线是在前面两条研究内容的基础上,提出一种新的对颜色编码理论的描述方法,通过对比计算模型单元与神经元响应,建立两者之间的显式关联,验证理论与模型的可靠性及科学性,主要包括三种比较：模型单元的空间-颜色选择性与V1神经元的比较区分不同颜色神经元的方式之一就是测量不同视觉要素(空间频率、方向、相位和颜色)对模型单元调谐曲线的影响。本论文设计与电生理实验相似的颜色和空间视觉刺激模式,如等亮度颜色光栅,计算模型单元对刺激的响应规律,同时确定该模型单元的最优刺激模式,与神经元数据比较,验证模型解释神经元空间和颜色属性的能力,丰富了该颜色编码理论在V1皮层的科学描述。模型单元的色调选择性与V4/IT神经元的比较底层V1颜色神经元主要对特定波长的颜色具有选择性,V4/IT皮层神经元呈现狭窄的色调选择性,从而完成颜色判别任务。本论文从大量自然场景图像中学习具有空间和颜色选择性的视觉字典,提出一种基于取样的模板匹配方法计算模型单元对颜色测试刺激的响应,验证模型解释神经元的色调选择性的能力,丰富了该颜色编码理论在V4/IT皮层的科学描述。颜色选择性的空间色调图及其亮度不变性与V1/V4/IT神经元的比较根据颜色选择性神经元对不同颜色刺激的响应空间分布遵循色调环的排列方式,本论文提出一种基于主成分分析的模型单元响应轨迹分布求解方法,主成分分量所在低维空间近似描述了神经元的响应轨迹。与内源光学成像实验比较,验证了视皮层色调图的存在,模型单元对偏好颜色刺激响应在空间位置上越接近,则输入颜色刺激的色调就越接近。通过改变同一种色调的亮度值,计算模型单元的颜色或色调选择性变化趋势,验证了颜色选择神经元响应具有亮度不变性。