论文部分内容阅读
涂鸦期是儿童自我表现的开始阶段,涂鸦行为是视觉经验、身体、手指肌肉动作协调的一种产品,可以反映儿童当时的身心状态。儿童涂鸦产品也是娱乐产品设计中的一个热点问题。但是传统的儿童涂鸦产品只能提供交互绘制功能,而无法对儿童涂鸦质量进行分析评价,缺乏互动性。论文针对这一问题展开研究,以深度学习为理论技术,提出通过图像卷积理论对儿童涂鸦质量自动进行评分。主要研究工作如下:(1)针对涂鸦图像改进了卷积网络结构,提高了涂鸦质量评分准确率。针对儿童涂鸦图像定义了一种混合池化函数用于提取颜色特征。该方法首先在Inception-BN网络基础上,采用均值池化函数来提取涂鸦图像的全局颜色分布。然后采用最大池化函数得到涂鸦图像的主要颜色信息。最后通过Fine-Tuning方法对网络进行优化,获得最优评分模型。在实验部分,创建了一个包含3万余张涂鸦图像的数据集,并对模型性能进行分析,在单一类别和多类别的涂鸦评分实验下验证了网络结构的有效性。此外实验还将主观评分和模型评分效果进行分析比较,验证了算法的准确性。(2)在涂鸦图像自动评分研究基础上,针对儿童交互涂鸦系统进行需求分析,设计系统框架。根据系统需求的业务流程,给出了儿童交互涂鸦系统的功能设计结构,系统硬件拓扑结构以及相应的用户用例图。为系统开发和实现提供支撑和依据。(3)在上述涂鸦评分研究和系统需求分析基础上,设计和实现了儿童交互涂鸦系统。以Unity平台为开发工具,Mxnet为深度学习计算框架,设计实现儿童交互涂鸦系统。系统主要功能包含涂鸦模块、通信模块、评分模块、涂鸦贴图模块、动画模块和用户交互甩图模块。系统通过MobilePaint插件实现涂鸦绘制功能,通过Socket网络通信解决图像作品传输问题、通过动态链接库技术实现评分模块的部署、通过XML文件实现贴图文件更新、通过碰撞检测技术实现甩图交互等。儿童交互涂鸦系统已经正式上线,在实际应用场景中产品运行稳定。目前,产品已经在中国、美国、土耳其等多个国家和地区实现了安装部署,非常受儿童的欢迎。