论文部分内容阅读
诗歌是璀璨中华文化的瑰宝,历史长河中有无数诗歌被传颂至今,人们被前人的智慧和诗歌的美所撼动。在人工智能的大浪潮下,图像识别、自然语言处理、字幕挑战等计算机技术发展迅猛,让计算机自动生成诗歌的研究取得不断的突破。前人在诗歌自动生成的研究大多数在于从文字启发生成诗歌,极少学者研究是从图像启发生成诗歌。目前,从图像启发生成诗歌的研究中存在不少的问题,例如缺乏一个从图像输入直接输出诗歌的端到端模型、输出诗歌内容与图像表征不符、输出诗歌质量不好等问题。本文的主要工作如下:(一)本模型框架基于编码器-解码器,编码器使用全卷积网络FCN,解码器使用长短期记忆网络LSTM。使用FCN编码器从像素级图像中提取空间视觉特征和语义表示。基于FCN-LSTM的编码器-解码器模型框架被运用在图像启发生成诗歌的工作中;(二)模型引入注意力机制,通过细粒度和语义引导的注意力机制,将FCN编码器的所有输出的特征信息汇总到一个联合上下文汇总层中,为解码器LSTM提供更利于诗歌生成的信息;(三)在LSTM解码器中引入内存模型,使得本模型输出的诗歌更具备多样化、创造性;构建图像-诗歌的数据集,为图像生成诗歌的端到端模型训练做准备。设计三个模型评估实验:模型结构分析、诗歌图灵测试分析、多模型对比分析,并详细分析实验数据。在结构实验中,模型引入注意力机制和内存模型后困惑度PPL值下降明显,证明基于本模型输出的诗歌质量更好。在图灵测试中,在非专业组大概有44.8%的诗歌被认为是机器生成诗歌或者不能区分,证明本模型生成的诗歌与人类创作的诗歌水平差不多;在诗歌生成质量的多模型对比中,本模型的主客观评价指标中表现优秀,相比于传统SMT模型有较大进步;本模型并在五言律诗和七言律诗的诗歌评价中,诗歌的连贯性均比注意力机制模型ANMT高出0.03,在诗歌的意义性高出0.17和0.09。