问题回答和对话系统中置信度的研究

来源 :复旦大学 | 被引量 : 1次 | 上传用户:lxhldc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
问题回答是文本检索和自然语言处理领域中非常热门的一个研究方向。问题回答系统输入的是基于自然语言的问题,返回的是精确答案以及支持该答案的文档。答案排序是问题回答中的关键技术之一,它通过计算答案的置信度来对候选答案进行排序。给定一个问题和一个答案,答案的置信度指的是该答案正确回答了问题的自信程度。目前的答案排序方法还不够成熟,因此基于置信度的答案排序技术的研究具有重要的意义。基于自然语言处理的对话系统也是国际上的研究热点之一,对话系统输入的是人的语音命令,返回的是正确的回答或执行相应的指令。对话系统需要基于句子中的某些重要成分的置信度来进行有效的对话,而目前的基于词一级、基于概念一级或者基于句子一级的置信度的研究都不能满足这种需要。这样基于短语一级的置信度的研究,对于对话系统性能的提高具有重要的现实意义。本文的主要贡献有三个方面:第一,本文提出了一种新的基于置信度的答案排序的方法。这是一种基于依赖关系三元组匹配的计算问题与支持答案句相似度的方法。该方法挖掘了问题中的疑问性和非疑问性部分的信息,采用启发式规则来扩展问题的依赖关系三元组,从而来匹配变形的答案句。这种匹配得分被作为新的特征,应用于计算答案的置信度之中。本文采用TREC会议提供的语料进行实验,实验结果表明,引入新特征的答案排序方法的性能比引入前有显著的提高。第二,根据对话系统的实际需要,本文提出了基于句法分析子树一级的置信度的研究:给定一棵句法分析子树所包含词的语音识别的信息和句法分析器剖析的结果,要求给出相应的置信度,即句法分析器对句子中某一成分剖析的自信程度,以及该子树中的词的语音识别的自信程度。随后,本文提出了一种新的计算置信度的算法,该算法采用了语音特征、句法特征和语义特征,以及条件最大熵模型。在餐馆查询系统语料和SwitchBoard语料上的实验结果表明,该算法具有较低的错误率。第三,基于上述句法分析子树一级置信度的研究,本文进一步提出了一系列新的长距离、结构化的句法特征。这些特征来自于句法分析树的一层或者多层之间的依赖关系。传统的词一级的特征只能反映句子的表层信息,而长距离、结构化的句法特征更能反映句子的深层信息。这些特征被应用于基于句法分析子树的置信度评分算法中,并且显著提高了系统的性能。
其他文献
【正】欧洲食品安全局4月19日发布《某些含动物源成分加工食品健康风险科学建议》研究报告,对加工食品和普通食品中微生物生长主要影响因素进行了全面分析,这些因素包括:水分
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
本文主要研究伪抛物型方程解的长时间渐近行为及其在图像恢复中的应用,全文共分三章.在本文的第一、二章,我们讨论含三阶项△uf的齐次、非齐次半线性伪抛物型方程全空间上的Cauc
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
<正> 多產在我國不少家庭里,尤其在广大農村中是較普遍的,然在國內文献中有关多產问题的探討尚属鮮見。本文特就多產对母子的影响与早婚的关系,以及开展計划生育的必要性加以
社会治理创新离不开治理工具的创新。便民服务热线依托自身特有功能在促进社会治理创新的现代化建设中发挥着重要作用,在分析12345便民服务热线参与社会治理创新必要性的基础
档案工作者追求良好的职业道德,是构建社会主义和谐社会,落实科学发展观的必然要求,且是服务好政府工作大局、服务好经济建设、服务好人民群众的前提和基础,本文通过职业道德的特
现代社会,档案文化价值被不断重视和发掘,对于传承和发展人类文明,丰富人类文化资源意义重大。档案文化价值主要体现以下五个方面:证据价值、沟通价值、经济价值、媒体价值和学术
创新是一个民族进步的灵魂,是一个国家兴旺发达的不竭动力。高等学校是深度开发人力资源的主要阵地,是实现创新驱动发展的关键因素,高等学校的教育教学是培养创新型人才的主要途
捅要:由于烹饪专业有其本身的特殊性,根据目前教改工作完善的具体化和技术人才培养的多元化,一体化教学是职教工作的必经之路,特别是烹饪专业更具代表性。它是推进烹饪事业蓬勃发