随着网络技术的不断发展,WEB平台成为人们获取信息的主要途径之一,目前各式各样的消息充斥着页面,其中包含很多与网页主题无关的噪音信息,这使得信息集成和检索变得越来越困难,也使得信息抽取技术这一课题变得越来越有意义。在研究生期间参加了农资商品备案交易的项目,需要从国内外各大农业网站中抽取出正文信息供数据库分析与查询,由于网页数量庞大,包含各种类型,现有的查准率和查全率较高的抽取技术往往适用性差,而适用性高的抽取技术却没有较高的查准率和查全率,所以如何兼顾这两方面是研究的重点。由于项目研究的是国内外农业网站,所以数据集是从5种不同类型的农业网站中随机选出的1000个网页,然后以DOM树结构为基础对网页的正文信息进行抽取,提高正文信息抽取的通用性和适应性的同时,也提高了抽取的查全率和查准率。主要研究成果如下:(1)利用DOM树的节点相似度对页面进行分块。针对现有的页面分块方法适用性差的问题,提出基于DOM树的节点路径相似度的页面分块算法。首先将网页以DOM树的方式结构化表示,再以n元组的方式定义DOM树上每个叶子节点的节点路径,利用节点相似度算法计算路径之间的相似度,设置阈值,对大于阈值的进行融合。由于不用考虑节点标签及其属性,所以适用性较强,实验也表明了其适用性。(2)对页面分块后的正文价值判断。针对页面分块后无法判断正文信息块与噪音信息块的问题,分析了现有的基于DOM树密度模型和节点重要度的正文信息抽取方案,在此基础上结合了节点路径的特点进行密度模型和节点重要度的计算,基于阈值来区分正文信息块和噪音信息块,实验表明相较于其他的方法提高了抽取的查全率和查准率。(3)基于分类器的阈值自适应选取改进方法。由于阈值的设定没有明确的标准和自适应选取改进方法,实际效果不好,提出基于分类器的阈值自适应选取的改进方法,利用分类器对密度值和节点重要度进行训练分类,通过训练的结果来判断正文信息块和噪音信息块,实验表明使用分类器之后比使用之前的查全率和查准率都有进一步提高。(4)对信息块内进行去噪操作并抽取出正文信息。针对正文信息块含有少量噪音信息和噪音信息块中含有少量正文块的问题,利用正文信息的中心性和连续性,进行块内节点路径结构性去噪,然后对正文信息块中的节点路径通过编号进行排列组合,最终抽取出完整的正文信息。