基于文本频率页面分割算法对论坛正文提取

来源 :中国水运:下半月 | 被引量 : 0次 | 上传用户:czwyaa
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何在网页数据中避开干扰的图标、广告、链接等"噪音"元素来提取正文是互联网数据处理的重点问题之一。网页的URL由网络协议、主机名、页面文件相对路径等多个部分组成,对于有多个页面的帖子,其URL十分相似。根据这一特性,通过分析页面内的链接文本及结构特征,找出帖子所分布在的所有网址。再利用页面文本的频率特征,去除HTML标签后按空格对文本进行分词,根据其频率分布计算网页的分割标志,得到回帖所在的文本块。再用正则表达式提取时间信息,进一步去噪后即可得到主贴及回帖信息。
其他文献
桥梁、船闸的通航高度与水位深度受河道水位的影响,会有较大幅度的变化,通航高度和水位深度的动态显示能及时提醒过往船舶适时通过,从而避免水上交通事故。
某型船油料用蒸汽加热器在使用中,容易出现加热不稳定、疏水不畅等问题。为解决此问题,本研究通过实船调试和实验室实验,对需要实现连续加热的蒸汽加热器的问题进行了分析,对
船舶大型化、靠泊作业频繁、管理漏洞以及某些不可抗力因素造成异常靠泊事故时有发生。目前,码头在异常靠泊情况下的受力及位移特性尚不明确,损伤评估缺乏理论基础。上部结构
现代航标学是一门综合性学科,它涉及到水道测量学、光学、声学、建筑与构造、电子技术、自动化技术、计算机技术、航海技术和无线电导航等多学科知识.因此,如何选择最佳的航
新疆乌苏至赛里木湖一级改高速公路项目旧路改建段利用既有一级公路改建,结合既有路面状况及检测成果,提出以旧路弯沉控制为主,同时考虑车辙深度值的双控旧路面“病害”处治
引江济淮工程建设后,长江水系和淮河水系航运在合肥境内汇聚,作为线路上最重要的城市,合肥具备打造江淮航运中心得天独厚的优势条件.本文根据合肥市江海直达的需要,提出升级
文章通过分析江苏内河船舶管理业务现状,结合物联网技术体系和2.45GHz RFID国家标准,提出了一种符合内河自然环境的船舶自动识别技术体系和技术规范,设计制造了标准化产品。
建筑行业全面实施营改增后对建筑行业的的发展造成了非常大的影响,例如税负、预算编制、物资采购、承发包模式等均会受到一定的影响。为了可以适应这一个政策,企业管理人员需
笔者参与了加纳特码新集装箱码头工程项目和几内亚铝矾土出口项目(海工标)前期合同评审和谈判,试图通过结合这两个项目对海外EPC项目主合同法律风险进行简要梳理和分析,以期对