基于主题模型和随机游走的标签技术研究

被引量 : 8次 | 上传用户:zhujie18604
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,尤其是Web2.0的发展,标签技术在各种网站中得到广泛的应用,给网络资源打上简短的文字标签能极大方便人们对海量数据的存取。由于大量的网络资源还没有标签,而人工打标签费时费力,因此,为网络资源自动打上高质量标签成为近年来学术界以及企业界的一个关注焦点。其中,基于资源内容自动抽取关键短语标签和基于已有的社会化标签集推荐标签是两种主要的自动标签方式。虽然已经开展了大量的工作,也出现了一些关键短语抽取和社会化标签推荐的算法和应用系统。但是目前的自动标签技术还存在着一些问题,其中包括:在关键短语抽取中,主要考察词语的局部统计特性或局部的词间相关信息,而没有考虑词语-文档-主题三者间的全局关系;在社会化标签推荐中,没有同时考虑标签粒度和噪声标签的主题模型,也没有考虑标签-文档-主题三者间的全局关系;在融合关键短语抽取和社会化标签推荐结果的研究中,主要采用线性融合,该方法的参数需要人为指定,且没有充分考虑关键短语和社会化标签之间的关系。本论文针对这些问题展开工作,并取得了如下的成果:一、提出了一种基于全局随机游走的关键短语排序算法GlobalRank。该算法在考虑词语本身的TFIDF权值、词语间的局部关系以及词语和文档与主题的关系的同时,通过引入在词语-文档-主题相关图上的全局随机游走,得到关键短语相对于当前文档的全局相关性,GlobalRank综合利用这些信息进行关键短语的排序。为了验证排序算法的性能,将其应用于关键短语抽取任务。在三个数据集上的实验表明,在候选短语相同的条件下,和前人局限于当前文本的局部特征的算法相比,本文提出的关键短语排序算法能生成更加准确的关键短语有序列表。二、逐步深入地提出了一系列社会化标签推荐模型和算法。首先提出了TG-LDA (Tag-granularity LDA)模型,该模型对网络实际数据中广泛存在的文档主题和标签主题具有不同描述颗粒度的现象进行建模;然后,在TG-LDA模型的基础上,提出了能同时建模多粒度主题和噪声标签的TN-LDA (Tag-granularity and Noise-aware LDA)模型,最后,在TN-LDA的基础上,提出了一个结合了全局随机游走的标签推荐算法。实验表明,本文提出的TN-LDA模型,能在对有标签文档进行更好建模的同时,有效提高标签推荐的性能。而结合全局随机游走的标签推荐算法不仅考虑了网页内容的隐含主题和社会化标签的相互影响,还综合了词粒度标签和主题粒度标签,并将这些关系统一在随机游走的框架下,获取全局相关性。实验表明,该算法的标签推荐结合了主题模型和词特征方法的优点,具有更好的标签推荐性能。同时,求解随机游走的稳定态,还可以优化文档的主题分布,从而根据其分布对文档聚类。通过实验表明,其聚类性能要优于主题模型的方法。三、提出了一种综合考虑关键短语和标签自身权重及其相互关系的融合算法LabelRank。该算法利用偏置PageRank算法,得到候选关键短语和标签的显著性权重,并根据其权重,统一对关键短语和标签进行排序并输出。在Delicious数据上的实验表明,LabelRank算法较好地结合了关键短语和社会化标签的优点,其标签推荐性能明显优于单纯的关键短语抽取和社会化标签推荐算法方法,也优于未全局考虑关键短语和社会化标签相关性的线性融合方法。而且,LabelRank受调节参数影响较小,体现出较高的鲁棒性。最后,结合关键短语抽取和社会化标签推荐算法,实现了一个针对文档的自动标签演示系统,该系统可返回输入文档的关键短语、社会化标签及其融合结果,同时允许用户对系统返回的标签进行判断或自行输入标签,作为训练语料存入训练集。
其他文献
目的对运用穴位注射治疗腰椎间盘突出症的临床效果进行分析和探讨。方法选取于我院2013年10月至2014年10月收录的90例腰椎间盘突出患者,以随机的方式分为两组,在相同的牵引方
实验目的:用共沉淀法,制备含氟化钙(CaF2)的硅酸三钙(3CaO·SiO2,C3S)粉末,用其制备骨水泥,研究氟化钙掺杂对骨水泥固化时间、模拟体液浸泡pH值和显微结构的变化,评价该骨水泥的体外细
随着中国经济和中国公司的进一步发展,中国公司的管理者意识到绩效管理的必要性。面对日益复杂的经营环境,如何对公司经营成果进行有效和恰当的绩效评价成为管理公司过程中的
[目的]在已建立的上颌骨种植体支抗后牵引兔前颌骨动物模型的基础上,从分子生物学水平,研究在后牵引兔前颌骨作用力下,前颌缝和颧颌缝中RANKL及OPG mRNA的表达情况,进一步探
目的 探究甲苯胺红不加热血清反应素(TRUST)试验联合梅毒螺旋体明胶凝集(TPPA)法在产检孕妇梅毒产前筛查中的应用价值。方法 选取2013年7月至2017年4月我院74例妊娠梅毒孕妇作为
目的分析2型糖尿病患者伴有肾损害与下肢血管病变之间的关系及其相关因素,为临床2型糖尿病慢性并发症的防治提供基础资料。方法收集2009年1月至2012年10月在我院内分泌科住院
据研究学者预测,在未来的20年将是我国人口老龄化发展的最快时期。在人口老龄化的巨大压力下,我国政府已建立了多层次养老保险体系,主要包括基本养老保险,企业补充养老保险以及个
2001年以来,贵金属价格的连续上涨带动了国内外广大消费者贵金属投资需求的高涨,也带动了贵金属投资产品的发展,形成了两大类贵金属投资产品,一类是金融性投资产品:纸黄金白银、黄
研究背景:瘢痕疙瘩是一种超常增生的致密的纤维组织,通常在皮肤损伤愈合后发生,而且仅发生在人类身上。瘢痕疙瘩由过多的细胞外基质的累积特别是胶原蛋白的大量形成造成的,它超出
近年来,云计算凭借其海量的计算资源和按需租用的服务模式已经在科学、工程和医疗等领域得到快速发展和广泛应用。根据云资源提供者和使用者的所属关系,云计算可分为三类,即