论文部分内容阅读
［摘要］ 本课题以话题识别与跟踪为研究内容，根据相容关系集和距离函数形成话题层次结构，利用相容隶属函数对不确定边界文本进行话题确认，形成带有明确话题标注信息的语料。以此建立话题识别与跟踪体系，为相关部门实时、精确掌握网络舆情提供理论支撑和方法指引。
［关键词］ 话题识别与跟踪； 相容商空间粒度； 语料
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2011 . 14. 045
［中图分类号］TP391.1 ［文献标识码］A ［文章编号］1673 - 0194（2011）14- 0077- 02
１引言
话题识别与跟踪作为舆情分析的重要组成部分，仍有许多需要解决的问题。在话题识别与跟踪方面，涉及聚类策略的选择大都基于硬聚类过程，所得聚类簇中的文本对象是无层次的确定聚类结果。无层次结构造成话题结构的混乱。由于有些边界文本对象无法准确地划分到某一个簇，造成对这些文本无法进行较准确判断，降低了话题识别的精度。
本课题基于相容商空间粒度下的软聚类算法，定义相容关系集Ｉ和距离函数ｄｉｓ（α，β），确认聚类的重心点集合，计算距离函数ｄｉｓ（α，β），并与距离半径ｄｉ进行比较，在相容商空间粒度下对文档集进行反复合成与分解，同时动态形成聚类重心点集合；利用相容隶属函数μ（Ｘｊ，Ｘ） ＝ ｜ Ｉ（Ｘｊ）∩Ｘ ｜ ／ Ｉ（Ｘｊ）对边界文本进行话题确认，形成带有明确话题标注信息的语料。本课题在相容商空间粒度下对话题进行识别和跟踪，使得在识别和跟踪过程中易于实现话题层次的划分及处理容错文本的能力，提高话题识别与跟踪的效率和精度。
２相容商空间粒度下的话题识别与跟踪
２．１国内外研究现状
话题识别与跟踪为话题倾向性分析的基础。文献［１］训练一项表征话题演化周期的阈值，检测后续报道与话题模型内最新事件的时间差是否高于该阈值，将满足这一条件的报道作为话题演化的边界；文献［２］的时间“覆盖矩阵”将相关性匹配双方的时间信息统一为标准格式，分别映射于横纵时间轴上的点，基于对角线检测所有同步点及其时间间隔，在此基础上以所有间隔的覆盖率描述匹配双方时序关系的相似性。然而，目前的聚类方法确定的聚类结果多是无层次的，无层次的话题结构会造成话题混乱。
２．２我们的工作
在相容商空间粒度下，根据相容关系集和距离函数，确认聚类的重心点集合，在相容商空间粒度下对文档集进行反复合成与分解，形成话题的层次结构，同时动态形成聚类重心点集合；利用相容隶属函数对边界文本进行话题确认，形成带有明确话题标注信息的语料。
２．２．１不同相容商空间粒度的获取
定义１：令［Ｘ］ ＝ ｛［ｘ］Ｉ ｜ ｘ∈Ｘ｝，称［Ｘ］是关于相容关系Ｉ的相容商空间。
根据相容关系定义距离函数，假设α， β， γ是论域Ｘ中的3个ｎ维向量，ｄｉｓ（α，β）是一个距离函数。作为一个距离函数，ｄｉｓ（α，β）应该满足下列特征：
（１） ｄｉｓ（α，β） ≥ ０
（２） ｄｉｓ（α，α） ＝ ０
（３） ｄｉｓ（α，β） ＝ ｄｉｓ（β，α）
（４） ｄｉｓ（α，β） ≤ ｄｉｓ（α，γ） ＋ ｄｉｓ（γ，β）
显然ｄｉｓ（α，β） ≤ ｄ是一个相容关系，其中ｄ ≥ ０，称d为距离函数ｄｉｓ（α，β）的半径。
如此把相容关系Ｉ与距离函数ｄｉｓ（α，β） ≤ ｄ建立了一一对应关系。
定义２：设Ｉ１和Ｉ２∈Ｉ，对于任意ｘ，ｙ∈Ｘ都有ｘＩ２ｙ ?圯ｘＩ１ｙ，那么就称Ｉ２比Ｉ１细，记作Ｉ１ ＜ Ｉ２。
一个ｎ层的层次结构对应的ｎ个相应的相容关系就有如下的相容序关系：
Ｉ０ ＜ Ｉ１ ＜ Ｉ２ ＜ … ＜ Ｉｎ
相容距离函数表示ｎ层的层次结构对应的距离半径有如下序关系：
ｄ０ ＞ ｄ１ ＞ ｄ２ ＞ … ＞ ｄｎ ＞ ０
设Ｉｉ对应的相容商集为［Ｘ］ｉ（ｉ ＝ ０，…，ｎ），则不同层次粒度论域集有如下的相容序关系：
［Ｘ］０ ＜ ［Ｘ］１ ＜ ［Ｘ］２ ＜ … ＜ ［Ｘ］ｎ
２．２．２相容商空间粒度下的软聚类
（１） 选取初始ｋ个样本Ｘ ＝ ｛Ｘ１，Ｘ２，…，Ｘｋ｝为样本的重心点集合， ｄ０是相容距离半径。
（２） 计算ｄｉｓ（Ｘｉ，Ｘｊ）（ｉ∈（１，２，…，ｋ），ｊ∈（１，２，…，ｎ）），判断ｄｉｓ（Ｘｉ，Ｘｊ）与ｄ０的关系。
（３） 当ｄｉｓ（Ｘｉ，Ｘｊ） ≤ ｄ０时，表示Ｘｉ，Ｘｊ属于同一类，如此计算所有样本与重心的距离，并与距离半径进行比较。
（４） 采用相容商空间粒度分析法对聚类结果进行分析，相容商空间粒度的确定过程是一个不断分析比较、动态调整样本重心点的过程，这个过程称为相容商空间粒度分析。在实际求解中，可采用合并和分解法来调整粒度，实现层次划分。
（５） 对于边界距离ｄｉｓ（Ｘｉ，Ｘｊ） ＝ ｄｉ表示Ｘｊ在两个簇中同时存在，利用相容隶属函数μ（Ｘｊ，Ｘ） ＝ ｜ Ｉ（Ｘｊ）∩Ｘ ｜ ／ Ｉ（Ｘｊ）判断Ｘｊ属于哪个簇。如此反复，达到软聚类结果。
如此，距离函数和相容关系建立了一一对应关系，经过不断对相容商空间粒度的合成与分解及对边界对象的隶属处理，形成软聚类结果，解决了话题层次及不确定边界的问题。
２．２．３话题识别与跟踪
把经过解析的Ｗｅｂ语料中的ＸＭＬ文档集表示为向量空间模型Ｄ ＝｛Ｄ１，Ｄ２，…，Ｄｒ｝，其中Ｄｉ表示第ｉ篇文档的向量空间：Ｄｉ ＝ ｛（Ｔｉ１，ｗｉ１），（Ｔｉ２，ｗｉ２），…，（Ｔｉｍ，ｗｉｍ），…｝，ｗｉｊ表示文档Ｄｉ中第ｊ个词汇Ｔｉｊ的权重值。对于文档向量空间进行降维处理，形成ｎ维文档向量空间集，其中Ｄ ＝ ｛Ｄ′１，Ｄ′２，…，Ｄ′ｒ｝，其中Ｄ′ｉ ＝ ｛（Ｔ′ｉ１，ｗｉ１），（Ｔ′ｉ２，ｗｉ２），…，（Ｔ′ｉｎ，ｗｉｎ）｝（ｎ ＜ ｍ）。利用软聚类算法对文档集Ｄ进行话题识别，形成层次话题集ＴＰ ＝ ｛ｔｐ１，ｔｐ２，…，ｔｐｓ｝。在聚类过程中，动态形成话题重心点向量集Ｃ ＝ ｛ｃ１，ｃ２， …，ｃｓ｝。根据话题ｔｐｉ中的所有文档向量集ｔｐｉ ＝ ｛ｄｉ１，ｄｉ２，…，ｄｉｃ｝，对ＸＭＬ文档集中话题节点的标注信息进行更新。
话题跟踪是话题识别的继续，是在确定的话题基础上，在话题监督的作用下动态跟踪的过程。针对带有明确标注的层次化话题集ＴＰ ＝ ｛（ｔｐ１，ｎａｍｅ１），（ｔｐ２，ｎａｍｅ２），…，（ｔｐｓ，ｎａｍｅｓ）｝以及文档重心点集Ｃ ＝ ｛ｃ１，ｃ２，…，ｃｓ｝，对新报道向量空间Ｆ，利用软聚类算法对Ｆ进行分类。首先计算Ｆ与文档重心点集距离函数ｄｉｓ（Ｆ，Ｃ），然后与确定的距离半径ｄｒ比较，确认Ｆ属于哪一类话题。如果ｄｉｓ（Ｆ，Ｃ） ＞ ｄｒ，则以Ｆ为重心点，作为新话题加入新层次话题集ＴＰ ＝ ｛（ｔｐ１，ｎａｍｅ１），（ｔｐ２，ｎａｍｅ２），…，（ｔｐｓ，ｎａｍｅｓ），（Ｆ，ｎａｍｅｆ）｝，同时更新语料中对应的ＸＭＬ文档的话题节点的标注信息。
主要参考文献
［１］ 赵华，赵铁军，于浩，张姝． 面向动态演化的话题检测研究［Ｊ］． 高技术通讯，２００６，１６（１２）：１２３０－１２３５．
［２］ 宋丹，王卫东，陈英． 基于改进向量空间模型的话题识别跟踪［Ｊ］． 计算机技术与发展，２００６，１６（９）．
［关键词］ 话题识别与跟踪； 相容商空间粒度； 语料
doi : 10 . 3969 / j . issn . 1673 - 0194 . 2011 . 14. 045
［中图分类号］TP391.1 ［文献标识码］A ［文章编号］1673 - 0194（2011）14- 0077- 02
１引言
话题识别与跟踪作为舆情分析的重要组成部分，仍有许多需要解决的问题。在话题识别与跟踪方面，涉及聚类策略的选择大都基于硬聚类过程，所得聚类簇中的文本对象是无层次的确定聚类结果。无层次结构造成话题结构的混乱。由于有些边界文本对象无法准确地划分到某一个簇，造成对这些文本无法进行较准确判断，降低了话题识别的精度。
本课题基于相容商空间粒度下的软聚类算法，定义相容关系集Ｉ和距离函数ｄｉｓ（α，β），确认聚类的重心点集合，计算距离函数ｄｉｓ（α，β），并与距离半径ｄｉ进行比较，在相容商空间粒度下对文档集进行反复合成与分解，同时动态形成聚类重心点集合；利用相容隶属函数μ（Ｘｊ，Ｘ） ＝ ｜ Ｉ（Ｘｊ）∩Ｘ ｜ ／ Ｉ（Ｘｊ）对边界文本进行话题确认，形成带有明确话题标注信息的语料。本课题在相容商空间粒度下对话题进行识别和跟踪，使得在识别和跟踪过程中易于实现话题层次的划分及处理容错文本的能力，提高话题识别与跟踪的效率和精度。
２相容商空间粒度下的话题识别与跟踪
２．１国内外研究现状
话题识别与跟踪为话题倾向性分析的基础。文献［１］训练一项表征话题演化周期的阈值，检测后续报道与话题模型内最新事件的时间差是否高于该阈值，将满足这一条件的报道作为话题演化的边界；文献［２］的时间“覆盖矩阵”将相关性匹配双方的时间信息统一为标准格式，分别映射于横纵时间轴上的点，基于对角线检测所有同步点及其时间间隔，在此基础上以所有间隔的覆盖率描述匹配双方时序关系的相似性。然而，目前的聚类方法确定的聚类结果多是无层次的，无层次的话题结构会造成话题混乱。
２．２我们的工作
在相容商空间粒度下，根据相容关系集和距离函数，确认聚类的重心点集合，在相容商空间粒度下对文档集进行反复合成与分解，形成话题的层次结构，同时动态形成聚类重心点集合；利用相容隶属函数对边界文本进行话题确认，形成带有明确话题标注信息的语料。
２．２．１不同相容商空间粒度的获取
定义１：令［Ｘ］ ＝ ｛［ｘ］Ｉ ｜ ｘ∈Ｘ｝，称［Ｘ］是关于相容关系Ｉ的相容商空间。
根据相容关系定义距离函数，假设α， β， γ是论域Ｘ中的3个ｎ维向量，ｄｉｓ（α，β）是一个距离函数。作为一个距离函数，ｄｉｓ（α，β）应该满足下列特征：
（１） ｄｉｓ（α，β） ≥ ０
（２） ｄｉｓ（α，α） ＝ ０
（３） ｄｉｓ（α，β） ＝ ｄｉｓ（β，α）
（４） ｄｉｓ（α，β） ≤ ｄｉｓ（α，γ） ＋ ｄｉｓ（γ，β）
显然ｄｉｓ（α，β） ≤ ｄ是一个相容关系，其中ｄ ≥ ０，称d为距离函数ｄｉｓ（α，β）的半径。
如此把相容关系Ｉ与距离函数ｄｉｓ（α，β） ≤ ｄ建立了一一对应关系。
定义２：设Ｉ１和Ｉ２∈Ｉ，对于任意ｘ，ｙ∈Ｘ都有ｘＩ２ｙ ?圯ｘＩ１ｙ，那么就称Ｉ２比Ｉ１细，记作Ｉ１ ＜ Ｉ２。
一个ｎ层的层次结构对应的ｎ个相应的相容关系就有如下的相容序关系：
Ｉ０ ＜ Ｉ１ ＜ Ｉ２ ＜ … ＜ Ｉｎ
相容距离函数表示ｎ层的层次结构对应的距离半径有如下序关系：
ｄ０ ＞ ｄ１ ＞ ｄ２ ＞ … ＞ ｄｎ ＞ ０
设Ｉｉ对应的相容商集为［Ｘ］ｉ（ｉ ＝ ０，…，ｎ），则不同层次粒度论域集有如下的相容序关系：
［Ｘ］０ ＜ ［Ｘ］１ ＜ ［Ｘ］２ ＜ … ＜ ［Ｘ］ｎ
２．２．２相容商空间粒度下的软聚类
（１） 选取初始ｋ个样本Ｘ ＝ ｛Ｘ１，Ｘ２，…，Ｘｋ｝为样本的重心点集合， ｄ０是相容距离半径。
（２） 计算ｄｉｓ（Ｘｉ，Ｘｊ）（ｉ∈（１，２，…，ｋ），ｊ∈（１，２，…，ｎ）），判断ｄｉｓ（Ｘｉ，Ｘｊ）与ｄ０的关系。
（３） 当ｄｉｓ（Ｘｉ，Ｘｊ） ≤ ｄ０时，表示Ｘｉ，Ｘｊ属于同一类，如此计算所有样本与重心的距离，并与距离半径进行比较。
（４） 采用相容商空间粒度分析法对聚类结果进行分析，相容商空间粒度的确定过程是一个不断分析比较、动态调整样本重心点的过程，这个过程称为相容商空间粒度分析。在实际求解中，可采用合并和分解法来调整粒度，实现层次划分。
（５） 对于边界距离ｄｉｓ（Ｘｉ，Ｘｊ） ＝ ｄｉ表示Ｘｊ在两个簇中同时存在，利用相容隶属函数μ（Ｘｊ，Ｘ） ＝ ｜ Ｉ（Ｘｊ）∩Ｘ ｜ ／ Ｉ（Ｘｊ）判断Ｘｊ属于哪个簇。如此反复，达到软聚类结果。
如此，距离函数和相容关系建立了一一对应关系，经过不断对相容商空间粒度的合成与分解及对边界对象的隶属处理，形成软聚类结果，解决了话题层次及不确定边界的问题。
２．２．３话题识别与跟踪
把经过解析的Ｗｅｂ语料中的ＸＭＬ文档集表示为向量空间模型Ｄ ＝｛Ｄ１，Ｄ２，…，Ｄｒ｝，其中Ｄｉ表示第ｉ篇文档的向量空间：Ｄｉ ＝ ｛（Ｔｉ１，ｗｉ１），（Ｔｉ２，ｗｉ２），…，（Ｔｉｍ，ｗｉｍ），…｝，ｗｉｊ表示文档Ｄｉ中第ｊ个词汇Ｔｉｊ的权重值。对于文档向量空间进行降维处理，形成ｎ维文档向量空间集，其中Ｄ ＝ ｛Ｄ′１，Ｄ′２，…，Ｄ′ｒ｝，其中Ｄ′ｉ ＝ ｛（Ｔ′ｉ１，ｗｉ１），（Ｔ′ｉ２，ｗｉ２），…，（Ｔ′ｉｎ，ｗｉｎ）｝（ｎ ＜ ｍ）。利用软聚类算法对文档集Ｄ进行话题识别，形成层次话题集ＴＰ ＝ ｛ｔｐ１，ｔｐ２，…，ｔｐｓ｝。在聚类过程中，动态形成话题重心点向量集Ｃ ＝ ｛ｃ１，ｃ２， …，ｃｓ｝。根据话题ｔｐｉ中的所有文档向量集ｔｐｉ ＝ ｛ｄｉ１，ｄｉ２，…，ｄｉｃ｝，对ＸＭＬ文档集中话题节点的标注信息进行更新。
话题跟踪是话题识别的继续，是在确定的话题基础上，在话题监督的作用下动态跟踪的过程。针对带有明确标注的层次化话题集ＴＰ ＝ ｛（ｔｐ１，ｎａｍｅ１），（ｔｐ２，ｎａｍｅ２），…，（ｔｐｓ，ｎａｍｅｓ）｝以及文档重心点集Ｃ ＝ ｛ｃ１，ｃ２，…，ｃｓ｝，对新报道向量空间Ｆ，利用软聚类算法对Ｆ进行分类。首先计算Ｆ与文档重心点集距离函数ｄｉｓ（Ｆ，Ｃ），然后与确定的距离半径ｄｒ比较，确认Ｆ属于哪一类话题。如果ｄｉｓ（Ｆ，Ｃ） ＞ ｄｒ，则以Ｆ为重心点，作为新话题加入新层次话题集ＴＰ ＝ ｛（ｔｐ１，ｎａｍｅ１），（ｔｐ２，ｎａｍｅ２），…，（ｔｐｓ，ｎａｍｅｓ），（Ｆ，ｎａｍｅｆ）｝，同时更新语料中对应的ＸＭＬ文档的话题节点的标注信息。
主要参考文献
［１］ 赵华，赵铁军，于浩，张姝． 面向动态演化的话题检测研究［Ｊ］． 高技术通讯，２００６，１６（１２）：１２３０－１２３５．
［２］ 宋丹，王卫东，陈英． 基于改进向量空间模型的话题识别跟踪［Ｊ］． 计算机技术与发展，２００６，１６（９）．