互联网的低门槛、快速、互动量大等特点,使民意、言论自由都得到了空前展现,网络舆情成为影响着执政者的决策行为的重要因素。目前国内外商业竞争加剧、消费者的消费意识与自我保护意识逐渐成熟,而市场上商业机构危机应对能力薄弱,这就凸显了网络商业舆情引导策略的重要性。国外舆情系统体系较为完整,而目前国内网络舆情系统多偏向于政府应用、军事监管,涉及商业应用的舆情系统寥寥无几,且构建舆情系统的技术繁杂,多种算法直接影响到舆情信息提取的精确度。本课题将面对舆情分析中的几种主要技术,针对提高聚类和信息提取精度的技术进行研究分析,主要工作如下:1.结合现有的几种舆情语料库,针对商业内容进行提取,对爬取的信息采用布尔模型进行粗分,再使用向量空间模型进行表征,减小了后续聚类文本的数量,也为提高聚类精度提供了可能。2.根据TF-IDF文本表示方法的思路提出一种新的EM-NWTF算法,重点处理公式中IDF因子的计算方式、增加位置考虑和分部状况设置加权系数,结合布尔模型粗分后的结果,计算不同类别间的反文档频率,解决了原算法中生僻词影响、同类文本区分度低的问题;主要依靠增加位置权重和强调因子,在算法精度和复杂度间取得平衡,前者考虑首尾段落中特征值的重要性,后者考虑文本中间段落特征值均匀分布的状况。仿真分析影响算法精度的相关原因。3.针对K-means算法事先要求给出聚类数目K、对噪声敏感、初始中心影响大等缺点,在此基础上提出Miniter-means算法,采用相似度度量文本间距离,设定阈值过滤噪声和孤立点,增加影响系数,用已聚类的簇生成新聚类簇质心的新方法进行计算。设计仿真实验,对比两种算法的性能与鲁棒性,分析算法精度与相关参数。4.为提高海量数据并发处理效率,在Hadoop分布式平台对上述新算法及优化措施进行运行和测试,并进行效果分析。