定向互联网站点数据爬虫及应用服务接口的设计与实现

被引量 : 0次 | 上传用户:Linda_724
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,随着智能手机的逐步普及,各种手机应用开始层出不穷,其中的一些依赖充分翔实的数据抢占市场,还有一些则依靠创新性和革命性的交互体验设计吸引用户。而对于一些小型、初创的手机应用开发企业来说,数据的缺失与交互体验设计上的不足制约了他们的发展。对于数据的获取,可以选择和特定的数据提供商进行合作,也可以自主发掘和人工获取。本文主要描述了一个手机应用中基于爬虫实现的数据获取方案。主要内容包括:● 基于Python实现的数据抓取爬虫。主要介绍了其整体设计、并发架构及具体实现。一些关键特性包括:动态代理,基于队列实现异步化,两级爬虫等。·基于爬虫提供具体服务的服务端设计与实现。主要介绍了基于CXF框架的整体架构、各服务具体实现、用于提升性能的缓存实现及与爬虫模块的交互情况等。本文所提供的技术方案成本低廉、实现简单、结构易懂,可以很好地被中小型企业运用。本文涉及的项目已经在安卓和IOS两大平台上成功上线且表现良好。同时,设计的过程中充分考虑了可扩展性,性能可以相对简单地进行扩展。
其他文献
随着城市经济建设的发展,不少城市出现了相当数量的外来劳动力,不断地掀起了一股又一股的民工潮。随着人数的不断增加,这些生活在城市中的农民工子女的教育问题日益成为人们
先秦时期逐渐流行的"通变"历史观,是"类"的思想方法在史学领域的反映,《史记》的"通古今之变"撰述宗旨正是对这种历史观的继承和发扬。作为中国第一部纪传体通史,《史记》为
双环戊二烯在180℃解聚为环戊二烯,冰水浴条件下环戊二烯与钠砂反应得到环戊二烯基钠,再在二甲苯为溶剂、低温下环戊二烯基钠与四氯化锆按理论摩尔比2:1反应3 h时得到二氯二
当今时代,文化越来越成为民族凝聚力和创造力的重要源泉,成为综合国力竞争的重要因素,丰富精神文化生活越来越成为我国人民的热切愿望。适应这种形势,党的十八大提出了"扎实
随着我国体育产业的不断发展,体育产业相关理论和体育产业政策问题日渐成为国内学术界的研究热点之一,但关于我国体育产业政策变迁问题的系统研究还相对薄弱。本文采用文献资
审视美国教师教育课程思想的历史发展可以发现,美国教师教育课程曾经历学术性与师范性之抉择,这种抉择在不同的历史阶段呈现出不同的形式,表现出不同的特点,深化了人们的认识
语言是人们重要的交际工具,从早期符号媒介进化到语言媒介,我们努力了3140万年;从语言媒介发展到文字媒介,我们用了39.65万年;从文字媒介跨入印刷媒介,我们等待了4千年;从印
目的:了解吉林省德惠地区高血压病的患病率、知晓率、治疗率、控制率和高血压病的危险因素,为经济中等发达县级市高血压病的预防提供依据。方法:采用分层随机抽样的方法,从德
自2005年我国进行汇率制度改革以来,浮动汇率制度得到完善。在新的汇率制度作用下,人民币对美元汇率经历了一个快速上涨的过程。伴随着汇率的上扬,国内广义货币供应量以及房
多拉纳萨依金矿横穿别列则克河而位于砂金矿区上游,其表层氧化带厚约30m.结构疏松,含金石英脉呈破碎状穿插于氧化带.是别列则克河砂金矿的主要物质来源.