论文部分内容阅读
随着互联网大数据技术和人工智能的不断发展及其广泛应用,数据作为大数据技术和人工智能技术的基础,已经成为一种不可或缺并且具有战略价值的资产。在媒体行业,也正在借助于大数据技术和人工智能技术实现媒体的进一步深度融合以及业务创新。本文介绍了如何通过基于Scrapy框架设计开发一套具备灵活性及可扩展性的互联网新闻数据分布式采集系统,基于此系统可以为众多媒体智能化创新应用提供数据支持。