在农业信息化进程中,大数据技术手段被广泛用于挖掘农业资源,优化配置设计,捕捉消费需求,追踪市场变化等。为了应对海量数据背后的潜在信息进行挖掘分析,关于计算和数据密集型的科学数据分析越来越盛行。MapReduce已经成为大规模数据分析的有效框架,通过利用分布式文件系统,可以轻松地计算大规模数据集。但是现有MapReduce框架在面对不规则小文件集时性能不甚理想。因为其将数据块均匀分配到集群节点上以及基于分布式文件系统的文件读写方式。针对这个问题,本文研究在Comet上构建的MapReduce编程抽象,实现的原型系统可以有效避免数据存储造成的计算瓶颈,兼顾处理速度与成本,增强系统的可用性与扩展性。本文的主要工作概括如下:(1)分析了Hadoop MapReduce编程抽象的作业处理流程,及在处理小文件集时在实用性和可扩展性方面的缺陷。进而提出了基于Comet框架实现支持Master-Worker(BOT)并行异步计算方式的MapReduce编程抽象的方案,并尽可能利用内存中的数据进行运算操作。(2)研究了Comet MapReduce编程原型系统实现需要解决的问题。重点阐述了系统处理任务作业的工作流程、所涉及的关键接口/类的设计,以及以用户目标为驱动的任务自助调度解决方案。并分析系统API与MapReduceHadoop的API之间的异同,以便今后对Hadoop MapReduce的更多功能进行移植。(3)最后用PDB库的距离信息挖掘应用程序验证所设计的Comet MapReduce编程框架系统的运行时间、内存消耗及负载平衡等性能。并与Hadoop MapReduce进行性能对比分析。