随着开发语言和各种软件社区的发展,API的数量急剧上升。为了降低API的使用难度,提高API使用效率,研究人员提出了很多种API推荐方法,这些推荐方法可以帮助编程人员更加高效地使用API。随着推荐技术的不断增加,选择合适的推荐方法对编程人员来说尤为重要。API推荐结果的评估可以为编程人员选择推荐技术提供依据,目前已有的评估方法研究较少,且主要关注于推荐结果的正确性,缺乏对推荐结果质量的关注,难以完全满足开发人员对评估技术的需求。为了解决上述问题,本文提出了一种基于API使用的推荐结果评估技术。该技术是在推荐结果正确性的基础上,利用API使用频率和API文档信息进行的推荐结果评估。本文通过对API推荐评估技术的实证研究,发现正确性评估的评估结果并不能体现每个API对解决问题的帮助大小。研究发现可以采用API使用的频率来计算API的可用性,利用API使用的特性中的可用性对推荐结果进行评估。另外,研究还发现出现频率高的API虽然可用性低,但却极大地影响了推荐结果中正确推荐的数量,其中,约20%的API组成了约90%的正确推荐结果。传统仅根据推荐结果中正确推荐的API数量来进行推荐结果评估的方法存在弊端。因此,本文提出了基于API使用的推荐结果评估技术。该技术通过分析可用性在推荐结果评估中的影响,利用正确性评估和API使用的特性进行推荐结果的评估。该技术可以对推荐结果中正确API对解决问题的帮助大小进行区分,更细粒度进行推荐结果的评估。本文通过选取两个基于功能描述的API推荐工具和一个基于代码上下文的API推荐工具进行经验研究和验证实验,共收集了12186组推荐结果数据。实验数据证实了基于API使用的推荐结果评估技术可以根据API使用的特性定量评估正确推荐结果对完成功能需求的贡献度,评估结果可以弥补正确性评估的不足,有效性更高。而且通过效率对比看出,基于API使用的推荐结果评估技术所耗时间和正确性评估之间的差距不会太明显,不会影响用户体验。