近年来,随着分布式大数据框架(如Hive)的日益成熟,大数据框架上的优化技术也得到了迅猛的发展。本论文介绍的UDF优化技术是大数据框架上的优化技术之一,通过对Hive和Shark框架中的UDF调用过程和执行过程的优化,来赋予框架更快的UDF处理性能。开源Hive+Shark框架在UDF相关模块有着诸多问题,如UDF调用上有额外开销,UDF的计算性能低下,UDF嵌套时性能超线性下降。为解决这些问题,本文从UDF的调用和执行过程出发,提出四种UDF优化技术,分别是UDF泛型化技术、二进制代码调用技术、UDF向量化技术、代码生成技术,旨在优化整个框架的UDF执行效率。UDF泛型化技术,通过省去UDF包装过程来提升UDF的调用效率,同时让UDF可接受的参数类型更丰富;向量化技术,在一次的UDF调用中处理多行数据,大幅减省UDF的调用次数;二进制代码调用技术,以高效的二进制代码替代UDF中的计算逻辑,让UDF计算过程占用更少的内存,结合向量化技术可以获得更好的性能;代码生成技术的意义在于运行时生成一些嵌套UDF的执行逻辑,用于处理原本表达式树中的UDF,从与向量化技术不同的另一个维度减少了 UDF的调用次数。实验数据证明,四项优化技术分别解决了相应的问题,都带来了 UDF的执行效率提升,虽然提升效果不尽相同。其中的3项技术已应用到实际产品中。