综合评价指标体系,指对某一评价对象各方面表征特性及其相互联系的多个指标进行全面评价所构成的有机整体,是人们科学、全面认识客观事物、评价某一对象的有效工具,广泛应用于经济学、人口学、社会学、理学、工学、医学等领域,尤其是在经济学领域的应用更是推进了综合评价方法理论的发展。本文通过对国内外综合评价理论研究与技术应用成果的梳理,总结综合评价指标体系方面由来已久存在的理论研究匮乏、缺乏应用理论经济学研究的问题,以及综合评价模型构建日趋数学化、复杂化,忽略评价方法的科学性和简单性。本文全面系统地梳理了综合评价中的理论方法,并提出一种新型的主客观赋权相结合的“专家咨询约束下的综合评价指标体系”模型,为各方法间的联系和综合评价指标体系广泛应用提供了理论支持,从“科技评价”领域对新方法在小样本和大样本静态综合评价方面提供了实证案例;此外,本文尝试从静态综合评价拓展到动态综合评价,提出优化多重共线性问题的重复交易模型,为综合评价问题提供新的思路。本文围绕综合评价指标体系的理论方法和实证应用展开,研究的具体内容如下:第一,总结和梳理了综合评价指标体系技术应用、理论研究的现状,和主成分分析法的理论及其在综合评价方面的应用情况,并对以上三部分的理论文献做了评述,指出已有研究的不足和本文研究的重点。第二,定义了专家咨询约束的主观信息集,将专家咨询信息集通过惩罚项的方式加入到传统主成分分析的二次规划估计中,构建专家咨询约束下综合评价模型,并在计量经济学框架下证明了模型的权重估计量在大样本下具有一致性和渐近正态性;讨论模型的几何意义和解的路径、性质,直观地理解模型及惩罚因子的确定;从而建立专家咨询约束下综合评价指标模型的理论框架。第三,开展蒙特卡洛模拟实验,验证大样本性质下权重估计量的路径、性质,及惩罚因子的性质和交叉验证的结论。讨论专家咨询约束下综合评价模型相比于传统主成分分析法和加权专家评价模型的优越性,通过交叉验证的方法确定最优的惩罚因子和权重估计量。第四,在科技评价框架下,用专家咨询约束下综合评价模型评价全国各省市科技活动产出综合水平,论证了该方法在小样本情境下的适用性和有效性。第五,用专家咨询约束下综合评价模型评价中国工业上市公司创新能力,从而讨论了本文的方法应用于大样本情境下的适用性和有效性。第六,从“静态综合评价”问题拓展到“动态综合评价”。在处理短时间序列的综合评价问题中,发现专家咨询约束下综合评价指标模型操作性较低,通过“重复交易模型”构建动态综合指数,解决一般线性模型普遍存在的“多重共线性”难题,并讨论了动态综合评价问题的适用方法。本文研究的主要结论归纳如下:第一,在讨论赋权法时,历来的研究存在一种误区,认为客观赋权法优于主观赋权法,在赋权时采用客观赋权法时认为权重不受主观随意性的影响。但本文认为判断权重的合理性不应当以是否采用客观赋权或主观赋权为准,而应该判断权重是否准确反映该指标的真实重要程度。本文为解决这一误区提出一种新的“专家咨询约束下综合评价模型”,将综合指数看成线性因子模型中的共同因子,定义专家咨询信息集的范围,包含“专家权重”、“专家信任度”和“专家专业度”三个维度;将专家信息集以惩罚项的形式加入主成分分析法的估计中,在识别两个数据集不确定性的基础上,确定最优的惩罚因子Q,从而将主客观信息集通过二次规划相融合。用蒙特卡洛模拟实验验证了权重估计量的路径是连续的,惩罚因子Q随着两组数据集信息的变化而改变,用交叉验证(Cross Validation)的方法确定最优的惩罚因子Q,随着样本容量的增加,样本偏差(Bias)和样本方差(Variance)逐渐降低。最终得出,本文提出的专家咨询约束下综合评价模型较传统主成分分析法和加权专家评价模型而言能够平衡客观数据集以及主观专家咨询信息集,此时,该权重估计量相较于主成分分析法和加权专家评价模型得到的权重具有更小方差的优良性质,更接近于真实权重,说明本文提出的方法具有一定的优越性。第二,专家咨询约束下综合评价指标模型可应用于各省科技活动产出综合评价问题,对我国31个省市科技活动产出绩效进行实证研究,在收集“专家权重”、“专家信任度”和“专家专业度”三个维度的专家信息集基础上,构建综合评价模型。该问题的综合评价对象为31个省市和5个客观数据指标,面对小样本的静态综合评价问题时,本文提出采用弃一交叉验证法(Leave-one-out Cross Validation)确定最优的惩罚因子Q。我们用LOOCV得到交叉验证均方误差呈现“V”型,权重估计量由客观数据指标和主观专家信息集共同决定。实证结果表明,77.42%的省份科技活动产出低于全国平均;北京与其他省份的差距最大,呈现出地区不平衡的特点。西部地区的陕西在全国平均值之上,重庆、四川、甘肃、青海也在前列水平,可见长期的西部大开发战略和一带一路战略为提升中西部省市的创新能力有着较大的贡献。第三,专家咨询约束下综合评价指标模型可应用于中国工业上市公司创新绩效评价问题。面对大样本的静态综合评价问题时,本文提出采用5-Folds交叉验证法(5-Folds Cross Validation)确定最优的惩罚因子Q,交叉验证均方误差呈现“V”字形,说明权重估计量由客观观测的1882家上市公司数据信息和25位专家主观信息的噪音共同影响,受客观数据的影响较主观专家信息较大。本文提出的方法在识别两组样本信息噪音的基础上构建综合评价模型,在一定程度上解决了传统赋权方法面临的“负权”问题。最后,由估计的权重可得出1882家上市公司的创新能力综合指数,并在行业分类和公司属性分类视角下分析企业创新能力综合水平。第四,面对短时间序列的综合评价问题时,专家咨询约束下综合评价模型与传统的主成分分析法不适用,本文提出用优化多重共线性问题的重复交易模型充分利用短时间序列的客观数据指标来构建综合指数。实证研究表明,该方法不仅有效解决变量缺失和模型内生性的问题,同时克服了综合评价方法样本量过小和样本选择偏差的问题,使得综合指数估计结果更加准确和全面地反映指数的波动。本文将重复交易模型构建动态综合评价模型应用于全国科技活动产出的综合评价,通过渐近理论确定足够小的k可行值,从而估计综合指数。通过与专家咨询约束下综合评价模型与传统主成分分析法比较,可以得到在处理动态综合评价时,重复交易法能充分利用客观数据信息,具有一定的优越性。