作者：王凯伟 周波 单位：湘潭大学公共管理学院
目前行政监督的研究多采用定性的分析方法,往往凭学识、经验、印象或跟着感觉走,缺乏数据支持和科学的分析测评,注重行政监督实效的宏观把握和审视,忽视微观和具体的数据分析,导致评估结果相对主观,难以体现出行政监督实效的真实状况。对此,笔者倡导应学习和借鉴地方政府绩效评估,将定量分析方法与定性分析方法有效结合,运用于行政监督研究领域。鉴于模糊综合评价法能将复杂问题简单化,适合于政治学领域问题的研究,本文采用模糊综合评价法对地方政府依法行政监督实施效果评估体系进行实证分析。
一、模糊综合评价法原理
模糊综合评价法(FuzzyComprehensiveEvaluation)是在综合考虑多种因素的作用下,运用模糊数学工具对某事物的性质或状态做出的综合判断和评价。[1]从这种意义上来说,模糊综合评价方法是一种定性与定量相结合的方法,它的原理就是将比较模糊的问题转化为具体的数据。对于地方政府行政监督实施效果评估指标体系来说,既包括定量指标,又包含定性指标,定量指标可以通过资料和数据的采集来获得,评估结果比较客观;而定性指标则需要通过一定的实证调查来获取所要评估的信息,评估结果比较模糊。这样就需要采用模糊综合评价方法来将这类指标评估的结果具体化。模糊综合评价法包含确定评价对象指标集、确定评价集、建立多因素评价、确定模糊评价矩阵等几个步骤。具体来说,模糊综合评价法的第一步是对每个评估指标做出“优秀”、“良好”、“一般”、“差”、“很差”或“高、中、低”等不同程度的定性判断;第二步是邀请专家对每项指标的权重进行打分;第三步将专家的评定分数代入构建的模糊综合评价模型中进行一定的数学运算,从而得出定量的结果;第四步则是将评估结果去对应评价集上的评语,确定评估等级。这种评估方法不管是多层评价还是单层评价模型,其中都有关键的两步骤:确定单因素评价矩阵R和计算模型评价子集B=A×R。模糊综合评价数学模型的构建步骤为:
第一,确定评价对象指标集。设评估指标体系共有m个指标,则评价对象的指标集合表示为U={U1,U2,…,Um},其中Ui(i=1,2,…,m)是评估对象的第i项指标。
第二,确定评价集。评价集是指对评估对象各种可能做出的评语的总的集合,如“优秀”、“良好”、“一般”、“差”、“很差”或“高、中、低”。设集合U每一个评语标志为Vj(j=1,2,…,m),则n个评语可以表示为V={V1,V2,…,Vn}。
第三,建立多因素评价。由于每个指标的重要性不同,就有必要对各指标的重要性进行赋值,确定各指标的重要性等级。多因素评价最重要的环节之一是确定各因素的权重,即指标体系权重集A。可以通过层次分析法计算权重,也可以通过专家赋值法确定权重。设由m个指标,每个指标的权重为ai(i=1,2,…,m),ai∈[0,1],则权重集表示为A={a1,a2,…,an},其中,a1+a2+…+an=1。当涉及需要从不同方面来综合评价某一事物时,得到的将是一个综合的评价结果,该结果仍是评语集合V这一论域上的一个模糊子集合B1,这就是综合评价问题。[2]因此,对于多因素评价来说,若评语集合为V,每一项指标的评估结果用Ri(i=1,2,…,n)来表示,则R1=r1(V1)+r2(V2)+…+rn(Vn),R1可以记做向量形式:B1=[r1,r2,…,rn],则对于包含m个指标的评估结果来说,B=(R1,R2,…,Rm),其中Rj∈[0,1](j=1,2,…,n),表示为第j指标的评估结果。
第四,确定模糊评价矩阵R。建立模糊评价模型之前,应先建立模糊评价矩阵R[3]:其中,rij(i=1,2,…,m;j=1,2,…,n)表示对于第i个指标做出第j种评语的可能程度,其值可以通过专家评分或层次分析法计算得出。最后,建立模糊综合评价的数学模型,进行综合评价。模糊综合评价法的关键就在于将评价集U上的一个模糊集合A经过模糊关系R变换为评语集合V这一论域上的一个模糊集合B[4],2,…,m;j=1,2,…,n),这就是模糊综合评价的数学模型。B也可以记为B=(b1,b2,…,bn)。模糊综合评价方法在政府绩效评估运用中能够使定性的评价得出量化的结果,而且在对各项指标评价之后可清楚明确地对其进行比较,得出各项指标的强弱。这有助于公共组织找出问题的根源,以提出有针对性的改进策略。[5]
二、地方政府依法行政监督实施效果评估体系的构建
模糊综合评价法是对既定的指标体系的评估结果进行一定的定量分析,根据数据分析的结果得出评估结论的一种分析方法。因此,评估结论是否科学、可靠,很大程度上取决于指标体系是否科学、合理和可行。地方政府依法行政监督实施效果评估指标体系构建是一个系统的工程,其步骤主要包括:
1.指标选样
在抽样调查的基础上,遵循依法行政监督实施效果评估指标体系构建的整体性、科学性、系统性、可测性等原则,分析影响依法行政监督实施效果的各种权变因子,如行政监督实施效果评估目的因子、行政监督机关工作职能因子、主客观条件因子、事物发展变化趋势因子、实施效果评估所需信息的数量和质量因子等,根据行政监督机关的职能和目标、层层分解影响依法行政监督实施效果的关键要素,以平衡计分卡为分析框架,从监督业绩、监督成本、内部管理、创新与发展这四个维度,本文构建了包括53项具体指标的依法行政监督实施效果评估指标体系。为保证指标体系的科学性与合理性,本文进行了实证调查,采用SPSS等统计软件对依法行政监督实施效果评估指标体系的有效性进行统计检验,采用剖面分析检验指标的平均值是否存在显著差异、采用单变量判定分析测量各项指标的有效程度、采用逐步回归分析寻求最佳测度指标组合等分析方法,删除了一些信度或效度较低的指标,进一步整合现有的依法行政监督实施效果评估指标,最终确定了37项信度和效度良好的依法行政监督实施效果评估指标,包括12项定性指标与25项定量指标,如图1所示。该评估指标体系包括目标层(一级指标)、领域层(二级指标)和具体指标(三级指标)。其中,Mn代指各项指标,指M层n项指标,其中M={A、B、C},表示有3层指标;n为各层指标的项目,表示第M层的1-n个项数。遵循依法行政监督实施效果评估的原则和目标,结合地方政府效能建设的基本要求,注重行政监督评估过程和结果应用,本文对各项指标进行了细化,以便调查研究资料的获取和收集,保证评估结果的准确性和可靠性。将监督业绩具体化为7个可测指标,监督成本分解为4个可评指标,内部管理内化为14个可量指标,创新与发展细化为12个可考指标。三级指标体系的结构及内涵,见表1。#p#分页标题#e#
2.指标体系有效性统计检验
地方政府依法行政监督实施效果评估指标体系仅通过比较主观的实证调查,仍然不能保证其科学性和合理性,还必须通过一定客观检验才能加以运用。对指标体系进行有效性统计检验的途径主要有信度和效度检验。指标效度指指标在多大程度上描述了评价对象的特征范畴并反映了评价目的。指标效度的评定主要通过经验判断进行,通过请熟悉测量内容的人员来评判,并确定指标与所需测量的内容范畴之间关系的密切程度。再测量法、折半信度法和克朗巴哈信度系数法是进行信度分析经常采用的方法,比较各种方法的优劣,本文采用克朗巴哈一致性系数(Cronbach)检验自编量表的信度。当Cronbach值大于0.7,表明数据可靠性较高;计量尺度中的项目数小于6个时,Cronbach值大于0.60,表明数据是可靠的;在探索性研究中,Cronbach值可以小于0.7,但应大于0.5。本次调研总量表的系数达到0.927。为进一步检验量表的重复度量效果和项目内在的相关性,再对量表进行了方差分析———F检验以及HotellingT2检验,得出:F=15.922,P<0.0001,说明该量表的重复度量效果良好;经HotellingT2检验可知,该量表的项目间平均得分的相等性很好,即项目具有内在的相关性,均表明该量表的可信度比较高。指标体系的信度是指指标数值在观测中测量结果的可靠性程度,是指标在多大程度上描述了评价对象的特征范畴并反映了评价目的。高信度的指标体系应该是指标之间独立、内部结构良好、指标关系一致的体系。在检测过程中,通过斯坦福大学柯隆巴克教授的内部一致性系数来观察评价指标信度。内部一致性系数能够准确地反映出评估指标的一致性程度和内部结构的良好性,是目前评估指标中使用最广泛的信度评价方法之一。本研究主要考察内容效度,即所选的题项能否代表所要测量的内容或主题。通常采用单项与总和相关系数法,计算每个题项分数与总和的相关系数,如果相关系数不显著,表示该项目鉴别力低;如果把这个题项纳入量表,实际测评被试者的态度将影响测量的准确性,则加以剔除。一般来说,相关系数的显著程度越高,量表的效度越高,宜采用皮尔逊相关系数来测量满意度调查问卷的内容效度。统计结果显示,本文在实证研究调查问卷的皮尔逊相关系数均在0.800以上,且均在0.01水平上显著相关,表明其内容效度是十分理想的。
3.确定指标体系权重
层次分析法是美国运筹学家T.L.Saaty在20世纪70年代提出来的,它是一种定性与定量分析相结合、系统化、层次化的多目标决策分析方法。其基本思路就是将组成复杂问题的多个元素权重的整体判断转变为对这些元素进行“两两比较”,然后再转化为对这些元素的整体权重进行排序判断,最后确立各元素的权重。与其它确定指标权重的定量分析方法相比,层次分析法思路清晰、计算简洁、可操作性强,最大的优点是可以处理定性和定量相结合的问题,可以将决策者的主观判断与政策经验导入模型,并加以量化处理。通过对判断矩阵进行一致性检验,减少了权重设置的主观随意性,提高了指标的信度和效度,降低了评估的难度。通过建立递阶层次结构(将所要研究的问题包含的因素从最高层、中间层到最底层构建一个递阶结构的模型)、构造两两比较判断矩阵(判断矩阵元素的值表示人们对各因素关于目标的相对重要性的认识)、层次单排序(根据某一层次各指标相对于上一层次指标的相对重要性的权重)及其一致性检验、层次总排序利用同一层次中所有层次单排序的结果,计算某一层次各因素相对上一层次所有因素的相对重要性的排序权值)和一致性检验等步骤计算出地方政府依法行政监督实施效果评估指标体系的权重,如表2。
三、模糊综合评价法在湖南省依法行政监督实施效果评估中的应用
本文在地方政府行政监督实施效果评估指标体系构建的基础上,将评估体系应用于湖南省14个地级市(州)的行政监督机关,以评估湖南省依法行政监督实施效果的现状。
1.湖南省依法行政监督实施效果评估具体过程为依法保证依法行政监督实施效果能够得到客观、科学的评估结论,本文主要通过问卷调查来实现评估:针对不同的评估主体设计了不同的两份问卷,各自考察各评估主体对行政监督机关的公众满意度。一份问卷是针对政府内部子系统,主要考量非承担行政监督职能的行政组织对行政监督机关的意见和态度,侧重统计性、技术性等客观性指标;另一份问卷则是针对社会评估子系统,主要考量社会大众对行政监督机关工作态度、依法、执法现状的满意度等,侧重主观性指标。本次评估共发放问卷500份,实际回收问卷463份,问卷回收率为92.6%,有效问卷为453份,有效率为90.6%。根据EXCEL对问卷的统计分析,发现样本的选取对象具有广泛性和针对性,调查对象的选取具有合理性和代表性。本次实证评估的主要做法有:(1)以湖南省纪委监察厅职责职能为基础,以湖南省纪委监察厅、市纪委监察局、县市区纪委监察局及其派出机构的工作实效为主要评估对象,按照公开透明、系统分析和典型剖析相结合、定量相结合的原则得出评估信息。(2)引入第三方评估,为评估主体注入新的元素。如以社会评估子系统(企事业单位、社会公众)的外部评估主体为主,结合政府内部子系统的评估得出评估结论,使评估主体的范围拓宽,评估过程更为公开、透明。(3)评估结果用综合绩效指数来衡量。根据评估指标体系,依次逐级算出评估指标体系的得分,最终得出地方政府依法行政监督实施效果评估的总得分。
2.基于模糊综合评价的湖南省依法行政监督实施效果评估结果由于湖南省有14个地级市(州),很难将所有地级市的评估过程都展现出来,故以某市为代表,介绍模糊综合评价法在地方政府行政监督实施效果评估中的应用。如前所述,湖南省依法行政监督实施效果评估指标体系共有37项指标体系,包括15项定性指标和22项定量指标。根据模糊综合评价的原理和步骤,可将该指标体系的定性指标进行模糊化处理。湖南省依法行政监督实施效果评估集U有15项,具体为U={U1(提升政府整体形象的作用程度),U2(开展工作热情程度),U3(年龄结构层次),U4(领导班子团队建设),U5(法律、制度的效度),U6(法律、制度的连续性与稳定性程度),U7(领导间沟通协调程),U8(信息处理水平),U9(信息的真实性与丰富性),U10(公众支持程度),U11(独立性程度),U12(报道广度和深度),U13(工作作风满意度),U14(执法状况满意度),U15(政民互动满意度)},而指标评语集V={V1(优秀),V2(良好),V3(一般),V4(差),V5(很差)}。表3为通过实证调查计算出的每项评估指标的评语。#p#分页标题#e#
四、结论
根据地方政府依法行政监督实施效果评估指标体系的构建过程和模糊综合评价法在湖南省行政监督机关实施效果评估中的具体应用,可得出以下结论:
1.模糊综合评价法等定量分析方法可以运用于政治学研究领域一般认为,定量分析方法多用于工科、理科领域,很难在文科领域产生实质性影响。但本文不仅将企业绩效评估中运用的方法移植到地方政府依法行政监督实施效果评估中,而且运用这些方法得出了确切的研究结论,丰富和深化了定量分析方法。如以企业的平衡计分卡为分析框架,从监督业绩、监督成本、内部管理、创新与发展维度这四个维度构建了一套包括37项指标的多层指标体系;运用SPSS统计软件进行依法行政监督实施效果评估的信度与效度检验;采用层次分析法计算依法行政监督实施效果评估指标体系各指标之间的权重;采用模糊综合评价法对依法行政监督实施效果评估进行分析,取得了确切的评估结论。这就充分说明诸如层次分析法、模糊综合评价等定量分析的方法,不但可以运用于政治学领域,拓宽政治学理论研究的视野,而且可以将政治学抽象、复杂的问题转化为具体、简单的问题。因此,在以后政治学研究过程中,应注意拓宽研究思路,转变研究视角,将多种学科知识融会贯通,使研究成果更加丰富和科学。
2.目前地方政府依法行政监督实施效果不够理想由模糊综合评价法计算出的湖南省依法行政监督实施效果评估结论可知,所有地级市(州)的评估结果都在“一般”水平,每个地级市(州)的评估结果相差不大。评估结果最好的地级市0.5933,比评估结果最差的地级市0.4301,只高0.1632,这离依法行政监督实施效果评估“良好”的水平相差胜远。这一方面说明了地方政府依法行政监督实施效果确实很差,另一方面说明了评估指标体系存在一定的问题。若是前者的原因,地方政府各级行政监督机关就要重视实施效果不理想这一现状,认真分析影响依法行政监督实施效果的各种影响因子,确定行政监督组织的总目标和行政监督者地子目标等,有层次有步骤的采取一定的措施,改善依法行政监督实施效果较差这一现状,逐渐提高公众满意度。而如果是后者的原因,则要从依法行政监督实施效果评估的指标体系构建、评估具体实施、结果运算等过程全面的检查,找出症结所在,不断测算指标体系的信度和效度,从而提高依法行政监督实施效果评估指标体系科学性、合理性和可行性。
3.地方政府依法行政监督实施效果评估要选择应用评估不是目的,而只是促使绩效改善的手段之一。地方政府依法行政监督实施效果评估起到了一定的作用:它考察了行政监督机关的目标体系,分析了影响行政监督机关实施效果的各种影响因子,对行政监督机关的“依法”、“实施效果”进行了重点的阐述和考评,对地方政府依法行政监督实施效果现状作出了确切的评估。这对于各个地级市(州)来说,可根据评估结论准确定位自身位置、找出薄弱环节、看到现实差距、采取相应措施,确实具有积极的现实意义。但评估不是万能的,不能解决所有的问题,而且在评估过程中也产生了一定的问题。地方政府依法行政监督实施效果评估指标体系,虽经过了大量的实证分析,进行了信度和效度检验,但将其应用于湖南省依法行政监督实施效果评估中仍遇到了一些障碍,如信息采集难度大、成本高、监督对象不配合等问题。地方政府依法行政监督实施效果评估是行政监督领域的一种尝试,还不够成熟和科学,也没有构建起真正意义上的评估模型,因此,在应用过程中,必须针对实际情况,有选择的应用评估体系,保证评估数据的采集量、争取评估对象的支持度、确保评估流程的通畅化。
