International Open Access Journal Platform

教育评估和教育质量评价是保障高等教育质量的重要手段，并成为推动高校教育改革的重要指标。美国的高等教育评估结果作为政府的决策参考，在不同程度上影响着高等院校的发展［1］。澳大利亚的评估占据重要地位，其职业教育的质量管理执行国家资格框架，各州在国家资格框架指导下，结合本州的实际情况制定出本州的质量制度[2]。我国相关研究中，张磊对补入汽车排长岗位的毕业学员进行的研究分析，其成果应用于军委机关组织的军交运输专业人才培养质量评估工作[3]。

人才培养质量评估可为人才培养反馈提供科学性的资料。不同国家在评估指标体系和权重虽然不同，但仍可将指标分别归入高等教育人才培养、知识创新、社会服务三大功能[4]。国外高校人才培养质量评估体系发展已有上百年的历史，近年来，该体系主要呈现出评估主题趋于多元化，评估组织趋于国际化的特点[3]。而国内在人才培养质量方面的工作目前集中在高等教育人才培养评估体系的模型建构上。由于不同军种，不同岗位下军人所承担的职责不同，军校所培养的学员在培养对象、培养目标、培养方向、培养方式等方面具有较大差异性。因此对于军校学员培养质量的研究往往很难一概而论，需根据各项指标进行细致划分。如培养对象可分为士官[5]、本科生[6]、硕士研究生［7，8］；培养模式涉及“合训分流”等新型组训方式[9]，培养方向涉及科学工程技术类[6]、临床医学类[7]、思想政治教育[10]等，评价方式如在校学生、毕业学员、就业的所在单位评价等。然而，目前针对军校毕业学员的质量追踪调查研究中关于武警院校的数据较少。因此，武警院校办学质量如何，对学员培养是否符合基层实际需求，需要进行进一步探索。本研究参考国内李思的研究[6]，以军校本科学员人才培养质量评估指标体系为依据，结合武警的职能特点，初步形成了毕业学员培养质量调查问卷他评问卷和毕业学员对毕业学院培养质量自评调查问卷，问卷采用七点计分。

1 研究设计

1.1 研究方法

本研究采用问卷调查法。以管理人员和毕业学员为评价主体，设计两套调查问卷，通过自评和他评两种方式进行了质量追踪实测调查，获取毕业学员在基层的综合表现情况。

毕业学员培养质量调查问卷他评问卷一级指标设计为：思想政治、科学文化、军事基础、专业业务、首次任职、身体心理。毕业学员对毕业学院培养质量自评调查问卷一级指标设计为：办学思想与领导作用、教学建设与改革创新、质量保证与教学效果。

1.2 研究对象

本文采用自评和他评的方式对武警院校毕业学员培养质量进行评价。教学能力他评问卷由基层管理人员完成，自评问卷由武警警官学院已毕业学员完成。进行他评问卷调查的基层部队的管理人员共172人，其中军龄为5—9年的人有105人，军龄为10—20年的人有67人。参与自评问卷的武警警官学院毕业的学员190人，其中军龄为5—9年的人有71人，军龄为10—20年的人有44人。

1.3 研究假设

假设一：毕业学员培养质量调查问卷他评问卷和毕业学员对毕业学院培养质量自评调查问卷信效度良好。

假设二：武警警官学院培养的毕业学员质量处于中等偏上。

2 毕业学员培养质量调查问卷的编制

2.1 毕业学员培养质量调查问卷他评问卷

2.1.1 验证性因子分析

本研究对毕业学员培养质量调查问卷他评问卷采用验证性因子分析（confirmatory factor analysis，CFA）（见图1），通过模型拟合情况来对问卷的效度进行考评[11]。

图1 毕业学员培养质量调查问卷他评问卷验证性因素分析模型图

Figure 1 Confirmatory factor analysis model of the other-report Questionnaire of Graduates’ Training Quality

在验证性因子分析中，因子载荷量即标准化的路径系数，代表的是共同因子对观测变量的直接影响。从因子载荷量的数值可以了解各测量变量对潜在变量的相对重要性，其值越大，观测变量就越能有效反映其要测得的构念特质（维度）。本研究中，我们以六维度为潜变量，以题项为观测变量进行验证性因子分析，如表1所示。结果表明各题目因子载荷系数均>0.45，证明了六因素相对应题目与最初假设相符，题项A1-A7、A8-A15、A16-A19、A20-A23、A24-A29，A30-34分别能较好地反映其要测量的思想政治 、科学文化、军事基础、专业业务、首次任职、身体心理六个维度。说明六因素模型是可取的。

表1 毕业学员培养质量调查问卷他评问卷因子分析

Table 1 Factor Analysis of the other-report Questionnaire of Graduates’ Training Quality

因子载荷系数
题项	思想政治	科学文化	军事基础	专业业务	首次任职	身体心理
A1	0.744
A2	0.756
A3	0.676
A4	0.823
A5	0.876
A6	0.75
A7	0.736
A8		0.839
A9		0.723
A10		0.71
A11		0.835
A12		0.849
A13		0.877
A14		0.825
A15		0.753
A16			0.783
A17			0.822
A18			0.764
A19			0.824
A20				0.818
A21				0.837
A22				0.901
A23				0.886
A24					0.824
A25					0.868
A26					0.785
A27					0.847
A28					0.889
A29					0.847
A30						0.82
A31						0.769
A32						0.716
A33						0.811
A34						0.853

卡方自由度比是直接检验样本协方差矩阵和估计协方差矩阵间的相似程度的统计量，它的理论期望值一般为2-3。绝对适配度指数采用近似误差均方根（root mean square error of approximation，ＲMSEA），RMSEA≤0.1表明拟合合理。NNFI非赋范拟合指数（Non-Normed-fit Index，NNFI）、拟合优度指数（goodness-of-fit index，GFI）、比较拟合指数（comparative fit index，CFI）、增值适配指数（ incremental fit index，IFI）的值通常在０和１之间，越大越好[11]，当它们的值大于0.90时认为模型具有较好的拟合度，表2模型分析结果显示，卡方自由度比χ2/df为1.851，低于3，表示模型可以接受。NNFI、CFI、IFI值分别为0.835、0.852、0.854，表明拟合度一般，而GFI值为0.616，未达到良好拟合度指标。本研究结果显示模型拟合总体一般，在后续研究中应进一步优化。

表2 自评问卷模型拟合优度指标（采用首测数据）

Table 2 Goodness of fit index of other-report questionnaire model (using the first test data)

χ2/df	RMSEA	NNFI	GFI	CFI	IFI	NFI
1.851	0.099	0.835	0.616	0.852	0.854	0.726

从表3可知，问卷六个维度对应的平均方差提取值（Average Variance Extracted，AVE）均大于0.5，且建构信度（Construct Reliability，CR）均高于0.7，意味着本次分析数据具有良好的聚合（收敛）效度。

表3 他评问卷模型AVE和CR指标

Table 3 AVE and CR indexes of other-report questionnaire model

	AVE值	CR值
思想政治	0.584	0.907
科学文化	0.636	0.933
军事基础	0.637	0.874
专业业务	0.737	0.917
首次任职	0.707	0.935
身体心理	0.630	0.894

2.1.2 信度分析

通过对初测结果进行统计分析，对毕业学员培养质量调查问卷他评问卷34项题目进行信度检验，结果如表4所示，总量表克隆巴赫α系数为0.979，各维度克隆巴赫α系数在0.871至0.934之间。统计结果均表明本问卷具有良好的信度，达到心理测量学标准。

表4 他评问卷信度

Table 4 The reliability of other -report questionnaire

维度	克隆巴赫Alpha系数	项数
总量表	0.979	34
思想政治	0.904	7
科学文化	0.931	8
军事基础	0.871	4
专业业务	0.915	4
首次任职	0.934	6
身体心理	0.896	5

2.2 毕业学员对毕业学院培养质量自评调查问卷

2.2.1 验证性因子分析

初测的验证性因子分析结果表明，B4因子载荷系数为0.282，B6因子载荷系数为0.339，B14因子载荷系数为-0.332，B16因子载荷系数为0.271，B24因子载荷系数为0.175，其标准载荷系数值较低（比如低于0.4），则说明该项与潜变量间关系弱，因此移除这5个项目，调整后的模型见图2。

图2 毕业学员培养质量调查问卷自评问卷验证性因子分析模型图

Figure 2 Confirmatory factor analysis model of the self-report Questionnaire of Graduates’ Training Quality

调整后的因子载荷系数如表5。数据表明B1、B2、B3、B5、B7能较好地反映办学思想与领导作用维度，B8、B9、B10、B11、B12、B13、B15能较好地反映教学建设与改革创新维度，B17-B23能较好地反映质量保证与教学效果维度，证明3因素模型可取。

表5 毕业学员培养质量调查问卷自评问卷因子分析

Table 5 Factor Analysis of the self-report Questionnaire of Graduates’ Training Quality

因子载荷系数
题项	办学思想与领导作用	教学建设与改革创新	质量保证与教学效果
B1	0.921
B2	0.933
B3	0.855
B5	0.877
B7	0.798
B8		0.876
B9		0.884
B10		0.835
B11		0.8
B12		0.843
B13		0.713
B15		0.752
B17			0.807
B18			0.86
B19			0.772
B20			0.816
B21			0.87
B22			0.866
B23			0.744

表6模型拟合指标结果显示，卡方自由度比χ2/df为3.063，略高于3；RMSEA值为0.104，略高于0.1；GFI值为0.770，未达到良好拟合度指标[12]。NNFI、CFI、IFI值分别为0.907、0.919、0.919，达到良好拟合度标准。本研究结果显示模型拟合总体一般，部分指标与良好指标存在差距，但差距较小，可在后续研究中对问卷进行修改以便更符合标准。

表6 自评问卷模型拟合优度指标

Table 6 Goodness of fit index of self-report questionnaire model

χ2/df	RMSEA	NNFI	GFI	CFI	IFI	NFI
3.063	0.104	0.907	0.770	0.919	0.919	0.884

表7显示，3个因子对应的AVE值全部大于0.5，且CR值全部均高于0.7，意味着本次分析数据具有良好的聚合（收敛）效度。

表7 自评问卷模型AVE和CR指标

Table 7 AVE and CR indexes of self-report questionnaire model

	AVE	CR值
办学思想与领导作用	0.800	0.941
教学建设与改革创新	0.663	0.940
质量保证与教学效果	0.677	0.936

2.2.2 信度分析

通过对初测结果进行统计分析，对毕业学员对毕业学院培养质量自评调查问卷的19项题目进行项删除后的克隆巴赫α系数检测，结果如表8所示。总问卷克隆巴赫α系数为0.980，各维度克隆巴赫α系数均高于0.9。统计结果均表明，该问卷具有良好的信度，达到心理测量学标准。

表8 自评问卷信度

Table 8 The reliability of self-report questionnaire

维度	克隆巴赫Alpha系数	项数
总量表	0.980	19
办学思想与领导作用	0.939	5
教学建设与改革创新	0.946	7
质量保证与教学效果	0.958	7

3 问卷测量结果

3.1 毕业学员培养质量调查问卷他评问卷

由表9可知，管理人员描述性统计：基层管理人员认为武警警官学院培养的军人其思想政治的能力和素质都最为过硬，在科学文化和专业业务能力上需要进一步的提高。

表9 毕业学员培养质量调查问卷他评问卷描述性统计（M±SD）

Table 9 Descriptive statistics of the other-report Questionnaire of Graduates’ Training Quality (M±SD)

思想政治	科学文化	军事基础	专业业务	首次任职	身体心理
5.302±0.967	4.722±0.981	5.115±0.880	4.701±1.048	5.021±0.852	5.162±0.914

3.2 毕业学员培养质量调查问卷自评问卷

从表10可知，我院毕业学员对我院的办学满意度的调查中，质量保证与教学效果得分最高，办学思想与领导作用还有提升的空间。

表10 毕业学员对毕业学院培养质量自评调查问卷描述性统计（M±SD）

Table 10 Descriptive statistics of the self-report Questionnaire of Graduates’ Training Quality (M±SD)

办学思想与领导作用	教学建设与改革创新	质量保证与教学效果
5.177±1.153	5.330±0.816	5.436±1.019

4 分析与讨论

当前有关武警部队院校毕业学员素质的研究数量有限，更缺乏科学有效的测量问卷来对武警部队院校办学水平与培养质量进行评估。基于对前人研究的总结，为制定精准全面的测量工具，采用他评与自评问卷相结合的方式进行问卷编制。

毕业学员培养质量调查问卷他评问卷将基层部队管理人员对其下属武警警官学院毕业学员在基层工作中的表现评价确立为6个维度进行，分别为思想政治、科学文化、军事基础、专业业务、首次任职、身体心理。在正式问卷施测后，对数据进行验证性因素分析，结果基本与事先的理论构想相吻合，证实他评问卷六维度模型具有较高接受度。验证性因素分析结果表明模型的各项拟合指标基本达到标准，即结构效度基本合格。在信度分析方面，他评问卷的总体克隆巴赫α系数为0.978，分半信度0.961，六个维度与问卷总体的内部一致性较好，这表明该问卷具有较好的信度。

毕业学员对毕业学院培养质量自评调查问卷共3个维度，分别为办学思想与领导作用、教学建设与改革创新与质量保证与教学效果。根据数据分析结果，删除个别题项，最终模型与问卷的初始理论模型的因子数目和因子结构基本相同，拟合指数基本符合要求，说明最终问卷结构效度基本达标。而信度分析方面，自评问卷的三个维度与总体克隆巴赫α系数均在0.939至0.958之间，表明问卷信度较高。

因而综合分析结果表明，毕业学员培养质量调查问卷他评问卷和毕业学员对毕业学院培养质量自评调查问卷均达到测量学要求，可以作为评估军队院校学员培养质量的有效工具。

对毕业学员培养质量调查问卷他评问卷和毕业学员对毕业学院培养质量自评调查问卷正式施测结果的描述性统计分析可得，基层管理人员认为武警警官学院培养的学员其思想政治方面最为过硬。武警警官学院毕业学员对该院的办学满意度中质量保证与教学效果的满意度最高。

5 结论

毕业学员培养质量调查问卷他评问卷和毕业学员对毕业学院培养质量自评调查问卷均达到测量学要求，可以作为评估军队院校学员培养质量的有效工具。

以武警警官学院毕业学员为对象进行调查，结果表明基层管理人员认为武警警官学院培养的学员其思想政治方面最为过硬。武警警官学院毕业学员对该院的办学满意度中质量保证与教学效果满意度最高。

参考文献

[1] 艳玮．我国普通高校人才培养质量保障的问题与对策研究［D］．华中师范大学教育学院，2014．

[2] 彭友．高等职业院校教学工作评估的研究［D］．天津大学，2009．

[3] 张磊．后勤专业院校人才培养质量评估研究［D］．合肥工业大学，2012．

[4] 金莉．高等教育质量评估指标体系研究［D］．西南大学，2011．

[5] 张鹏．士官教育质量评估内容与方案研究［D］．山东师范大学，2006．

[6] 李思．军校本科学员人才培养质量评估指标体系研究——以某科技大学科学和工程技术类为例［J］．教育教学论坛，2018，357（15）：200-203．

[7] 任岫，扈国栋．军队临床医学硕士质量评价体系构建［J］．解放军医院管理杂志，2011，18（6）：569-570．

[8] 邹宏新，孟梅，黄明球．军校研究生评价体系研究［J］．高等教育研究学报，2013，36（10）：21-23．

[9] 任亮．学历教育合训学员综合素质培养问题分析及对策研究［D］．国防科学技术大学，2010．

[10] 刘克振，李玉娟，李晓洁，等．构建军校学员思想政治教育质量监测和评估指标体系［J］．武警学院学报，2010，26（5）：77-80．

[11] 侯杰泰，温忠麟，成子娟．结构方程模型及其应用（附光盘）［M］．北京：教育科学出版社，2006：177-185．

[12] Plichta M．Munro’s Statistical Methods for Health Care Research［J］．Lippincott Williams & Wilkins，2012．