Current Views: 419362
Current Downloads: 453913
Education Study
ISSN Print:2707-0611
ISSN Online:2707-062X
Contact Editorial Office
Subscribe to the latest published information from SCISCAN
基于IPA-模糊综合评价的实验课程教学质量评价研究
Research on the Evaluation of Teaching Quality of Experimental Courses Based on IPA-Fuzzy Comprehensive Evaluation
- Authors: 覃琳 熊晓琳 董元发
-
Information:
三峡大学机械与动力学院，宜昌
-
Keywords:
IPA; Fuzzy comprehensive evaluation; Experimental courses; Quality evaluationIPA; 模糊综合评价; 实验课程; 质量评价
- Abstract: In response to the current issue that the evaluation indicators for experiment-al teaching generally draw on the theoretical course model, this paper proposes a student-centered experimental teaching evaluation index system. Taking the course “Mechanical Design Experiment” as an example, an in-depth survey was conducted on the importance and satisfaction of various indicators from the students’ perspective. Based on the results of the importance questionnaire, the weights of each evaluation indicator were determined using the Analytic Hierarchy Process (AHP); based on the satisfaction questionnaire results, the students’ satisfaction with the experimental course was evaluated through the fuzzy comprehensive evaluation method, and the results showed a general level. To more intuitively display the evaluation results and directions for improvement, a four-quadrant diagram was drawn, and the IPA method was used to analyze the need to improve the advancement of experimental equipment and enhance the attractiveness of the course. The research not only provides specific guidance for the optimization of the “Mechanical Design Experiment” course but also offers beneficial references for the teaching quality evaluation of other experimental courses. 针对当前实验教学评价指标普遍借鉴理论课模式的问题，本文提出了一套以学生为中心的实验教学评价指标体系。以“机械设计实验”课程为例，就学生对各项指标的重要性与满意度进行了深入调查。基于重要性问卷结果，采用层次分析法确定了各项评价指标的权重；基于满意度问卷结果，通过模糊综合评价法，得出了学生对该实验课程的满意度评价，结果显示为一般水平。为更直观地展现评价结果与改进方向，绘制了四分象限图，利用IPA方法分析显示需改进实验设备的先进性并提升课程的吸引力。本研究不仅为“机械设计实验”课程的优化提供了具体的指导方向，也为其他实验课程的教学质量评价提供了有益的参考。
- DOI: https://doi.org/10.35534/es.0604128
- Cite: 覃琳，熊晓琳，董元发．基于IPA-模糊综合评价的实验课程教学质量评价研究［J］．教育研讨，2024，6（4）：966-974．
在当前高等教育改革的关键时期，中国教育部于2019年发布了《关于深化本科教育教学改革全面提高人才培养质量的意见》，指出要完善高校内部教学质量评价体系，建立以本科教学质量报告、学院本科教学评价、专业评价、课程评价、教师评价、学生评价为主体的全链条多维度高校教学质量评价与保障体系。高校要构建自觉、自省、自律、自查、自纠的大学质量文化，将其作为推动大学不断前行、不断超越的内生动力，将质量意识、质量标准、质量评价、质量管理等落实到教育教学各环节，内化为师生的共同价值追求和自觉行动。紧随其后，2020年教育部又颁布了《深化新时代教育评价改革总体方案》，指出“有什么样的评价指挥棒，就有什么样的办学导向。”探索建立应用型本科评价标准，突出培养相应专业能力和实践应用能力。进一步明确了教育评价改革的方向和目标。这两份文件共同构成了新时代本科教育质量提升的政策框架，强调了教学质量评价在提高教育质量和培养创新型人才中的核心作用。
在现行的高校实验教学质量评价体系中，一个显著的问题是过分强调教师的教学表现和实验成果的量化指标，而忽视了学生反馈的重要性。这种倾向可能导致评价结果无法全面反映教学质量的真实情况，因为学生的学习体验、感受和满意度是衡量教学质量的关键因素之一。学生是教学活动的直接参与者，他们对教学内容、教学方法、实验设施和课程组织等方面有着直观的感受和评价[1]。如果这些宝贵的一手信息未能得到充分的收集和分析，那么教学质量评价就可能失去其应有的指导意义和改进价值。因此，高校应当重视并积极整合学生反馈，将其作为评价教学质量的一个重要维度，以促进教学方法的改进和实验课程质量的提升。本文改进实验教学质量评价，设立了以学生为中心的评价指标。包括了对学生技能提升感知的评估，确保学生能够明确地认识到他们通过实验教学所获得的进步和成长。同时，强调了教师指导的清晰度和响应的及时性，以及教师与学生之间互动的频率，这些都是提升学习体验和教学效果的关键因素。此外，提出了对实验内容相关性和实用性的评估，这有助于确保实验教学与学生的未来职业发展紧密相连，提高学生对课程价值的认识。通过对课程管理规范性和创新性的考量鼓励教学方法和内容的持续更新，以适应不断变化的教育需求和行业趋势。总体而言，改进措施不仅丰富了实验教学质量评价的维度，还提高了评价的针对性和实用性，使其更加符合学生的实际需求和未来发展。通过这些综合性的改进，实验教学质量评价将更加全面地反映教学活动的效果，为教学质量的提升和学生能力的全面发展奠定坚实的基础。
1 实验课程教学质量评价指标体系构建
从实验教学的特点来看，它不同于课堂理论教学。理论课督导对课堂教学质量的评价主要是针对教师的，即对课堂教学设计、教学知识结构、教学方法及手段、讲课基本功等方面进行监察和考评。而实验教学则受多重因素影响，除教师讲课水平外，实验仪器、实验场地、教学环境、保障设施、实验室管理等均会影响教学效果。因此，与理论教学相比，实验教学的质量监控和考核更为困难，完全套用理论教学督导方式来评价实验教学质量是不太合适的。结合学校机械类本科实验教学的实际情况，同时借鉴现有实验教学质量评价指标体系研究成果基础［2-4］，构建了“机械设计实验”课程教学质量评价指标体系（如表1所示）。
表 1 教学质量指标体系
Table 1 Teaching quality index system
|
项目 |
评价指标 |
指标内涵 |
|
实验内容与学习成效 |
实验内容的相关性 |
实验是否与我所学专业紧密相关。 |
|
实验的实用性 |
实验是否有助于我将理论知识应用于实践中。 |
|
|
技能提升感知 |
通过实验，我是否感觉自己的技能得到了提升。 |
|
|
教师指导与支持 |
教师指导的清晰度 |
教师是否清晰、明确地指导了实验步骤和操作。 |
|
教师响应的及时性 |
当我有问题时，教师是否及时给予解答。 |
|
|
教师互动的频率 |
教师在实验过程中与学生互动的频率如何。 |
|
|
实验环境与设备 |
设备的先进性 |
设备在技术、功能、性能等方面相较于同类产品所展现出的卓越性和领先地位。 |
|
设备的可用性 |
实验所需的设备是否容易获取并使用。 |
|
|
实验室的安全性 |
实验室的安全措施是否到位，让我感觉安全。 |
|
|
实验环境的舒适度 |
实验室的环境是否舒适，比如温度、照明等。 |
|
|
实验报告的 |
报告要求的明确性 |
实验报告的要求是否明确，没有歧义。 |
|
反馈的质量 |
我收到的实验报告反馈是否有助于我改进。 |
|
|
反馈的及时性 |
我收到实验报告反馈的速度如何。 |
|
|
课程组织与管理 |
实验课程的连贯性 |
实验课程是否与理论课程和其他实验课程保持连贯。 |
|
实验时间的安排 |
实验课程的时间安排是否合理，是否方便我安排其他学习或活动。 |
|
|
课程管理的规范性 |
实验课程的签到、考勤等管理是否规范。 |
|
|
课程的整体满意度 |
课程的创新性 |
这门实验课程的创新性。 |
|
课程的吸引力 |
这门实验课程是否吸引我投入更多的时间和精力。 |
|
|
课程对未来职业的帮助 |
我认为这门实验课程对我未来职业发展有多大帮助。 |
2 问卷调查
基于指标体系设计重要性和满意度的调查问卷。评价刻度采用了五级标准的李克特量表。本文在建立“机械设计实验”教学模糊评价等级时，参考理论教学质量评价等级划分标准，最终建立的评价等级分为5级，即V1={非常重要，重要，一般，不重要，非常不重要}和V2={非常满意，满意，一般，不满意，非常不满意}，“非常重要”“重要”“一般”“不重要”“非常不重要”分别对应的数字是5、4、3、2、1，“非常满意”“满意”“一般”“不满意”“非常不满意”分别对应的数字是5、4、3、2、1。为获得真实数据，通过线上和线下两种方式进行问卷调查，受访对象包括大三年级机制、机电、成型专业的学生，共计发放问卷257份，回收有效问卷235份，有效回收率占比91.4%。通过SPSS 22.0软件对重要性和满意度量表分别进行均值和标准差分析。结果如表2所示。
表 2 观测指标重要性和满意度统计结果
Table 2 Statistical results of the importance and satisfaction of observation indicators
|
指标 |
重要性 |
满意度 |
|||||
|
均值 |
标准差 |
排序 |
均值 |
标准差 |
排序 |
||
|
实验内容与学习成效 |
C1实验内容的相关性 |
4.67 |
0.67 |
5 |
4.47 |
0.69 |
6 |
|
C2实验的实用性 |
4.65 |
0.61 |
6 |
4.18 |
1.00 |
11 |
|
|
C3技能提升感知 |
4.77 |
0.56 |
3 |
3.92 |
1.03 |
13 |
|
|
教师指导与支持 |
C4教师指导的清晰度 |
4.26 |
0.89 |
8 |
4.47 |
0.69 |
6 |
|
C5教师响应的及时性 |
4.16 |
0.86 |
10 |
4.60 |
0.72 |
2 |
|
|
C6教师互动的频率 |
3.37 |
0.65 |
19 |
4.60 |
0.71 |
2 |
|
|
实验环境与设备 |
C7设备的先进性 |
4.79 |
0.41 |
2 |
2.94 |
0.54 |
18 |
|
C8设备的可用性 |
4.77 |
0.56 |
3 |
4.13 |
0.91 |
12 |
|
|
C9实验室的安全性 |
4.02 |
0.85 |
11 |
4.52 |
0.71 |
5 |
|
|
C10实验环境的舒适度 |
3.84 |
0.94 |
14 |
4.64 |
0.68 |
1 |
|
|
实验报告的要求与反馈 |
C11报告要求的明确性 |
4.02 |
0.79 |
11 |
4.26 |
0.86 |
10 |
|
C12反馈的质量 |
3.81 |
0.93 |
15 |
3.63 |
0.63 |
14 |
|
|
C13反馈的及时性 |
3.88 |
0.95 |
13 |
3.02 |
0.59 |
17 |
|
|
课程组织与管理 |
C14实验课程的连贯性 |
3.47 |
0.79 |
18 |
4.53 |
0.76 |
4 |
|
C15实验时间的安排 |
3.6 |
0.87 |
17 |
4.44 |
0.85 |
9 |
|
|
C16课程管理的规范性 |
3.65 |
0.89 |
16 |
4.47 |
0.90 |
6 |
|
|
课程的整体满意度 |
C17课程的创新性 |
4.21 |
0.82 |
9 |
3.07 |
0.70 |
16 |
|
C18课程的吸引力 |
4.58 |
0.62 |
7 |
2.90 |
0.51 |
19 |
|
|
C19课程对未来职业的帮助 |
4.86 |
0.41 |
1 |
3.33 |
0.82 |
15 |
|
2.1 信度分析
对有效问卷采用Cronbach α系数进行信度检验，具体计算公式如下：
（1）
式中：q表示发放的总问卷数；pi2表示第i个题目的题内方差；pt2代表全体问卷总得分方差。其中，Cronbach α系数的取值为［0，1］。当α系数大于0.6时，通常认为测量具有内部一致性；而当α系数在0.8～0.9，说明量表的信度较高。经过对问卷中的重要性和满意度量表进行信度检验，检验结果均为0.919>0.6，说明问卷数据具有较高的信度。
2.2 效度分析
采用因子分析对问卷结构效度进行检验。开始因子分析前需要进行采样充足性检验（KMO）和Bartlett球度检验，且KMO取值为［0，1］。分析KMO值，如果大于0.8，则说明效度高；如果KMO值在0.7～0.8，说明效度较好；如果在0.6～0.7，说明效度可接受；如果此值小于0.6，则说明效度不佳。对问卷中的重要性和满意度量表进行效度检验，检验结果KMO值均为0.92>0.6，效度水平较高。
3 评价权重确立
为了科学评判评价指标的权重，采用了层次分析法。这一方法基于重要性问卷的结果，首先计算各指标的平均分。随后，根据平均分的相对大小，将这些分数映射到1-9的标度上，其中1表示两个因素同等重要，9表示一个因素相对于另一个因素极其重要，中间的数字则代表了不同程度的相对重要性（如表3所示）。通过这种1-9标度的映射进行权重计算，确保了各指标权重的准确性和科学性。
表 3 1-9标度含义及映射关系
Table 3 Meaning and mapping relationships of the 1-9 scale system
|
平均分相对大小 |
标度 |
含义 |
|
1.0-1.1 |
1 |
元素i与元素j同等重要 |
|
1.1-1.2 |
3 |
元素i与元素j稍微重要 |
|
1.2-1.3 |
5 |
元素i与元素j明显重要 |
|
1.3-1.4 |
7 |
元素i与元素j强烈重要 |
|
1.4-1.45 |
9 |
元素i与元素j极端重要 |
|
2、4、6、8 |
上述两者相邻判断的中间值 |
|
|
倒数 |
上述两者判断的相反值 |
3.1 相对权重确立及一致性检验
（1）构造判断矩阵。根据上述重要性程度比较与打分，从而得到各层次的判断矩阵
。其中，元素
指同一层次下指标i与指标j的相对重要性程度。
（2）各层次排序。记判断矩阵A的最大特征根为λmax，并记各指标相对上一层某指标的归一化相对重要程度即权重向量为
。利用和积法计算
，计算公式如下：
（2）
（3）
（4）
（3）一致性检验。对判断矩阵A进行一致性检验，引入随机一致性指标CI，数值越小说明判断矩阵一致性越高，数值越大说明专家对指标的相对重要度分歧越大。然后，引入一致性比率CR，当CR≤0.1时，判断矩阵符合一致性标准。计算公式如下：
（5）
（6）
3.2 绝对权重确立及一致性检验
计算准则层相对于目标层各指标的权重，在此基础上对指标层各指标的相对权重进行加权，最终得到指标层各指标相对于目标层的绝对权重，其一致性检验公式如下：
（7）
按照上述计算步骤得到实验教学评价指标体系权重如表4所示。一致性检验结果如表5所示。
表 4 评价指标体系权重结果
Table 4 Weight results of the evaluation index system
|
目标层 |
准则层 |
权重（%） |
指标层 |
权重（%） |
|
实验教学质量 |
实验内容与学习成效 |
28.803 |
实验内容的相关性 |
9.388 |
|
实验的实用性 |
9.388 |
|||
|
技能提升感知 |
10.027 |
|||
|
教师指导与支持 |
10.023 |
教师指导的清晰度 |
5.157 |
|
|
教师响应的及时性 |
3.829 |
|||
|
教师互动的频率 |
1.037 |
|||
|
实验环境与设备 |
25.904 |
设备的先进性 |
10.14 |
|
|
设备的可用性 |
10.14 |
|||
|
实验室的安全性 |
3.345 |
|||
|
实验环境的舒适度 |
2.279 |
|||
|
实验报告的要求与反馈 |
7.978 |
报告要求的明确性 |
3.345 |
|
|
反馈的质量 |
2.222 |
|||
|
反馈的及时性 |
2.411 |
|||
|
课程组织与管理 |
4.094 |
实验课程的连贯性 |
1.115 |
|
|
实验时间的安排 |
1.461 |
|||
|
课程管理的规范性 |
1.518 |
|||
|
课程的整体满意度 |
23.196 |
课程的创新性 |
4.262 |
|
|
课程的吸引力 |
8.016 |
|||
|
课程对未来职业的帮助 |
10.918 |
表 5 一致性检验结果
Table 5 Consistency test results
|
最大特征根 |
CI值 |
RI值 |
CR值 |
一致性检验结果 |
|
19.636 |
0.035 |
1.621 |
0.022 |
通过 |
最大特征根为19.636，根据RI表查到对应的RI值为1.621，因此CR=CI/RI=0.022<0.1，通过一次性检验。
4 实验教学模糊综合评价模型构建
4.1 模糊隶属度矩阵
建立模糊隶属度矩阵R，rij表示被评价对象从评价指标来看对评语V等级模糊子集的隶属度［5，6］：
（8）
rij表示被评价对象从评价指标来看对评语等级模糊子集的隶属度。
4.2 模糊综合评价模型
模糊综合评价的模型为：
（9）
其中bi表示被评级对象从整体上看对评语等级模糊子集的隶属程度。本实验课程的隶属度矩阵及隶属度计算结果如表6和表7所示。
表 6 实验课程的隶属度矩阵
Table 6 Membership matrix of experimental courses
|
指标 |
非常满意 |
满意 |
一般 |
不满意 |
非常不满意 |
|
实验内容的相关性 |
0.60 |
0.33 |
0.05 |
0.02 |
0.01 |
|
实验的实用性 |
0.58 |
0.18 |
0.12 |
0.09 |
0.03 |
|
技能提升感知 |
0.44 |
0.20 |
0.25 |
0.09 |
0.03 |
|
教师指导的清晰度 |
0.67 |
0.23 |
0.05 |
0.02 |
0.03 |
|
教师响应的及时性 |
0.74 |
0.17 |
0.05 |
0.03 |
0.01 |
|
教师互动的频率 |
0.75 |
0.14 |
0.08 |
0.02 |
0.01 |
|
设备的先进性 |
0.01 |
0.12 |
0.71 |
0.14 |
0.03 |
|
设备的可用性 |
0.48 |
0.23 |
0.23 |
0.04 |
0.01 |
|
实验室的安全性 |
0.71 |
0.16 |
0.09 |
0.01 |
0.02 |
|
实验环境的舒适度 |
0.79 |
0.09 |
0.09 |
0.01 |
0.01 |
|
报告要求的明确性 |
0.51 |
0.28 |
0.17 |
0.03 |
0.00 |
|
反馈的质量 |
0.05 |
0.63 |
0.26 |
0.05 |
0.02 |
|
反馈的及时性 |
0.03 |
0.13 |
0.71 |
0.11 |
0.03 |
|
实验课程的连贯性 |
0.70 |
0.15 |
0.14 |
0.01 |
0.00 |
|
实验时间的安排 |
0.70 |
0.14 |
0.09 |
0.05 |
0.02 |
|
课程管理的规范性 |
0.74 |
0.09 |
0.07 |
0.07 |
0.02 |
|
课程的创新性 |
0.05 |
0.15 |
0.63 |
0.16 |
0.01 |
|
课程的吸引力 |
0.00 |
0.12 |
0.71 |
0.14 |
0.04 |
|
课程对未来职业的帮助 |
0.00 |
0.61 |
0.13 |
0.21 |
0.04 |
表 7 隶属度计算结果
Table 7 Membership calculation results
|
非常满意 |
满意 |
一般 |
不满意 |
非常不满意 |
|
|
隶属度 |
0.056 |
0.067 |
0.072 |
0.023 |
0.004 |
|
隶属度归一化【权重】 |
0.252 |
0.302 |
0.323 |
0.105 |
0.018 |
由上表可知，针对19个指标（实验内容的相关性、实验的实用性、技能提升感知、教师指导的清晰度、教师响应的及时性、教师互动的频率、设备的先进性、设备的可用性、实验室的安全性、实验环境的舒适度、报告要求的明确性、反馈的质量、反馈的及时性、实验课程的连贯性、实验时间的安排、课程管理的规范性、课程的创新性、课程的吸引力、课程对未来职业的帮助）与5个评语（非常满意、满意、一般、不满意、非常不满意）进行模糊综合评价，在使用主因素突出型M（*，∨）算子进行研究；首先由评价指标权重向量A（由自定义权重可以得到），通过构建出19x5的权重判断矩阵R，最终进行分析得到5个评语集隶属度，分别为0.252、0.302、0.323、0.105、0.018，因此可以得到，5个评语集中一般的权重最高，集合最大隶属度法则可以得到，最终“机械设计实验”课程综合评价的结果为“一般”。
5 IPA分析
根据满意度与重要性划分出四个象限矩阵（如图1所示）：第一象限（H，H）表示高满意度和高重要性，相应的对策为继续努力；第二象限（L，H）则表示低重要性和高满意度，建议不要刻意追求，应该顺其自然；第三象限（L，L）表示低满意度和低重要性，建议列入低优先事项；第四象限（H，L）表示高重要性和低满意度，对策建议是聚焦此处，重点改进[7]。
根据四分象限图，在第四象限（H，L），即高重要性与低满意度的区域，识别出需要重点改进的领域。这些领域包括技能提升感知、设备的先进性、课程的创新性、课程的吸引力、课程对未来职业的帮助。为了提升这些方面，我们可以采取以下措施：
（1）设备更新与维护：定期对实验设备进行技术升级和维护，确保设备在技术、功能和性能方面能够满足当前的教学需求和行业标准，从而提高学生的满意度。
（2）技能提升感知：强化实验与理论的结合，确保学生能够通过实验活动将理论知识应用于实践，从而提升技能。设计针对性的实验操作培训，帮助学生掌握关键技能，并提供充分的实践机会以巩固所学。
（3）设备的先进性：定期评估和更新实验设备，确保设备能够满足最新的教学需求和行业标准。引入先进的实验设备和技术，以提高实验的效率和质量，同时激发学生的学习兴趣。
（4）课程的创新性：鼓励教师开发新的实验项目，结合最新的科研成果和技术发展，使课程内容保持前沿性。采用项目式学习、案例分析等多样化的教学方法，提高课程的互动性和实践性。
（5）课程的吸引力：通过设计有趣的实验活动和竞赛，增加课程的趣味性和挑战性，吸引学生积极参与。强调实验课程与学生未来职业发展的关联，让学生认识到实验学习的实际价值和意义。
（6）课程对未来职业的帮助：明确实验课程与未来职业发展之间的联系，让学生了解所学技能在实际工作中的应用。邀请行业专家进行讲座或指导，让学生了解行业需求，增强课程的实用性和针对性。
图 1 四分象限图
Figure 1 Four-quadrant diagram
6 结语
通过综合应用IPA、层次分析法和模糊综合评价法，对“机械设计实验”课程进行了全面的教学评价研究。研究发现，尽管课程在某些方面得到了学生的认可，但在实验设备的先进性、技能提升感知、课程创新性及吸引力等方面存在不足，这些领域需要重点改进。本研究不仅为“机械设计实验”课程的持续优化提供了明确方向，也为高等教育中实验课程教学质量评价提供了有益的参考和实践指导，强调了以学生为中心的评价体系在提升教学质量和学生满意度中的关键作用。未来，我们期望教育工作者能够基于这些发现，进一步优化教学策略，以培养更多适应快速变化社会需求的创新人才。
参考文献
[1] 欧珺，吴福根，杨文斌．基于以学生为中心理念的实验教学质量评价实证研究［J］．实验室研究与探索，2021，40（7）：209-212，224．
[2] 朱露，唐浩兴，胡德鑫，等．工科本科生解决复杂工程问题能力评价模型［J］．高等工程教育研究，2023（4）：86-99．
[3] 江永亨，任艳频，唐潇风．高校实验能力图谱基础架构及关键问题探讨［J］．实验技术与管理，2023，40（12）：187-191．
[4] 刘虎，王勤．高质量发展背景下高校实验教学育人能力的建设［J］．实验室研究与探索，2021，40（12）：258-261，282．
[5] 陈晶，陈棉，李娜．基于模糊层次分析法的沙盘模拟实践教学评价研究［J］．项目管理技术，2024，22（1）：62-66．
[6] 李静娴，吴杰．基于模糊综合评价法的实验室管理绩效评价［J］．能源技术与管理，2024，49（3）：230-232．
[7] 陈涛，陆定邦，王金广，等．基于IPA分析人工智能生成的包装设计满意度及策略研究［J］．包装工程，2023，44（24）：328-335，404．
