1.北京工业大学高等教育研究院,北京;2.首都工程教育发展研究基地,北京
自2012年Udacity、Coursera、edX等MOOC平台相继出现以来,全球MOOC平台数量、课程数量和学习者总数都飞速增长。2020年,受新冠肺炎疫情的影响,大量高校开展线上教学活动,MOOC成为我国教育部在疫情期间主推的线上教学模式。[1]疫情过后,MOOC继续发挥着重要的作用。根据教育部发布的报告显示,到2024年,中国MOOC已上线超过7.68万门课程,服务了国内12.77亿人次的学习。[2]这些学习者在MOOC平台进行学习时,产生了大量的学习数据,不仅包括课程参与人数、学习次数、视频观看时长、资料下载次数、测试和考试分数等可以量化的数据,也包括提问和讨论、课程评论等质性数据。这些数据承载着MOOC学习者的学习信息,学习者的学习数据可以帮助教师掌握学生的学习情况,还可以作为反馈,帮助学习者调整自己的学习进程和方法;学习者的课程评论也可以帮助课程开发者调整和改进课程,提供更好的课程资源。
目前,国内外许多研究者对教育数据进行了挖掘,利用量化的学生学习数据,从数据可视化、行为检测、学生建模、社会网络分析、学生表现预测、学生建议、教师反馈等方面进行研究,研究成果可以帮助教师掌握课程学习情况和学生情况。[3]也有一些学者使用软件处理或者人工编码的方式分析了MOOC课程的讨论区和课程评论。例如,王勃然和李月基于社会网络分析,对大学英语MOOC讨论区交互行为进行了研究。[4]刘清堂等对MOOC学习者的评论数据进行挖掘,提取了课程质量的影响因素。[5]但是这些文本数据处理的自动化程度较低,很难被课程开发者和学习者直接利用,因此需要教育研究者对此类数据进行处理和分析,提出更多的建议。
本研究选取中国大学MOOC平台的现代教育技术相关课程的课程评论进行分析,希望对此类课程的改进提供帮助。
本研究选取中国大学MOOC平台的现代教育技术相关课程为研究对象。中国大学MOOC平台是国内优质的在线课程平台,课程丰富,用户量大。该平台共有15门现代教育技术相关课程,课程情况如表1所示,具有以下特点:第一,课程包括国家精品课程和普通课程,具有一定的代表性,并且可以进行比较研究;第二,课程的评论数较多,对课程评论进行大致浏览,可以看出评论内容较为丰富,便于进行分析。其中后4门课程评论数过少,因此本研究选取表1中前11门课程的评论用于分析。
表 1 现代教育技术相关课程信息
Table 1 Information of modern educational technology related courses
课程序号 | 课程名称 | 开课单位 | 开课次数 | 课程类型 | 评论数(截至2024年8月6日) |
1 | 现代教育技术 | 陕西师范大学 | 17 | 国家精品 | 4243 |
2 | 现代教育技术 | 江苏师范大学 | 13 | 国家精品 | 1705 |
3 | 现代教育技术应用 | 河南大学 | 15 | 国家精品 | 491 |
4 | 现代教育技术应用 | 华南师范大学 | 9 | 国家精品 | 379 |
5 | 现代教育技术 | 淮阴师范学院 | 11 | 普通 | 967 |
6 | 现代教育技术 | 福建师范大学 | 11 | 普通 | 449 |
7 | 学前现代教育技术 | 徐州幼儿师范高等专科学校 | 6 | 普通 | 216 |
8 | 现代教育技术 | 安康学院 | 10 | 普通 | 196 |
9 | 小学现代教育技术应用 | 华南师范大学 | 11 | 普通 | 171 |
10 | 现代教育技术 | 江苏第二师范学院 | 10 | 普通 | 141 |
11 | 现代教育技术应用 | 信阳师范学院 | 5 | 普通 | 120 |
12 | 现代教育技术应用 | 闽南师范大学 | 10 | 普通 | 26 |
13 | 现代教育技术应用 | 龙岩学院 | 3 | 普通 | 22 |
14 | 现代教育技术 | 山西师范大学 | 10 | 普通 | 19 |
15 | 现代教育技术 | 九江学院 | 1 | 普通 | 2 |
使用Python爬虫技术分别收集表1中前11门课程的评论数据,包括用户名、评论内容、评分、评论时间等,将获取的数据保存在Excel文档中,并剔除无内容评论和重复评论。
为了形成课程评论文本的分析框架,对在线课程和在线教学评价体系的相关文献进行了整理。李青和刘娜选取国内外八个相对权威的在线课程评价标准作为样本,将在线课程的评价标准聚焦为课程概述、课程团队、教学设计、教学内容、教学媒体、学习评价、交互活动、课程评价、学习环境、技术支持、界面设计、学习支持、可访问性、课程管理和政策支持15个维度。[6]常伟丹结合吉林农业科技学院在线教学的情况,建立了本科生在线教学质量评价体系,包含课程建设、课程组织、课程考核、学生体验、课程推广5个维度和19个具体指标。[7]王奎洋等构建了包括课程建设、教学设计、学习能力、学习效果及服务支持5个一级指标的应用型本科线上线下混合式课程综合评价体系,其中每个一级指标包括5个二级指标。[8]
此外,国内外学者也针对MOOC研究了MOOC质量评价体系。费尔南德斯等人通过比较ADECUR和UNE 66181:2012这两个在线课程质量评价工具,提出了评价MOOC质量的四个维度:教学内容、教学法、可访问性、虚拟学习环境。[9]罗斯维尔和詹森研究了适用于开放大学的MOOC质量评价指标,包括策略管理、大纲设计、课程设计、课程交付、人员支持、学生支持等方面。[10]姚凯等对MOOC学院社区论坛的评论进行高频词提取,并结合国内外主流的课程评价标准,建立了MOOC评价指标体系,包括课程内容、教学设计、界面设计、媒体技术、课程管理5个一级指标。[11]李青和刘娜从媒体技术、课程内容、课程管理三个层面提出了MOOC质量模型,其中媒体技术包括教学媒体和技术系统2个子维度,课程内容包括课程概述、教学设计、教学内容、交互与交流、学习评价5个子维度,课程管理包括政策资金支持、项目化管理、课程测试与评估、学习支持4个子维度。[6]刘经纬根据对课程评论文本聚类的结果,结合《教育部网络课程评价标准》,建立了包括7个一级指标、35个二级指标的MOOC综合评价指标体系,其中一级指标包括教学风格、用户体验、课程内容、教学设计、信息呈现和教学方法。[12]刘清堂等以文本挖掘技术为基础,从MOOC课程学习者评论数据中提取了课程质量影响因素,包括课程管理、课程设计、学习平台、学习任务、学习材料、课程教师、课程内容和学习体验。[5]
上述学者的研究为MOOC课程评价提供了参考依据。基于上述研究者提出的MOOC评价指标,形成了MOOC课程评论文本的基本分析框架(如表2所示)。其中一级指标6个,分别是课程设计、教学设计、教师、课程管理、媒体技术、用户体验。课程设计包括课程大纲、课程内容、课程资源、作业考核4个二级指标;教学设计包括教学模式、教学方式、交流互动3个二级指标;教师包括教学水平和教学风格2个二级指标;课程管理包括课程组织、学习监督、学校支持3个二级指标;媒体技术包括平台建设和技术应用2个二级指标;用户体验包括学习效果和学习体验2个二级指标。
表 2 MOOC评论文本编码框架
Table 2 The coding framework of MOOC review text
一级指标 | 二级指标 | 积极评论 | 消极评论 |
课程设计 | 课程大纲 | ||
课程内容 | |||
课程资源 | |||
作业考核 | |||
教学设计 | 教学模式 | ||
教学方式 | |||
交流互动 | |||
教师 | 教学水平 | ||
教学风格 | |||
课程管理 | 课程组织 | ||
学习监督 | |||
学校支持 | |||
媒体技术 | 平台建设 | ||
技术应用 | |||
用户体验 | 学习效果 | ||
学习体验 |
使用NVivo 14对收集的评论文本逐条进行人工编码,将每一条评论的信息编码到对应指标中,并区分积极情感、消极情感和建议评论。其中,消极评论和建议评论合并统计,统称为“消极评论”,编码结果如表3所示。将相关数据绘制成图像,如图1和图2所示。
Table 3 Coding results of MOOC comment text
一级指标 | 二级指标 | 积极评论 | 消极评论数 | 总评论数 | 占总数百分比 |
课程设计 | 课程大纲 | 172 | 7 | 179 | 2.25% |
课程内容 | 1863 | 61 | 1924 | 24.16% | |
课程资源 | 192 | 19 | 211 | 2.65% | |
作业考核 | 172 | 110 | 282 | 3.54% | |
教学设计 | 教学模式 | 407 | 2 | 409 | 5.13% |
教学方式 | 236 | 23 | 259 | 3.25% | |
交流互动 | 74 | 5 | 79 | 0.99% | |
教师 | 教学水平 | 560 | 8 | 568 | 7.13% |
教学风格 | 373 | 6 | 379 | 4.76% | |
课程管理 | 课程组织 | 223 | 19 | 242 | 3.04% |
学习监督 | 33 | 6 | 39 | 0.49% | |
学校支持 | 14 | 0 | 14 | 0.18% | |
媒体技术 | 平台建设 | 146 | 47 | 193 | 2.42% |
技术应用 | 344 | 3 | 347 | 4.36% | |
用户体验 | 学习效果 | 76 | 13 | 89 | 1.12% |
学习体验 | 2734 | 17 | 2751 | 34.54% | |
总数 | 7619 | 346 | 7965 | 100% |
图 1 二级指标评论数百分比
Figure 1 Percentage of comments on secondary indicators
图 2 二级指标中积极评论、消极评论的比例
Figure 2 The proportion of positive comments and negative comments in the secondary indicators
通过图1可以看出,学习者关于学习体验的评论最多,占总评论数的34.54%;其次是课程内容,占总评论数的24.16%;关于学校支持的评论最少,仅占总评论数的0.18%,其次是学习监督,占总评论数的0.49%。这说明学习者可能更关注自己在学习过程中的体验和课程的具体内容,而较少关注学校对课程的管理和教师对学习的监督。
在情感方面,如表3所示,通过对积极评论数和消极评论数进行统计,可知积极评论占总评论的95.66%,消极评论占总评论的4.34%。可以得出结论,中国大学MOOC平台的现代教育技术相关课程整体评价较好。进一步分析课程评论中积极、消极评论的比例可以看出,主要在作业考核、平台建设、学习监督、学习效果几个方面存在较多不足;而在教师教学水平、教师教学风格、学校支持和技术应用方面整体评价较好。
在课程设计这一维度中,学习者最为关注课程内容,关于课程内容的评论有1924条,占总数的24.16%。其中,96.83%的学习者称赞了课程内容的丰富性、实用性、先进性和逻辑性等方面;少数学习者认为“课程内容过多”“内容缺乏重点”“知识点偏理论”,还有学习者对课程内容提出建议,指出希望涉及教育技术的最新研究热点和不同方面的思考方向,“多一些实践案例,多一些作品”。
关于作业和考核的评论有282条,占总数的3.54%。其中,积极评论占60.99%,这些学习者肯定了作业的数量、难度以及与课程内容的匹配。消极评论的关注点比较集中,关于作业,许多学习者指出“作业安排时间紧”“有的知识点还没讲到,习题就结束了”“章节作业和测试时间不规律,也没有提前通知,很容易错过”;关于考核,一些学习者认为评分方式不合理,指出“互评的时候有些同学都没有打开,不公平”,还有些学习者提出“把章节视频、文档都认认真真看完了,分数没有变化”;有学习者建议“作业和考试发通知提醒一下”或者“提前列出考核的时间”。
关于课程资源的评论有211条,占总数的2.65%。其中,91.00%的学习者称赞课程资料的种类多样,内容丰富;少数学习者提出了资料存在“视频声音杂乱”“文件乱码”的问题。
关于课程大纲的评论有179条,占总数的2.25%。其中,96.09%的学习者称赞课程“目标清晰”“设计合理”,但是也有学习者表示“课程的课时量太大”,并有学习者希望“能按照课本顺序来设计课程”。
在教学设计这一维度中,学习者最关注教学模式,关于教学模式的评论有409条,占总数的5.13%。其中,几乎所有学习者肯定了以线上和线下相结合为主的教学模式,仅有两条评论认为“有点繁琐”“还有很大改善空间”。
关于教学方式的评论有259条,占总数的3.25%。其中,91.12%的学习者认为教学形式多样,教学方法得当;少数学习者认为“教学过于形式化”“缺少一点趣味”。
关于交流互动的评论有79条,占总数的0.99%。其中,93.67%的学习者认为课堂气氛很好,能够增进与老师和同学的交流互动,促进学习;少数学习者提出“课堂互动较少”“老师问题解答不及时”;也有学习者提出建议,希望“在讨论中将较好的答案展示给我们,促进交流”。
在教师这一维度中,学习者更关注教师的教学水平,关于教师教学水平的评论有568条,占总数的7.13%。其中,98.59%的学习者肯定了教师的教学水平,其余学习者指出“不太能听懂老师的方言”“很多地方没讲清楚为什么这么设计”等问题。
关于教师教学风格的评论有373条,占总数的4.76%。其中,98.42%的学习者对教师的风格适应良好,少数学习者表示“教师讲课时显得太严肃,有些知识点的讲授可以活泼一些”“希望教师的情绪可以再投入一点,体验再沉浸式一点”。
在课程管理这一维度中,学习者最关注课程组织,关于课程组织的评论有242条,占总数的3.04%。其中,92.15%的学习者认为教学安排得当,对教学时间、进度安排、课程更新等方面表示肯定;给予消极评价的学习者中,大多数学习者认为“教学的时间太紧了”“如果进度再慢一点就好了”“希望时间延长一点”;极个别学习者认为“更新慢”“更新不及时”。
关于学习监督的评论有39条,占总数的0.49%。其中,84.62%的学习者表示课程的监督机制较好,能够督促自己学习;少数学习者表示“截止不会提醒我,作业没能提交”“学习提示不明确”,提出“希望做一个小汇总及时提醒”“要是能经常提醒就好了”。
关于学校支持的评论有14条,占总数的0.18%。其中,所有学习者都对学校给予课程的支持表示肯定,认为学校为课程的开设提供了良好的条件。
在媒体技术这一维度中,学习者最关注教育技术的应用,关于技术应用的评论有347条,占总数的4.36%。其中,几乎所有的学习者都认为课程充分利用了现代教育技术手段,只有个别学习者出现了视频无法播放、图片不全的情况,一位学习者提出“希望课程视频有字幕”。
关于平台建设的评论有193条,占总数的2.42%。其中,75.65%的学习者表示平台或App好用,但是也有很多学习者在使用过程中遇到了问题;消极评论普遍指出了学习进度不更新、部分功能手机无法操作的问题;还有学习者提出了平台经常出故障、完成了学习却没有成绩、卡顿等问题。
在用户体验这一维度中,学习者最关注自己的学习体验,关于学习体验的评论有2751条,占总数的34.54%。其中,99.38%的学习者表示课程学习体验较好,他们感到“学有所获”“受益匪浅”,并且感受到课程方便、有趣,感觉受到启发;少数学习者表示“有负担”“体验不好”。
关于学习效果的评论有89条,占总数的1.12%。其中,85.39%的学习者表示学习效果很好;少数学习者表示“效果不好”“看不懂”“没有收获”。
通过对中国大学MOOC平台的现代教育技术相关课程的课程评论文本进行分析,可以看出学习者对中国大学MOOC平台的现代教育技术相关课程整体评价较好。其中,在教师教学水平、教师教学风格、学校支持和技术应用方面评价较好;而在作业考核、平台建设、学习监督、学习效果几个方面还存在一些不足。
课程的优势主要体现在:第一,课程内容丰富、实用、先进、逻辑性强;第二,课程资料的种类多样、内容丰富;第三,课程大纲设计合理;第四,教师的教学水平较高,教学风格比较受学习者欢迎;第五,学校为课程的开设提供了良好的条件;第六,课程充分利用了现代教育技术手段。
课程的不足之处主要体现在:第一,作业的时间安排和考核方式不够合理;第二,课程的监督提醒作用不足;第三,课程平台发生故障,手机端和PC端数据不统一,手机端功能不齐全;第四,部分学习者的课程学习效果不佳。
基于上述分析结果,针对中国大学MOOC平台的现代教育技术相关课程的不足之处,结合评论文本提出的建议内容,向MOOC平台、教师团队、学习者和学校提出以下建议。
在课程内容和资源方面:第一,在内容的选择上,教师应当选择适当难度的内容,同时注意理论和实践案例的结合,并且联系最新研究热点。现代教育技术本身就是一门具有实践性和时代性的学科,学习者不仅要学习理论知识,更要能够实际应用。随着科技的发展,教育技术也发展迅速,学习者需要了解最新的技术。第二,在内容的组织上,课程开发者应当合理控制内容量,详略得当,突出重点。第三,课程开发者要注意课程资源的质量和可使用性,满足学习者的学习需求。
在作业和考核方面:第一,教师应当明确作业的内容、开始时间和截止时间,确保通知到位。第二,学习者应当及时查看课程相关信息,按时完成作业和考试。第三,教师应当完善课程考核制度,选择公平合理的评分方式。第四,MOOC平台应当完善任务记分功能,确保完成课程任务能够获得相应的分数。
在教学形式和方法上:第一,教师应当根据教学内容选择适当的教学形式和教学方法,不为了形式而形式,做到教法切实促进学习。第二,教师可以适当丰富教学形式,提高课堂的趣味性,吸引学生注意。
在交流互动方面:第一,教师应当营造良好的课堂氛围,使学生愿意以开放的心态参与课堂交流。第二,教师应当关注学生提问,尽量及时给予解答。第三,MOOC平台应完善论坛交流功能,为生生交流、师生交流提供条件。第四,学习者应当充分利用交流的条件,向老师、同学请教、学习。
在课程组织方面:第一,教师应当合理安排教学时间、线下活动时间、课程更新进度等,充分考虑学习者的具体情况。第二,学习者应当合理安排学习时间和进度,按时参加线上和线下课程,完成学习任务。
在学习监督方面:第一,平台应当发挥作用,在有新的学习任务时向学习者发送提醒;监督学习者的学习进度,对于进度较慢的习者发送提醒。第二,教师发布新的学习任务后应当检查学习者的任务完成情况,对于未完成的习者,应以督促完成为先,给予补救的机会。直接扣分的方式可能打击学习者的学习积极性。第三,学习者要养成自我监督的习惯,定期查看课程学习进度和任务完成情况。
在学校支持方面,针对部分学生没有电脑、无法使用手机操作的情况,学校应当为在线课程提供一定的硬件条件,例如完善微机室和校园网,为学生顺利参与线上学习提供保障。
在平台建设方面,平台应当加强基础功能建设,解决视频播放卡顿、学习数据更新不及时、手机端和PC端数据不同步、课程分数异常等问题。
在技术应用方面,现代教育技术相关课程应当发挥学科本身优势,将技术的使用和传授结合起来,促进学生学习。
通过对中国大学MOOC平台上现代教育技术相关课程的评论文本分析,深入探讨了学习者对课程的整体评价及表现。研究发现,学习者对课程的整体评价较好,尤其在教师教学水平、教学风格、学校支持和技术应用等方面表现出较高的满意度。课程优势明显,内容丰富、实用、先进且逻辑性强,课程资料多样,大纲设计合理,教师教学水平高,学校支持有力,现代教育技术手段运用充分。然而,课程也存在不足,如作业时间安排和考核方式不合理,课程监督提醒机制不足,平台技术问题,以及部分学习者学习效果不佳等。
针对这些问题,建议学校、教师和MOOC平台作出改进:学校应为在线课程提供一定的硬件条件;教师应结合理论与实践案例,合理控制内容量,丰富教学形式,营造良好的交流互动氛围,还应合理安排教学时间,优化作业和考核制度;平台应加强学习监督提醒功能,还应加强基础功能建设,优化技术应用。期望这些建议能为课程的改进提供启发,改善学习者的学习体验和学习效果,推动在线教育高质量发展。
[1]常李艳,刘婧,黄崇.MOOC辍学研究:近20年文献的系统分析[J].图书馆论坛,2021,41(11):38-51.
[2]中华人民共和国教育部.教育部:中国慕课已上线超7.68万门 服务国内12.77亿人次[EB/OL].(2024-01-26)[2024-08-01].http://www.moe.gov.cn/jyb_xwfb/xw_zt/moe_357/2024/2024_zt02/mtbd/202401/t20240126_1112589.html.
[3]C Romero,S Ventura.Educational Data Mining:A Review of the State of the Art[J].IEEE Transactions on Systems,Man,and Cybernetics,Part C(Applications and Reviews),2010,40(6):601-618.
[4]王勃然,李月.基于社会网络分析的大学英语MOOC讨论区交互行为研究[J].外语研究,2022,39(4):59-64.
[5]刘清堂,尹兴翰,吴林静,等.基于学习者评论数据挖掘的MOOC课程质量影响因素研究[J].远程教育杂志,2023,41(1):80-90.
[6]李青,刘娜.MOOC质量保证体系研究[J].开放教育研究,2015,21(5):66-73.
[7]常伟丹.本科院校在线课程质量评价体系构建研究[J].吉林农业科技学院学报,2021,30(2):60-62,120.
[8]王奎洋,唐金花,李丽,等.应用型本科混合式课程评价体系构建与探索[J].时代汽车,2024(16):88-90.
[9]Fernández M B R,Silvera J L S,Meneses E L.Comparative between quality assessment tools for MOOCs:ADECUR vs Standard UNE 66181:2012[J].RUSC.Universities and Knowledge Society Journal,2015,12(1):131-144.
[10]Rosewell J,Jansen D.The OpenupEd quality label: Benchmarks for MOOCs [J].Innoqual International Journal for Innovation & Quality in Learning,2014.
[11]姚凯,李思志,李艳红,等.MOOC评价模型研究[J].复旦教育论坛,2017,15(3):65-71.
[12]刘经纬,高玉莹.基于NLP的在线课程质量评价研究[J].信息系统工程,2023(1):164-166.