1.重庆工商大学人工智能学院,重庆; 2.重庆市第十一中学校,重庆
国务院于2017年7月8日发布的《新一代人工智能发展规划》明确提出,要大力发展复杂环境下的计算机视觉技术,包括定位、导航与识别等关键技术[1]。2021年2月重庆市人民政府颁布了《重庆市国民经济和社会发展第十四个五年规划和2035年远景目标纲要》,其中指出,在突破计算机视觉等核心技术领域的同时,还要突出跨媒体感知等关键问题,积极培育处于本行业领先地位的企业,打造国内相对领先的人工智能产业创新高地[2]。作为计算机视觉领域实现数字化到智能化跃迁的关键支撑性课程,“数字图像处理”在高等院校人工智能人才培养体系中占据着重要地位。该课程的教学质量直接关系到相关专业人才实践能力与创新素质的培育效果。当前“数字图像处理”课程改革中存在亟待解决的重要问题,即如何将理论教学与项目实践进行有机结合,有效激发学生学习的主动性和提高创新能力。由此可见,上述问题的解决具有显著的现实意义[3]。
此外,水面漂浮垃圾对水生态系统的破坏也呈现出显著增长的趋势。这些漂浮物在严重干扰水体景观能见度的同时,还会通过持续释放有害成分对水生生物的生存环境造成实质性威胁。近年来,深度学习技术领域,尤其是卷积神经网络架构取得了突破性进展,并因其出色的特征提取效率而在数字图像处理任务中表现突出。基于国家人工智能发展战略和环境管理需求,本研究以“数字图像处理”课程为基础,设计了基于深度学习的水面漂浮垃圾智能检测系统。该系统依托重庆市青少年“雏鹰计划”项目[4,5],在大/中学教师李永松与蔡亮共同指导下,团队成员由人工智能专业研一学生景跃珍、智能科学与技术专业大三本科生何棋以及三名高中生吴思翰、李俊睿、刘凯诚组成。其中,景同学负责平台搭建,何同学负责代码的实现,三名高中生合作承担数据集的训练和测试任务。通过将深度学习目标检测算法引入数字图像处理实践,并将算法优化到系统实现,加强了学生对“数字图像处理”核心理论知识的掌握,也培养了他们解决复杂工程问题的能力。
“数字图像处理”课程教学内容涵盖数学理论基础和计算机相关算法,急需与人工智能技术进行深度融合[6,7]。但目前该课程的内容总体滞后于人工智能技术的发展,此外薄弱的实践环节使得学生难以掌握数字图像处理在现实场景中的实际应用。因此,本研究以“水面漂浮垃圾自动监测系统”为实践案例,重构课程内容(加入深度学习模块),创新教学方法(选取真实场景项目),改革考核体系(在理论基础上融入“实践+创新”),力求摆脱传统教学中理论与实践脱节、学生工程能力培养不足的困境。该研究以重庆青少年雏鹰计划项目为基础,构建了跨学段、跨层次的协作团队,使学生掌握数字图像处理的基础手段,培养学生从算法优化到系统部署全过程的能力。
本文拟在“数字图像处理”课程教学过程中引入深度学习知识,设计一个简单实用、准确可靠的水面漂浮垃圾检测系统。采集足够多且丰富实用的水面漂浮垃圾图像作为深度学习模型训练的数据集,确保训练出来的深度学习模型有足够的杂质样本和多样的环境配置,如不同程度的明亮和昏暗、不同的污染物类型及外观变化等;其次选择深度学习智能计算的平台和网络模型并优化,进行深度学习模型的训练和测试,保证模型的实用可靠;开发软件的可视化界面,包括实时检测界面、历史检测数据界面、预警信息查询界面等,为普通用户提供了方便快捷的使用操作。研究结果不仅有利于水环境净化与保护,同时也为本领域的研究工作积累了经验。
本研究旨在培养“高中生—本科生—研究生”不同阶段学生的数字图像处理综合能力,通过参加实践研究活动提升其图像处理的能力。其中高中生主要负责高质量漂浮垃圾图像数据集的采集与构建,逐步学习数据标注和图像预处理等任务,体会高质量数据对深度学习模型训练的重要性,掌握一定的数字图像预处理技术;在研究生同学的帮助下,高中生逐渐接触并体会训练和测试深度学习模型的过程,包括模型的选择,网络的优化和网络的参数调整,这一过程有助于学生理解深度学习的基本原理,提高解决复杂实际问题的能力;本科生主要负责系统可视化界面设计,利用Qt Designer、PyQt5等工具进行简单易用的用户界面设计,训练本科生的图形设计思维和编程思维,熟悉整个软件系统构建流程。
上述培养方式的实施,使得高中生、本科生、研究生可以分别掌握数字图像处理理论部分的数据分析与图像预处理、软件开发界面设计以及深度学习模型优化的理论知识,从而在掌握重要理论的同时增强动手能力和团队精神,有望成为科技创新精英。
针对上述内容,本研究采取的技术路线如图1所示。
图 1 研究方案路线图
Figure 1 Flowchart of research scheme
采用黄河水面漂浮垃圾公开数据集[8],该数据集在黄河支流、黄河主体和沿河居民区三个代表性区域进行了广泛的数据采集,采集过程中考虑了不同的天气条件,包括晴天和雨天,以全面反映不同水环境和天气条件下水面漂浮垃圾的分布情况。数据集共有3807张图像,图像大小为640×640,84%的目标为小目标。安排高中生将该数据集划分成七大类水面漂浮垃圾:plastic、paper、glass、metal、fabric fiber、natural和others,然后进行筛选和图像预处理,各类别数量如表1所示。
表 1 黄河水面漂浮垃圾数据集中的标签数量和示例
Table 1 Tags number and examples in the Yellow River surface floating garbage dataset
序号 | 类别 | 数量 | 举例 |
1 | plastic | 1432 | 塑料袋和塑料瓶、泡沫塑料块等 |
2 | paper | 909 | 牛奶盒、文件夹等 |
3 | glass | 651 | 玻璃罐、酒瓶等 |
4 | metal | 466 | 汽油桶 |
5 | fabric fiber | 991 | 绳子、布袋、破衣服等 |
6 | natural | 1772 | 树枝、木屑、藻类、树叶等 |
7 | others | 651 | 其他垃圾 |
由于原始样本丰富度不足会导致模型精度与泛化能力受限。本研究使用Mosaic数据增强对任意四张图片进行随机裁剪缩放,再随机选取一个拼接中心合成数据增强后的数据。通过Mosaic数据增强对水面漂浮垃圾图像数据集进行预处理,增加了数据集样本的多样性,能有效改善样本不足的问题。该过程为高中生提供了实际操作数据增强技术的机会,让学生在实践中学习如何通过图像预处理技术提升模型的泛化能力,从而在解决实际问题的同时培养学生的实践技能。
本研究采用轻量级模型(如YOLOv5s,YOLOv8s,EfficientDet-D0等)进行训练。轻量型模型网络结构小巧,速度快,为实时检测水面漂浮垃圾提供了有力保障。硕士研究生通过参与模型训练和测试的过程,了解深度学习模型的优化原理,从而提高逻辑思维、编程能力和解决实际问题的能力。
本系统使用Qt Designer设计图形界面,PyQt5构建水面漂浮垃圾检测系统,具有模型选择、图像或视频输入、参数调整(如IoU(交并比)、置信度)等功能,支持多种图像和视频格式的输入,如图2所示。该系统搭建有助于本科生理解深度学习模型的应用,掌握数字图像处理的关键技术,学习包括界面设计、编程、集成、系统测试在内的整个软件开发过程,为培养学生实际工程处理能力提供了坚实的基础。具体如下:
(1)模型加载模块:该模块主要对模型进行选择。用户可以根据自己的需要,选择不同的YOLOv5s模型权重文件。权重文件*.pt位于根目录下的pt文件夹中,下拉选择菜单会自动搜索当前可用的权重文件。
(2)输入选择模块:该模块负责对输入待检测数据源进行配置,用户可以选择本地的图片或者视频文件作为输入,图片支持*.jpg和*.png两种格式,视频支持*.mp4、*.mkv和*.avi等多种主流视频格式。
(3)结果展示模块:用于显示系统返回的检测结果。该模块包含两部分,一部分同时显示原图片/视频和处理后的图片/视频的对比结果,另一部分通过文本的方式显示检测结果的数量统计信息。
(4)参数调整模块:系统支持针对检测结果对IoU阈值和置信度阈值进行设置,阈值以小数形式显示,可设置范围为[0,1],其中IoU阈值默认为0.45,置信度阈值默认为0.25。通过拖动滑条来对阈值进行快速大致的调整,同时也可以点击阈值旁的上下小三角按钮进行准确修改,每次点击会使阈值增加/减少0.01。
(5)系统主界面:如图3所示,左侧为模型加载、输入选择模块和参数调整模块,可以选择模型以及待检测的图片或视频,同时可以调整IoU阈值和置信度阈值;右侧为检测结果展示模块,展示检测前和检测后的对比结果,同时在左下角展示检测垃圾的类别数量。
图 2 水上漂浮垃圾自动监测系统功能模块
Figure 2 Functional module of automatic monitoring system for water-floating garbage
图 3 水上漂浮垃圾检测系统主界面及结果展示图
Figure 3 Main interface and result display of water-floating garbage detection system
“数字图像处理”课程要求学生具备跨学科应用能力和实践创新能力。“水面漂浮垃圾自动监测系统”作为本课程实践的载体,可以从以下几个方面提高学生的综合能力:一是将数字图像处理技术与环境监测要求相结合的能力,以及对不同学科之间内在关系的理解;二是掌握项目实践中的完整技术链,从数据采集(如水面漂浮垃圾图像采集)、算法设计(基于深度学习的建模)到系统开发与优化(检测系统的实现);三是解决实际工程问题(如小目标检测、复杂照明条件等),培养创新思维能力。本研究采用大/中学老师共同指导的“研究生—本科生—高中生”团队合作模式,要求学生在科研实践中提高沟通协调能力,学会在多元化团队中发挥各自的专业技能。该研究不仅可以加深学生对数字图像处理技术的理解,还可以培养学生的工程实践知识,为人工智能相关领域的工作或研究奠定坚实的基础。
[1] 《新一代人工智能发展规划》[J].科技导报,2018,36(17):113.
[2] 重庆市发展和改革委员会.重庆市国民经济和社会发展第十四个五年规划和二〇三五年远景目标纲要[Z].2021.
[3] 李永松.浅析《数字图像处理》课程教学中的问题与对策[Z].中文科技期刊数据库(文摘版)教育,2025(2).
[4] 范卿泽,杨颖,王华.创新后备人才培养的区域探索与推进建议——以重庆市“雏鹰计划”为例[J].中国教育学刊,2020(11):44-48.
[5] 钟儒成,杨颖,王华.深化“雏鹰计划”:拔尖创新人才培养“重庆探索”[J].中国基础教育,2023(10):29-33.
[6] 李斌,曹未丰.基于ARCS动机模型的数字图像处理实验项目式教学设计[J].实验室研究与探索,2025,44(2):147-151.
[7] 何鹏飞,刘东升,祝善友.成果导向的三线驱动式“遥感数字图像处理”课程教学改革[J].测绘工程,2025,34(2):75-80.
[8] Jiang Z,Wu B,Ma L,et al.APM-YOLOv7 for Small-Target Water-Floating Garbage Detection Based on Multi-Scale Feature Adaptive Weighted Fusion[J].Sensors,2023,24(1):50.