视频数据挖掘的教学辅助系统

指导教师：许玄玄

1 项目成员

张亚左，王敏铖，李秉锡

2 项目背景

在上课过程中，老师往往通过课堂上对同学们的观察以及课下同学们的作业反馈情况进行评价，这具有很大的主观性；或者是老师利用学校的录课系统观看回放来了解同学们在课堂中的表现，这样无疑是加重了老师们的工作量。随着信息技术的快速发展，有没有哪些技术可以应用到学生的行为分析上呢？为此，我们小组成员在网上进行搜索资料，家长也为我们找来研究该领域的朋友来为我们答疑解惑，发现基于深度学习的计算机视觉在模式识别方面的准确度已经接近或超过人眼，且广泛应用于智能交通监控、体育运动员行为分析等领域，那如果将该技术应用到教学视频上呢？是否可以自动准确地识别学生的各种行为动作？基于这些问题，我们小组提出基于深度学习的课堂视频挖掘系统的项目，希望辅助老师更加深入到了解学生的课堂表现，对学生做出更准确的评价。

3 项目介绍

视频数据挖掘的教学辅助系统主要是根据课堂视频进行视频帧提取、筛选等预处理，通过OpenPose工具提取骨架信息，利用神经网络等机器学习方法来进行行为识别的，最终可以形成课堂举手、阅读、起立、聊天的数据报告，并在报告的基础上形成学生的行为画像、群体画像或者是变化趋势画像，辅助教师对学生的课堂行为进行评价，帮助了解学生的听课状态、上课纪律等，以便老师及时做出调整。

4 项目目的

该项目将按照周或者月为单位生成课堂行为画像分析报告，报告主要有两个目的，一方面可以辅助学生明确改进的方向，更加认识自身，提升学习效果；另一方面，可以帮助老师和家长了解学生的课堂表现，利于教师更好的因材施教。

5 项目方案

首先，针对学生的典型课堂行为包括举手、东张西望、阅读、书写、起立、睡觉、传纸条、聊天、回答问题和吃东西等，构建课堂行为数据库，标记课堂行为信息；其次，利用人体动作行为OpenPose工具包，从视频图像中提取动作的骨架模型并采取模式识别算法对动作骨架对应的课堂行为进行分类；最后，在利用学生课堂行为数据库对行为分析模型进行校准的基础上，对采集的课堂视频流数据进行智能行为识别，生成画像（包括个人行为、群体性为、变化趋势）。

6 项目计划

1）采集课堂数据；

2）对音视频进行数据分析，优选视频挖掘算法；

3）编写挖掘程序并反复进行数据测试；

4）根据实验需要，开展步骤1、2、3迭代；

5）完成软件定版，完成技术报告编写。

7 预期效果

通过个人或群体行为数据的长期累积，可以为老师和同学定期提供数据报表，辅助同学进行自我行为回顾和改进，帮助教师高效精准掌握学生的课堂表现。预期达到的效果，主要有以下三个方面：一是辅助发现课堂行为与外界条件的关联，比如某特定时段、某特定课堂、某特定区域的学习效果较好，可以辅助我们分析这种关联的内在动因；二是辅助分析个人行为变化趋势与成绩之间的关联，便于老师和同学一起采取必要的改进措施；三是辅助分析群体行为的影响，分析群体行为的共性特征和差异，分析群体行为的正面作用和负面作用。