基于人工智能的课堂教学智能监控系统

一、背景

近年来人工智能技术的兴起，为教育信息化、个性化、智能化的发展提供了一个全新的思路，该场景需求围绕人工智能技术服务于课堂教学，尝试建立一套基于人工智能的课堂教学智能监控系统，为促进学生个性化成长，辅助改进课堂教学，打造智能高效、富有智慧的课堂教学环境提供一条新的探索之路。

传统教学缺乏量化的分析手段，无法及时发现“教”与“学”过程中存在的问题。利用AI人工智能相关技术，聚焦人脸识别、表情分析、行为识别、大数据技术与教学目标的深度融合，实现基于行为、人脸面部表情识别的学生兴趣度识别，借助大数据技术对学生的行为反馈，对上课的教学效率进行针对性智能分析，从而使教学管理、教学方法等过程更加智能化，让人才培养更加信息化、个性化、智能化。

场景需求中包括视觉识别和数据分析两部分，其中视觉识别主要包括人脸识别、表情识别、行为识别，上述视觉信息的实时识别抓取，为课堂教学的智能化监控提供了数据来源，从而将视觉识别和数据分析形成有机的整体。

二、技术方案

2.1 整体技术框架

基于人工智能的课堂教学智能监控系统包含如下内容：

1、基于AI人脸识别的无感化考勤（学生、老师）

2、基于AI的学生行为分析

3、基于AI的面部表情识别

4、基于大数据分析的学生兴趣度及教学质量分析

系统整体框架如下图所示，包括前端摄像头采集、AI智能盒子，AI算法运行在AI智能盒子上，可降低计算成本，也便于部署。最后对统计结果进行展示。

word/media/image1.gif

图 基于人工智能的课堂教学智能监控系统整体框架

2.2 技术路线

2.2.1 基于AI人脸识别的无感化考勤（学生、老师）

为提高学校的考勤效率，减轻教师负担，防止代考勤，走班，同时也方便学校、家长对老师、学生考勤情况的了解，采用基于AI的智能人脸无感化考勤，包括：

 学生的无感化考勤

学生人脸库的注册管理，包括注册、删减、更改注册等；

人像的抓拍验证比对，包括学生实到人数统计，未到人员通知，补签等功能；

 老师的无感化考勤

老师人脸库的注册管理，包括注册、删减、更改注册等；

老师代课、迟到、早退的考勤识别。

核心的技术是人脸识别技术，在人脸检测、人脸对齐、人脸特征计算等各模块，我们均有原创自研的核心人脸识别算法能力，目前人脸识别准确率在万分一误识别率下识别准确率超过99%，保证了识别的准确率。

此外，由于采用无感式人脸识别，学生在上课过程中举止行为不可控，可能出现人脸角度过大、抓取不到人脸等问题。我们针对该场景做如下优化：

1、人脸检测：对于人脸角度超过一定阈值的，不检出；

2、通过多帧的人脸识别结果做聚类，得到人脸考勤的最终结果。这里，聚类的依据主要通过人脸识别的置信度以及上下帧之间的人脸位置变化来确定。

通过上述两个优化，我们可以获得精准的无感考勤识别结果。

在系统实现中，对于学生的无感化考勤，我们采用2个定制人脸抓拍摄像头（双目），安装在黑板的左右两边，分别聚焦拍摄教室的左前区域、左后区域、右前区域、右后区域。对于老师的无感化考勤，采用一个定制人脸抓拍摄像头（单目），安装在教室的正后方。

系统可在开课一分钟内完成学生和老师的考勤，并在课堂过程中，每隔一段时间输出学生的在课考勤情况。

2.2.2 基于AI的学生行为分析

结合AI人工智能技术，对学生行为表现、肢体动作进行学习，深入挖掘学生的上课表现，本方案将分析课堂视频，实现6种常见有意义的学生行为识别，包括听讲、举手、起立、低头、趴桌子、玩手机。

本方案拟采用先人体姿态估计（人体关键点检测），在此基础上，挖掘动作特性，加入分类思想，实现对学生的行为分析，流程如下图所示。

word/media/image2_1.png

人体骨骼关键点对于描述人体姿态，预测人体行为至关重要，主要检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息，多人人体骨骼关键点检测主要有两个方向，一种是自上而下，一种是自下而上，其中自上而上的人体骨骼关键点定位算法主要包含两个部分，人体检测和单人人体关键点检测，即首先通过目标检测算法将每一个人检测出来，然后在检测框的基础上针对单个人做人体骨骼关键点检测，其中代表性算法有G-RMI, CFN, RMPE, Mask R-CNN, and CPN；自下而上的方法也包含两个部分，关键点检测和关键点聚类，即首先需要将图片中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体，其中对关键点之间关系进行建模的代表性算法有PAF, Associative Embedding, Part Segmentation, Mid-Range offsets，使用深度学习的思想进行人体关键点的检测已成为当下的热门研究方向，本方案也将利用深度网络模型来提取关键点的特征，生成相应的人体关键点热力度，采用自下而上的方式实现最终的人体关键点检测。

在关键点检测基础上，结合对课堂行为的理解，我们可以对行为进行定义，挖掘动作与关键点之间的关联，进而对一些动作进行识别理解。

通过关键点与动作的关联挖掘中，比如是否玩手机等动作，就难以通过关键点进行分析，因此我们拟引入深度学习模型进行辅助分类，最终达到我们想要的行为理解，输出行为类别。

2.2.3 基于AI的面部表情识别

结合AI人工智能技术，高效准确对学生的面部表情进行识别，本方案实现7种面部表情的识别，包括正常、开心、生气、惊讶、悲伤、恶心、害怕。

面部表情识别，是在人脸检测的基础上进行的，因此结合上面的无感考勤人脸检测结果，进行人脸的表情识别，本方案将表情识别转成7种类别的多分类问题进行解决，采用深度学习进行模型的构建。

2.2.4 基于大数据分析的学生兴趣度及教学质量分析

学生在课堂上的动作、表情，在一定程度上反应其对学科、老师等表现的兴趣度，通过对学生的行为、表情数据进行采集，结合成绩进行大数据挖掘，可以引导、辅助教学管理，教育教学效率分析，本课题可基于积累的学生行为、表情进行：

 学生的兴趣度模型构建；

通过对每位学生在课堂过程中的面部表情、行为识别的识别，可绘制得到学生对这堂课的兴趣度的时间分布曲线，在此基础上，对于学生的知识掌握、老师的课程改进提供反馈。

 以班级为单位，分析课堂活跃度，班级间的活跃度对比；

以班级为单位，统计整个班级学生的行为表现，我们可以分析课堂的活跃度，生成如下两图所示对比统计图。

word/media/image4_1.png

图班级行为统计对比

word/media/image5_1.png

图班级表情统计对比

在此基础上，我们还可以以时间轴作为基准，分析班级行为的趋势发展，关注班级的变化，对教学提供指导意义。

 探索学生课堂行为表现与成绩间的关系；

通过学生的课堂行为表现，关联上成绩，通过大数据分析方法，我们可以分析行为与成绩间的关联。在此之上，我们也可以发现那些“离群”学生，例如上课较认真，然成绩不好，此类学生的学习方法可能有问题，需要老师做相应的引导。

2.2.5 AI智能盒子

上述的AI算法大部分是采用深度学习技术实现，目前大多数的深度学习算法运行都依靠GPU，在服务器上实现快速运算，不仅成本较高，而且在实际的系统部署时也有布线、空间上的麻烦。本方案采用自研的AI智能盒子，所有的AI算法都运行在AI智能盒子上，同时可实现1拖N，即一个AI智能盒子可接入多路视频。

智能盒子将AI处理模块单独做成边缘计算盒子的模式，外接IP摄像头或USB接口的摄像头采集图像。智能盒子主要专注于人工智能方面的技术，摄像头可以配套市面成熟的产品，部署相对灵活，可根据场景及算力的要求灵活接入若干路的图像采集设备。

AI盒子搭载CPU-ARMCortex-A73+ARMCortex-A53处理器，运行内存≥2GB，能量效率≥3Tops，其中内置了网络推理加速单元NNIE。功能简介如下：

 网络实时视频流接入：接入rtsp协议的高清网络视频流，支持h264 h265编码视频流，支持最高800w视频流，实现硬解码。

 图像预处理：AI处理之前需要图像进行缩放、拼接、格式转换等图像预处理。由于高清视频图像尺寸较大，帧数较多，采用硬件完成图像预处理才能跟上AI处理的节奏。

 人脸检测：内部集成深度学习AI人脸检测算法，具有高精度高实时性等特点，能够检测出各种环境下人脸及特征点位置，能够支持多路相机并发检测。

 人脸特征提取：内部集成人脸识别算法，具有高精度高实时性等特点，具有支持1:1,1:N比对等功能。

 姿态检测：内部集成姿态表情算法，能准确识别图像中人物的姿态特征点、动作行为及表情，支持多路相机并发检测。

 报告提交：向第三方软件提供机构化数据,包括人脸的坐标、小图、特征以及姿态、表情检测结果等详细信息

 状况显示：根据结构化数据叠加绘制到视频上，并通过自带的hdmi接口输出到显示器，实时展示处理结果。

通过对算法的优化和软硬件的协同设计，我们的边缘计算方案可满足一个智能盒子至少支持一间教室（4路学生+1路老师），大大降低了方案成本，也利于现场部署。

三、实施方案

3.1概述

新大陆智慧教室-学情分析系统由软件(智慧教室平台)+硬件(人工智能视觉分析仪)组成:

word/media/image6.gif

以一间标准教室为例，硬件主要包含1个AI智能盒子，2个定制人脸抓拍摄像头（双目），1个定制人脸抓拍摄像头（单目），在此基础上，所有识别的数据汇聚到智慧教室平台的应用系统上，实现相关数据的分析、统计、可视化。智慧教室平台可安装在学校的服务器上或课堂计算机上，并可与教务系统对接。在智慧教室平台上，我们针对不同的用户，学校管理员、教师、学生，开放不同的权限和内容，便于不同用户使用该套系统。

3.2现场布局图

以下是以标准教室（长9m*宽7m）的现场布局图，供参考。

教室前部可根据教室大小安装1至2套定制人脸抓拍摄像头（标准教室推荐安装2套定制人脸抓拍摄像头）。

教师识别摄像头建议安装在教室后部中间区域。

word/media/image7.gif

教室俯视图

word/media/image8.gif

教室后视图

3.3核心设备清单

1、定制人脸抓拍摄像头(单目)

 500万摄像头*1

 供电模块

 视频分析截取单元*1

 安装方式：壁挂式安装，顶部安装

2、定制人脸抓拍摄像头(双目)

 500万摄像头*2；

 供电模块；

 5口1000M HUB；

 视频分析截取单元*2；

 安装方式：壁挂式安装，顶部安装

3、500万摄像头

 采用1/2.7" Progressive Scan CMOS，支持500 万像素(2560x1920)@15fps；

 支持H.265+/H.265/H.264/MJPEG 视频压缩算法，支持多级别视频质量配置、编码复杂度设置；

 内置自动日夜型双滤光片切换机构，具有手动或自动彩转黑等多种切换方式；

 支持Onvif协议、国标GBT28181

 电子快门：1/25s~1/10000s；

 最低照度：彩色：0.01Lux @F1.2，黑白：0.001Lux @F1.2；

4、AI智能盒子

 AI领域自主开发的一台超级计算机。其外形小巧，性能强大，高效节能，专为高复杂的AI深度神经网络运算而设计。内嵌我司人脸识别算法，提供前端快速图像识别应用。

 产品具备同时进行多路高清5MP解码做人脸识别分析及学情应用；

基于人工智能的课堂教学智能监控系统