基于边缘智能与自然背景抠图的慕课系统设计与实现.pdf

摘要

慕课作为在线教育的一种重要模式，摆脱了授课时间与地点的束缚，其自身

的特点就决定了能够让学生能够做出更多的自主选择。除此之外，慕课还引出了

终身学习的概念，能够让拥有不同文化背景和年龄差异的受众共享同样的优质课

程资源。然而，慕课制作存在成本高昂、处理周期长以及受限于录制地点等不足。

因此，本文采用了一种在自然背景下实现的全自动抠图算法，并且将实时且鲁棒

的模型部署在功耗不足15瓦的边缘计算设备上。本文的主要工作有：

(1)用自然背景代替绿幕，解除了场地之于慕课录制的限制，解决了传统方式

里绿幕抠图依赖人工和设备辅助的问题。然而，目前最先进的自然背景抠图算法

中使用的细化网络在边缘计算设备上耗时较久，给实时处理带来了不小的挑战。

因此，针对细化网络耗时的问题，本文提出用一种快速端到端可训练引导滤波器

作为细化网络，利用引导滤波器来恢复分辨率。

(2)为了进一步提高处理帧率，提出继续对模型进行非结构化剪枝，然后进行

微调恢复精度。非结构化剪枝虽然保留了神经网络的连接，但是同时也带来了稀

疏性，权重稀疏的结构往往无法使用高效硬件中可用的向量和矩阵指令来加速常

见的网络操作，因而导致更加耗时。针对该问题，本文基于TensorRT推理框架，

生成与基线精度接近的稀疏神经网络，对其进行加速。

(3)设计并实现了一个慕课场景自动生成系统。基于边缘计算平台Jetson

XavierNX与Qt框架构建了一套用于慕课场景生成的软硬件一体化系统。

结果表明，在经过模型优化、剪枝以及加速后，模型依然保持了良好的精度

与鲁棒性，同时在边缘计算端帧率可以达到45fps(720p)以及31fps(1080p)。

关键词：背景抠图；边缘计算；引导滤波；模型剪枝

I

目录

摘要I

AbstractII

目录III

1引言1

1.1研究背景及意义1

1.2国内外研究现状2

1.2.1慕课2

1.2.2边缘计算2

1.2.3抠图3

1.2.4模型剪枝5

1.3论文的主要工作6

1.4章节安排6

2基于深度引导滤波的自然背景抠图算法研究8

2.1编码器8

2.1.1MobileNetV28

2.1.2ResNet9

2.1.3MobileNetV2与ResNet比较10

2.2ASPP10

2.3细化网络11

2.4模型训练12

2.4.1数据集12

2.4.2数据增强13

2.4.3损失函数14

2.4.4Adam优化器15

2.5抠图算法评价指标16

2.6实验与分析17

2.6.1模型性能17

2.6.2推理速度18

2.7本章小结18

3基于非结构化剪枝与TensorRT的模型压缩方法19

3.1模型剪枝19

3.1.1非结构化剪枝19

III

3.1.2微调20

3.2TensorRT21

3.3实验与分析23

3.3.1模型性能23

3.3.2推理速度23

3.4本章小结24

4慕课系统设计与实现25

4.1系统需求25

4.1.1系统服务对象25

4.1.2系统功能性需求25

4.1.3系统性能与可维护性25

4.2系统概要设计26

4.2.1架构设计26

4.2.2系统硬件配置与软件运行环境26

4.3模块设计与实现27

4.3.1自然背景抠图模块设计与实现27

4.3.2模型压缩模块设计与实现28

4.3.3外部接口设计与实现29

4.3.4客户端界面设计与实现30

4.4系统测试31

4.4.1局域网通信32

4.4.2可视化界面32

4.5本章小结34

5总结与展望35

5.1总结35

5.2展望35