智慧教育：基于系统性文献综述的多模态学习分析研究进展与前瞻.pdfVIP

智慧教育：基于系统性文献综述的多模态学习分析研究进展与前瞻--第1页

智慧教育：基于系统性文献综述的多模态学习分析研究进展与前瞻

摘要：多模态学习分析是指利用“多模态”的思想和方法对学习

者的内在学习状态、特征与变化进行深度诠释，旨在挖掘学习规律、

优化学习过程、促进精准教学。在教育大数据研究范式下，多模态学

习分析应运而生并形成了诸多研究成果。运用系统性文献综述方法对

国内外多模态学习分析相关研究进行梳理发现：当前多模态学习分析

研究聚焦于数据采集、数据融合和数据建模三大方面。在数据采集上，

得益于智能感知技术的发展，文本、语音、动作、表情、眼动、生理

等模态数据备受关注且获取方式愈加便捷；在数据融合上，主要以数

据层融合、特征层融合、决策层融合为主，因应深度学习算法的发展，

混合式融合初见端倪；在数据建模上，涌现出面向知识、认知、情感、

交互状态的学习者模型，且基于多元学习状态的整体性模型日益受到

重视。未来多模态学习分析研究应加强情境感知，实现场景数据的混

合采集；深挖理论基础，促进数据融合的科学精准；重视情境依存，

强化数据建模的情境适用。

关键词：多模态学习分析；数据融合；数据建模；学习者模型；

系统性文献综述

一、引言

2021年12月，中央网络安全和信息化委员会印发《“十四五”

国家信息化规划》，提出要建立高效利用的数据要素资源体系（中央

网络安全和信息化委员会，2021），激发和提升数据要素赋能作用，

以创新驱动、高质量供给引领和创造新需求。在教育领域，激发和提

智慧教育：基于系统性文献综述的多模态学习分析研究进展与前瞻--第1页

智慧教育：基于系统性文献综述的多模态学习分析研究进展与前瞻--第2页

升数据的创新驱动作用是深化新时代教育评价改革的新趋向。随着大

数据、物联网、移动互联网、人工智能等新一代信息技术的蓬勃发展，

教育数据的赋能作用逐渐普及，使得教育研究从“假设驱动”走向“数

据驱动”，催生并孕育出“教育大数据研究范式”（赵佳丽等，2020）。

在此背景下，多模态学习分析（MultimodalLearningAnalytics，MMLA）

悄然兴起，并走入人们的视野。它打破了传统评价仅仅以计算机为介

导的单一渠道（如在线学习管理系统、社交网络环境）获取单一模态

数据的局限，主张通过捕获、融合和分析跨情境、跨空间等更为复杂

开放的学习环境中的语音、行为、表情、生理等多源异构数据，解释

和预测学习者的行为习惯、认知规律、心理状态与情感变化。这对于

构建连接高层学习理论与底层数据的学习者模型，实现科学化、精准

化、个性化、全景式的教学评价，以更好地优化学习者的学习体验，

助力学习者更加投入、更加有效地开展学习等具有重要价值。

当前，多模态学习分析方兴未艾，日益成为学者们认识、理解学

习进而优化、变革学习的重点课题。然而，如何采集数据（Worsleyet

al.，2015；Spikoletal.，2017）、融合数据（Kadadietal.，2014；Samuelsen

etal.，2019）、建模数据（牟智佳，2020；王一岩等，2021）依然是

多模态学习分析从教育实验环境的个案分析走向真实教育场景的全

样本透视亟需破解的问题。因此，本研究将聚焦多模态学习分析中的

数据采集、融合、建模三大问题进行梳理和阐释，以期为多模态学习

分析的应用提供整体性思路。

二、研究方法

智慧教育：基于系统性文献综述的多模态学习分析研究进展与前瞻--第2页

智慧教育：基于系统性文献综述的多模态学习分析研究进展与前瞻--第3页

本研究采用系统性文献综述法，通过对相关文献进行检索、筛选

和评估，最终确定研究