隨著教育信息化快速發(fā)展，在線學習已成為大學生獲取知識的重要途徑之一。然而，與傳統(tǒng)面對面教學方式相比，在線學習環(huán)境中師生互動減少，大學生情感狀態(tài)難以被及時感知，間接影響學生學習效果及教學質量。情感分析技術在精準掌握和理解學習者心理狀態(tài)、情感表達、行為轉化等方面發(fā)揮著無可替代的作用，將其應用于大學生在線學習領域會對當前的大學生在線學習困境產生意想不到的改善效果。在此背景下，如何構建大學生在線學習情感分析模型成為高校解決的命題之一，多模態(tài)數據融合技術能夠為解決這一問題提供新的思路和方向，為大學生在線學習構建更加智慧、包容的環(huán)境和氛圍，為高等教育高質量發(fā)展注入新動能。
采集數據，構建情感分析模型基礎。高?？梢酝ㄟ^采集文本、語音、視頻三個維度的數據，全面捕捉學生的情感變化，確保數據來源的多樣性和代表性。采集文本數據，文本數據是反映大學生在線學習情感的重要來源之一，各高校可以采集大學生在在線學習平臺上發(fā)表的課程評論、論壇交流和即時通訊記錄等文字內容，利用爬蟲技術過濾掉無效文本，對有用數據進行結構化整理，同時精準記錄每條文本數據的采集時間，便于后續(xù)與其他模態(tài)數據對齊。采集語音數據，語音數據作為一種重要的模態(tài)數據，在大學生在線學習情感分析中扮演著關鍵角色。利用麥克風或頭戴式耳機等智能設備錄制學生在線學習過程語音，同時借助相關技術確保錄音環(huán)境的噪聲干擾最小化，以便精準捕捉學生的語調、音強、語速等聲學特征，進而分析學生在特定時間段的情感狀態(tài)。采集視頻數據，視頻數據能夠提供關于大學生在線學習過程中的面部表情、身體姿態(tài)以及眼神動態(tài)等多維度信息，為情感分析提供豐富的視覺線索。在在線教育場景中，通過智能攝像頭設備實時捕捉學生情感變化的外在表現，作為多模態(tài)數據中的視頻數據資料，同時兼顧技術實現與倫理規(guī)范，明確視頻的采集獲得用戶的知情同意，并對涉及個人隱私的部分進行匿名化處理。
處理數據，是提升情感分析模型性能的關鍵環(huán)節(jié)，高校需要針對不同模態(tài)數據的屬性和特點對其開展針對性的清洗、標注工作。清洗數據，數據清洗是實現多模態(tài)數據融合不可或缺的一步，其主要目的是去除噪聲數據、重復數據和無意義數據，有效提高數據的質量和可用性。具體而言，對于文本數據，清洗過程包括去除無效回復、標點符號及明顯存在格式錯誤的內容；對于語音數據，需要通過信號處理技術去除數據中的背景噪聲和環(huán)境干擾；對于視頻數據，則需要進行幀率調整、圖像增強和剔除異常幀的清洗操作。此外，為顯著提升模型的訓練效率和預測準確性，還需要關注各模態(tài)數據之間的一致性，為后續(xù)多模態(tài)融合分析提供便利。標注數據，數據標注是將采集的多模態(tài)數據轉化為可用于模型訓練形式的關鍵步驟。在這一過程中，高校應當邀請領域專業(yè)人士對清洗后的數據進行或高興、或驚奇、或生氣、或困惑等類別的情感標注，以確保標注結果的準確性和專業(yè)性。此外，借助深度學習技術，將半監(jiān)督學習、弱監(jiān)督學習等方法應用于數據標注工作，以此來減少人工標注成本，同時為模型訓練提供更高質量的數據基礎。
構建模型，核心在于設計有效的多模態(tài)融合機制。多模態(tài)數據融合下大學生在線學習情感分析模型的整體架構可以分為特征提取模塊、融合模塊和情感分析模塊三大主要模塊，各模塊通過雙向信息流實現高效協(xié)同工作，確保模型的整體性能達到最優(yōu)。特征提取模塊，對于文本模態(tài)，可以選用雙向門控循環(huán)單元模型進行特征提取工作，以便捕捉上下文之間的依賴關系，此外如果不考慮成本問題，可選用雙向編碼器表示模型理解文本中的復雜語義；對于語音模態(tài)，則可以采用1D卷積神經網絡模型來進行聲學特征提取工作；對于視頻模態(tài)，可使用3D卷積網絡進行特征提取工作，進而處理連續(xù)幀的面部表情變化。融合模塊，采用分層交互融合策略，通過注意力機制將不同模態(tài)的特征進行深度融合，以此來增強后續(xù)情感識別工作的精準性。情感識別模塊，利用全連接層結構對融合后的數據特征進行分類，并輸出學生的情感狀態(tài)概率分布狀況，進而對大學生的在線學習做出較為科學、全面、精準地情感分析。
本文系2024年湖南省職業(yè)院校教育教學改革研究項目“基于多模態(tài)數據融合的學習情感計算及應用研究”（編號：ZJGB20245
27）。
（作者單位：湖南開放大學）