近日，國際工程領域機構Advances in Engineering (AIE) 對我院情感計算團隊的最新研究成果——“Speech Emotion Recognition Based on Convolutional Neural Network with Attention-based Bidirectional Long Short-term Memory Network and Multi-task Learning”進行專題報道。AIE所報道的論文是由國際專家顧問組選出，方向包括通用工程、電子、機械、土木、納米、材料、生物醫學工程等，中選率為以上領域發表論文總數的1‰。AIE擁有廣泛的讀者群，每月的閱讀量超過75萬次。

 

該研究提出基于帶注意力機制雙向長短期記憶網絡和多任務學習的語音情感識別方法。為了反映語音信號的動態特性和增加輸入特征的多樣性，通過計算Log-Mel頻譜圖的速度和加速系數，構建模型的三通道輸入。利用卷積神經網絡提取淺層特征，并輸入到基于注意力機制的雙向長短期記憶網絡來學習深層特征。通過情感、效價-喚醒維度、性別的多任務學習，實現不同說話人的情感識別，增強了語音情感識別模型的泛化能力。

 據悉，該研究屬于國家自然科學基金面上項目“面向人機自然交互的小樣本非特定說話人語音情感識別研究”（61976197）的研究內容之一。我院劉振燾副教授帶領的情感計算團隊在語音情感識別方面取得較大進展，在語音情感特征工程、深度學習模型構建等方面提出多種有效方法。研究成果發表在IEEE Transactions on Multimedia，Information Sciences，Applied Acoustics等國際人工智能重要期刊上。上述研究成果可以應用在精神健康診斷與監測、電話客服服務質量監測、智能人機交互等領域，具有廣闊的應用前景和發展潛力。

新聞鏈接：https://advanceseng.com/speech-emotion-recognition-convolutional-neural-network-attention-bidirectional-long-short-term-memory-network-multi-task-learning/  

論文鏈接：https://www.sciencedirect.com/science/article/pii/S0003682X22005527