東華大學(xué)信息與智能科學(xué)學(xué)院研究團(tuán)隊在智能可穿戴與人機(jī)交互領(lǐng)域取得重要進(jìn)展

　　近日，信息與智能科學(xué)學(xué)院常姍課題組在智能可穿戴與人機(jī)交互(HCI)領(lǐng)域取得重要進(jìn)展，相關(guān)研究成果被 CCF A 類國際會議INFOCOM 2026 錄用。這也是該課題組在該領(lǐng)域取得的系列重要進(jìn)展之一。到目前為止，課題組已經(jīng)在相關(guān)領(lǐng)域發(fā)表了多篇 CCF A/B 類會議及期刊論文。
 

　　語音是人機(jī)交互中最自然、最高效的模態(tài)之一，并日益成為移動設(shè)備、可穿戴系統(tǒng)和智能助手的主導(dǎo)輸入接口。根據(jù)最新預(yù)測，全球語音識別市場在未來幾年依然呈現(xiàn)快速增長趨勢。但是語音交互在實(shí)際應(yīng)用中仍面臨諸多挑戰(zhàn)，特別是在嘈雜環(huán)境、隱私敏感場合或針對語音障礙人士時。所以無聲語音接口應(yīng)運(yùn)而生，其旨在不發(fā)聲的情況下準(zhǔn)確理解內(nèi)容，這為在無法使用或不方便使用語音的場景下，通過無聲語音接口實(shí)現(xiàn)自然且魯棒的人機(jī)交互提供一種極具前景的解決方案。
 

　　但現(xiàn)有的基于視覺、無線信號或慣性傳感器的無聲語音接口方案常面臨侵入性強(qiáng)、環(huán)境敏感或部署復(fù)雜等問題。本研究提出一種名為Baro2Talk的新型耳戴式無聲語音交互系統(tǒng)，如圖1所示，Baro2Talk設(shè)計的核心見解是：即使在無聲狀態(tài)下進(jìn)行的言語發(fā)音，也會引起耳道壓力的微妙波動。這些壓力變化主要由以顳下頜關(guān)節(jié)(TMJ)為主的(連同下頜、舌頭及其他周圍口腔結(jié)構(gòu))發(fā)音運(yùn)動驅(qū)動，展現(xiàn)出一致且包含語義信息的模式(如圖2所示)。本研究將這些序列稱為顳下頜關(guān)節(jié)主導(dǎo)的壓力變化序列(TPVS)。這為建立耳內(nèi)壓力變化與其根本原因(TMJ運(yùn)動)以及最終語義之間的映射模型提供了契機(jī)。
 

圖1 Baro2Talk概念示意圖
 

圖2 來自兩個短語的TPVS示例
 

　　為此，本研究將微型氣壓計嵌入標(biāo)準(zhǔn)耳塞中以捕獲TPVS，并利用其重建梅爾語譜圖，而非直接還原文本內(nèi)容。這是因為壓力信號的采樣率(約100 Hz)遠(yuǎn)低于音頻信號，導(dǎo)致低頻TPVS與高維文本嵌入之間存在顯著的維度失配。直接將TPVS映射到文本將需要海量的數(shù)據(jù)。相比之下，梅爾語譜圖將TPVS轉(zhuǎn)化為符合語音特征的高頻表示，在橋接模態(tài)差異的同時保留了共振峰和基頻輪廓等關(guān)鍵特征。此外，由于梅爾語譜圖是通用自然語音識別系統(tǒng)(如Whisper)的標(biāo)準(zhǔn)輸入，所以成為了理想的中間表示。然而，本研究仍然面臨三個關(guān)鍵挑戰(zhàn)：1.低信噪比與易受干擾的壓力信號。本研究提出一套數(shù)據(jù)預(yù)處理流程，包括直流漂移去除、帶通濾波和信號放大，以降低噪聲并清晰化形變信號。并通過局部穩(wěn)定性檢查增強(qiáng)的短時能量檢測方法，從連續(xù)的TPVS中提取無聲語音形變事件；2.用戶間差異與節(jié)奏多樣性。如圖3所示，本研究使用領(lǐng)域?qū)箤W(xué)習(xí)訓(xùn)練了一個Baro-Encoder，以提取用戶不變的語義特征。同時，設(shè)計了一種基于節(jié)奏感知的數(shù)據(jù)增強(qiáng)策略，生成TPVS的時域扭曲變體，增強(qiáng)對說話速度變化的魯棒性；3.非聲學(xué)模態(tài)與缺乏細(xì)粒度監(jiān)督。如圖4所示，與基于聲帶或揚(yáng)聲器振動的語音信號不同，TPVS源于人類內(nèi)部發(fā)音動作，不含聲能。其頻譜圖在語音領(lǐng)域并非固有有意義，使得直接映射到音頻頻譜圖變得不可行。此外，無聲語音缺乏對齊的音素或幀級標(biāo)簽，阻礙了傳統(tǒng)監(jiān)督回歸或基于對齊模型的使用。
 

圖3 對抗預(yù)訓(xùn)練Baro-Encoder示意圖
 

圖4 不同生理機(jī)械運(yùn)動下的梅爾語譜圖差異對比
 

　　為此，如圖5所示，本研究提出一個三階段梅爾譜圖重建管道，將語義理解與梅爾譜圖生成解耦。首先，名為S-Former的語義編碼器將句子的完整TPVS映射到與其文本嵌入共享的潛在語義空間，避免了對齊需求。其次，利用學(xué)習(xí)到的潛向量通過生成式網(wǎng)絡(luò)MS-GAN逐步生成粗粒度梅爾語譜圖。最后，通過自適應(yīng)殘差學(xué)習(xí)實(shí)現(xiàn)的音素增強(qiáng)(PEARL)對其進(jìn)行精細(xì)化，從而在無聲學(xué)監(jiān)督的情況下實(shí)現(xiàn)梅爾語譜圖的高保真重建。
 

圖5 三階段梅爾譜圖重建管道
 

　　在無聲語音交互過程中，梅爾語譜圖的重建質(zhì)量直接決定了最終ASR文本預(yù)測的準(zhǔn)確性。由于TPVS不包含聲學(xué)諧波，重建過程極具挑戰(zhàn)。如圖6所示，本研究通過消融實(shí)驗，清晰地展示了系統(tǒng)各模塊對梅爾語譜圖重建效果的貢獻(xiàn)。
 

圖6 梅爾語譜圖重建效果對比
 

　　本研究跨越六個月，收集來自25名參與者(包含無聲和有聲發(fā)音條件)的數(shù)據(jù)集對該系統(tǒng)進(jìn)行了評估。如表1所示，該系統(tǒng)在文本預(yù)測和梅爾語譜圖重建方面均由于代表性的SSI基準(zhǔn)方案。
 

表1 不同方法的文本預(yù)測精度和梅爾語譜圖重建效果

 

　　
       本研究工作發(fā)表在計算機(jī)學(xué)會推薦A類會議IEEE International Conference on Computer Communications(INFOCOM 2026)上。
 

　　信息員：丁寧 編輯：李盈頡
 

　　原標(biāo)題：前沿探索 | 我校信息與智能科學(xué)學(xué)院研究團(tuán)隊在智能可穿戴與人機(jī)交互領(lǐng)域取得重要進(jìn)展