機器人學院智能手環“妙手回聲”項目獲全國總冠軍
5月18日，2018“未來力大會”大學生社會創新大賽全國賽在上海落下帷幕，東北大學的“妙手回聲”項目榮獲創行中國科創冠軍賽全國總冠軍。“我們研發的手語雙向交互系統為聾人架起一座與世界溝通的橋梁，用一雙妙手化無聲為有聲。”項目指導教師、東北大學機器人科學與工程學院王斐副教授表示。
針對聽力殘疾人與健全人的交流困難問題，東北大學的曾振、賀瀟、李榮頡三位同學在機器人科學與工程學院王斐老師的指導下，研發了一套基于多源信息融合的手語雙向識別系統。該系統由三部分組成：佩戴式手環（用于采集上肢肌電與慣性信息），安裝手語雙向交流APP的平板電腦，手語識別云服務器。交流過程中，系統實時處理由手環采集得到的聾人上肢多源信息，基于深度學習在線識別手語關鍵詞，通過語法模型獲得手語詞句，經過語音芯片合成，實現手語到語音的轉換。同時，健全人的語音可以通過APP轉化成為文字和手語動圖，反饋給聽力殘疾人，從而實現兩者無障礙交流。
今年10月，王斐老師科研團隊將代表中國前往美國硅谷參加2018創行世界杯總決賽。
指導教師簡介：王斐，現為東北大學機器人科學與工程學院副教授，2004年于日本獲得工學博士學位。智能機器人專業，對助老助殘智能設備高度關注，針對肢體殘障人士，研制了智能仿生腿、異構雙腿機器人和柔順外骨骼機器人等，針對聽力殘障人士，研制了手語雙向交互系統。2005年底，作為引進人才入職東北大學，十幾年來一直從事智能機器人、人機交互和模式識別領域的教學科研工作，承擔國家級、省部級科研項目20余項。
