【國際手語日】「手語村」網絡遊戲登場 冀推動聾健共融

科技 13:00 2021/09/23

分享:

中大夥拍Google等多個夥伴,共同開發「手語村」網絡遊戲,今日推出市場。左為中大語言學及現代語言系手語及聾人研究中心副主任施婉萍。 (李寶如攝)

語音識別技術應用愈來愈普及,不過聾人群體常用的手語一直未有相關的自動識別及繙譯技術。為突破此項限制,香港中文大學與Google等多個夥伴,開發「手語村」網絡遊戲,藉此讓更多人主動認識及學習手語,實現無障礙溝通。

<<【機械人】針對辦公室環境 LSCM研發運送機械人

<<【科創兵團】融資交易平台主攻中小企 藉宅經濟進軍灣區

去年4月,中大夥拍Google、日本財團Nippon Foundation、關西學院大學開展「Shuwa計劃」,並以改善亞洲手語庫為目標,開發手語自動繙譯系統。經過一年多時間,該研究團隊成功研發全球首個多語言網絡遊戲「手語村」,並於今日正式推出。

「手語村」網絡遊戲於本年5月份開放測試版本,在遊戲正式推出之前,已有逾8,500人使用。該遊戲提供香港及日本的手語內容,並以輕鬆有趣的方式吸引用戶學習。玩家只需要一部設有攝像鏡頭的電腦便能練習手語。

    點擊圖片放大

偵測肢體動作 解讀手語

中大語言學及現代語言系手語及聾人研究中心副主任施婉萍指出,以往部分手語系統缺乏手語語言學理論,只着重識別手部或身體動作,或用一套動作代表一個手語,因此識別準確度較低。「針對此項痛點,是次中大參與研發的手語遊戲,就結合了手語語言學理論及人工智能技術,透過建立更精準的語音特徵模型,來提高手語識別能力。」

她表示,是次開發計劃牽涉多個合作對象,中大負責收集香港手語訓練數據,提供指導並監督項目發展。而Google則負責進行可行性研究,以及為團隊提供實時人工智能(AI)手語識別技術。施婉萍希望,透過遊戲的方式鼓勵更多人主動學習手語,進一步提升大眾對手語認識及對聾人社區的認知,從而推動聾健共融。

中大手語及聾人研究中心助理電腦主任鄭家耀稱,識別系統結合Google用作偵測肢體、手部動作等不同模型,可收集身體各部位的語言特徵來解讀手語。他指,由於部分手語的手型相差甚微,未來會繼續提升系統的識別及精準度。至於訓練數據方面也會不斷改進。「以往需要收集100次打法,才能建立一個手語,現時系統只需收集10次已經足夠。」

<<【人工智能】雲影像監控提高地盤安全 港初創viAct拓海外市場

設3練習場景 擴亞洲手語庫

鄭家耀表示,現時「手語村」遊戲設有3個練習場景,未來計劃新增動物園、廚房及機場等不同場景。另外,遊戲亦會增添更多手語詞彙,並加入其他國家手語。他也提及,未來將會推出手語詞典,用戶在使用文字或向鏡頭打手語時,可直接進行手語檢索查詢詞彙意思。

除了推出手語網絡遊戲,「Shuwa計劃」的另一項目為建立亞洲手語庫。鄭家耀透露,目前手語庫收集來自香港、日本、越南、印尼、緬甸等7個國家或地區的手語。香港地區共儲存了4,000多個手語,其他國家或地區約為1,000個。他稱,未來團隊會繼續擴大亞洲手語庫內容,並會挑選一些具有生活化及實用性的手語,增加至「手語村」遊戲中,以增加豐富性。

記者:李寶如

緊貼財經時事新聞分析,讚好hket Facebook 專版
訂閱《香港經濟日報》電郵通訊
收取第一手財經新聞資訊 了解更多投資理財知識 提交代表本人同意收取香港經濟日報集團所發出的推廣訊息,你也可以查閱本網站的私隱政策使用條款