Google推AI手部追蹤技術 即時翻譯手語

科技 12:42 2019/08/22

分享:

透過機器學習,手語動作就可以跟已知的手勢相比對,從字母和數字的手語符號對應到所指語言。

現今全世界有數百種手語在聽障社群中使用,但將手語複雜的手勢即時翻譯成口語的技術,暫停留在發展階段。Google AI實驗室推出即時手部追蹤新技術,日後可望以手機即時翻譯。

由於使用手語時,手勢可能會遮住自己的手指、手掌,或是手會抖動;而且手部動作通常既快速又細微,就算同時採用多個攝影鏡頭,都仍然難於在手機或行動裝置環境中進行追蹤、辨識、分析並即時翻譯。Google AI研究人員先讓系統捕捉手掌,因為手掌大小通常固定,且是方形,可以避免系統在處理矩形或其他特殊圖像時所帶來的辨識困擾。當識別手掌後,其延伸出去的手指就可以被個別分析,依據所設定的21個座標,分析出指關節、指尖與手掌的距離,甚至根據手掌的大小、角度,推測出目前手勢的形狀。

為了完成這個手指識別的部分,研究人員必須先手動將這21個座標添加到各種姿勢和照明情況下的3萬張手部圖像中,以供機器學習系統攝取和學習。之後,透過機器學習,手語動作就可以跟已知的手勢相比對,從字母和數字的手語符號對應到所指語言。

據外媒報道,目前Google還未將研究成果用在任何產品上。Google AI博客的文章指出,未來希望讓追蹤技術變得更穩定,辨識更多手勢,並希望透過公開新技術,讓研究開發社群可以參與項目。

緊貼財經時事新聞分析,讚好hket Facebook 專版