影片的語音也能用「看」的
影片或語音檔案的字幕不但對於聽障朋友來說格外重要,對於所有人來說也都有所用處,比方在公共場合、會議中、夜深人靜時,我們都常常在關閉聲音的情況下關看影片,然而並非所有影片都具備字幕,並且不同App的字幕功能也不盡相同,導致有許多短片、聲音訊息、Podcast等內容無法使用字幕。
為了解決這個問題,Google為Android推出了Live Caption功能,能在裝置上直接將影片、音訊檔案中語音轉換為字幕,更棒的是轉換過程能夠完全在裝置上完成,過程不需要網路連線,因此不但不需負擔數據資費,也可以保護隱私並降低延遲。
▲Live Caption可以解決在靜音狀況下觀看影片的字幕問題。
透過AI強化翻譯
Live Caption會在運作過程中調用3個在裝置上執行的深度學習模型,其中包括用於辨識語音的遞歸神經網絡(Recurrent Neural Network,RNN)序列轉導模型(Sequence Transduction Model)、用於辨識標點符號的文字基礎遞歸神經網絡,以及用於分類語音事件的卷積神經網絡(Convolutional Neural Network,CNN),在這3種模型的協同運作下,可以提供完整的字幕,並能加註標點符號,以使用[APPLAUSE]、[MUSIC]等標籤表示鼓掌、音樂等背景音效。
有趣的是,語音事件分類模型不只用於標示背景音效,它還能分辨當下是否有語言,因此系統能在有語言出現時才進行語音辨識,如此一來就能大量降低整體運算需求,發揮降低記憶體用量與耗電量的效果。
至於辨識標點符號的模型,則是在系統將語音轉換為文字後,才開始針對文字進行分析,並切會針對最近識別的句子進行標點符號預測,如果下一個語音辨識結果沒有更改預測條件的話,就能保留先前的預測,同樣能發揮節省電力消耗,並加快辨識速度的效果。
目前英文版的Live Caption功能已經可以在Pixel 4和Pixel 4 XL等智慧型手機使用,並會在今年下放到Pixel 3系列機型,Google也計劃將功能推廣到其他其他Android裝置,並提供更多語言的支援,讓更多人能享用這個功能。
加入電腦王Facebook粉絲團