從自動回覆進步到自動撰文
先前Google曾推出Smart Reply,能分析Gmail信箱收到的電子郵件,並自動產生多組回覆範本,方便使用者快速點選並回信。而這次推出的Smart Compose,則是將功能提升到新的境界,它能夠在使用者撰寫電子郵件的過程中,即時預測接下來的語句,並以類似自動完成的方式,協助使用者完成後半段語句。
不過兩者畢竟還是有著許多不同。傳統的自動完成是透過記錄先前曾經輸入過的語句,並在偵測到輸入相同內容時,將後半段語句顯示出來,在輸入地址等長用固定語句時能發揮很大的功能,但是它並沒有能夠「憑空產生語句」的功能。Smart Compose則是透過人工智慧與機械學習的方式,來產生有意義的回覆。
Smart Compose在設計主要有3大考量,首先系統的反應速度要很靈敏,需要在0.1秒之內即時產生回覆。再來需要提供不同類型郵件內容的準確分析,以滿足超過14億Gmail使用者的需求。
最後則是為了確保使用者的隱私,所以限制開發人員接觸郵件內容,這也意味著開發人員要在無法閱讀郵件的前提下,設法訓練深度學習系統。
透過TPU提生效能
為了要滿足即時顯示預測語句的目的,開發人員捨棄Sequence-to-Sequence序列式自然語言分析,改採融合Neural Bag-of-Words(BoW)與RNN Language (RNN-LM)等語言產生模型(Language Generation Model)的技術,能在犧牲少量預測精準度的情況下提升運作速度。
在決定模型之後,下一步就是要調整模型的超參數(Hyperparameter,在系統開始學習之前設定的參數),並透過數十億則範例來訓練系統,並使用TPU進行訓練工作,以縮短訓練所需花費的時間。
在系統訓練完成後,若使用一般處理器進行運算,產生語句預測大概也需花費數百毫秒的時間,仍無法滿足使用上的需求。因此Google仍然依賴TPU進行運算,能讓所需的時間縮短至數十毫秒,並大幅提升單一伺服器能夠同時處理的工作數量,
開發團隊表示他們會持續改善預測語句的品質,並採用最先進的訓練方式進行實驗,一旦這些新的技術能夠滿足低延遲等條件,就能正式應用於Smart Compose。此外開發團隊也著手於個人化的語句模型,以求更加精準模擬每個使用者的文筆風格。