神夜拍讓黑夜變白晝
Google長期投入許多心力研發影像處理技術,Pixel 3也實裝許多強化攝影、拍照的功能,筆者先前也曾撰文介紹,讀者可以參考這篇文章快速瞭解Pixel 3提供的各種攝影功能,以及在這篇文章提到的Super Res Zoom數位變焦功能。
筆者會在本文說明Pixel 3的Night Sight夜拍技術,基本上它是運用類似HDR的影像疊加技術,在光線不足的情況下自動拍攝多張照片,並如Super Res Zoom技術一樣將照片疊加起來,增加光線亮度,並透過機器學習的方式強化色彩,當在月光下、營火旁,或是步出打烊的酒吧等昏暗環境中,仍然能讓使用者拍出明亮、色彩鮮艷且細節清晰的照片。
夜拍的難處在哪裡?
你應該會有種經驗,就是在光線不足的地方拍照時,拍出的照片會有很多噪點,它們就像是隨機出現在畫面中的雜色光點,讓畫面看來更加模糊,這種稱為散粒雜訊(Shot Noise),其主要成因為進入鏡頭的光子(Photon)數量的自然變化,這個問題在鏡頭與感光元件都偏小的手機上,會因為進光量不足的原因,導致狀況更加明顯。
除此之外,因為感光元件的表面並非完美無瑕,所以當感光元件被光子照射,將光線轉換成電子訊號時,會產生隨機的雜訊與錯誤訊號,這類訊號被稱為讀取雜訊(Read Noise)。
將上述的雜訊以及其他雜訊的強度加總後,再除以有用訊號的強度,就可以得到整體的訊噪比(Signal-to-Noise Ratio,SNR),當訊噪比越大,畫面就越清晰、雜訊越少。
由於訊噪比拍照的曝光時間成平方正比,所以曝光時間越長訊噪比就越大,照片也就會越清晰。然而當我們手持相機拍攝時,一定會有晃動情況發生,或造成畫面模糊,所以在沒有使用腳架的情況下,長時間曝光並不是那麼實際。
Google先前就曾提出HDR+技術,在高速拍攝多張照片後(曝光時間短,但連拍多張),再透過軟體方式將圖像對齊並疊合起來,一來能夠延長曝光時間以增加照片的訊噪比,也能避免手震造成的影響,除了加強畫質之外,也可以增加照片的動態範圍,讓畫面中的亮部與暗部都能清楚地顯示出來。
一般智慧型手機的相機最低能應付光線調件為30 Lux(勒克斯,照度單位)的場景,使用HDR+之類的疊圖方式則可應付3 Lux,若是場景更暗的話,就需使用補光燈或閃光燈。而Pixel 3的Night Sight夜拍技術,則是將目標定在不使用補光燈,就能在0.3 Lux環境中攝影。
常見照度對照表
太陽下:30,000Lux
陰天:1,000Lux
辦公室內:300Lux
燈光美、氣氛佳的餐廳:20Lux
路燈下:3Lux
閱讀報紙的極限亮度:1Lux
滿月:0.6Lux
暗到找不到地上的鑰匙:0.3Lux
延長曝光增加訊噪比
由於我們知道延長曝光時間可以增加照片的訊噪比,讓畫面更加清晰,但是這個方式在Pixel系列智慧型手機上卻會遇到2個問題。
第一是Pixel在預設狀態下開啟相機App後,系統會啟動零延遲拍照(Zero-Shutter-Lag)協定,自動在背景不斷拍攝並將照片儲存至循環緩衝區(Circular Buffer,會自動刪除最舊的照片以騰出空間寫入新照片),當使用者按下快門鍵後,系統就會從緩衝區讀取9至15張照片,並傳送至HDR+或Super Res Zoom軟體進行後續處理。這代表著使用者可以確實補捉按下快門瞬間的畫面,但是因為HDR+將曝光時間上限定為66ms,所以在昏暗的環境中,手機螢幕的顯示頻率可能會下降至15FPS,對取景有些許影響。
如果環境更暗的話,Night Sight夜拍模式就會啟動主動快門延遲(Positive-Shutter-Lag)功能,在使用者按下快門鍵後才開始擷取影像,並延長更多曝光時間。雖然這會增加手震所造成的模糊,但如果使用者能穩定持握手機,在光學防手震機構的協助下(Pixel 2、3的光學防手震大約可抵消曝光1/8秒之內造成的晃動),就能拍出更清晰的照片。
另一個問題是光學防手震並無法對付更長的曝光時間或是移動中的物體,為了要進一步消除畫面中模糊的狀況,所以Pixel 3預設會在所有攝影模式開啟動態測量(Motion Metering)功能,Pixel1、2則是會在Night Sight夜拍模式啟用該功能。系統會測量影像移動的狀態,自動在333ms以內的範圍選擇適合的曝光時間,以兼顧進光量與避免模糊之間的平衡,如果手機很穩定、沒有晃動的話,曝光時間可以延長至1秒。
另一方面,系統還能根據不同的晃動狀況,改變取用連拍照片組的數量,比方在手持拍攝時會以1/15秒曝光並取用15張照片,使用腳架的話則會將曝光時間延長至1秒並只取6張照片,以確保最佳呈現效果。
(下頁還有疊圖技術與其他需克服的困難說明)
疊圖技法降低雜訊
透過疊合多張照片並取各像素的平均值以降低雜訊,並不是個很新的概念,在天文攝影中也常常使用這種稱為曝光堆疊(Exposure Stacking)的方式強化影像品質,然而這種方式最大的難處在於攝影時相機與被拍物品都不能移動,否則在疊合照片的時候就會產生偏差,導致照片看起來比較模糊。
Night Sight模式使用相近的概念,在Pixel 1、2等裝置利用HDR+搭配疊圖演算法,增強偵測與剔除無法對齊的照片,來強化疊圖效果。Pixel 3則是改以Super Res Zoom為基礎的演算法進行疊圖(但不縮放圖片),能夠帶來更理想的效果,但因需要更高的運算資源,所以僅適用於Pixel 3。
白平衡與色差別來亂
由於人類的眼睛可以自動「校正」我們所看到的色彩,所以相同物體在不同顏色光線照射下,在我們的感觀中也不會有太大色偏,但是相機卻沒有這種能力,因此需要透過調整白平衡的方式,讓顏色趨於正常。以現在數位攝影的技術而言,相機的自動白平衡已經可以克服大部分的問題,但是當在低光源的環境中,自動白平衡可能就會失準。
為了解決這個問題,Google開發了基於機器學習的自動白平衡演算法,開發人員事先使用Pixel手機拍攝各種場景,然後在專業螢幕上查看照片並手動校正白平衡,在資料庫建立後,演算法就能自動辨識照片的白平衡是否正確,並自動調整色溫讓色彩趨於中性。
另一個問題與人類眼睛的構造有關。在極低光源的環境中,視網膜中的視錐細胞會停止運作,只留下視桿細胞能發揮作用,這讓我們只能分辨物體的形狀而無法分辨顏色,而且因為視桿細胞的空間敏銳度較低,會讓物品看起來比較模糊不清。
但是如果我們使用腳架進行長時間曝光攝影,就可以解決上述問題,在夜晚拍出藍天綠地與星星同時出現的照片,雖然效果很有趣,不過跟我們的期望有些出入。於是Pixel透過S函數(Sigmoid Sunction)校正色彩,在夜拍強化效果與圖像呈現之間取得平衡,讓一來可以強化暗部區域的細節,又不會把黑夜拍成白天而產生違和感。
雖然Pixel 3的Night Sight夜拍模式有著讓人驚豔的效果,但是它仍然有使用上的限制,若環境照度低於0.3Lux,自動對焦系統就不容易鎖定焦距,不過這個時候使用者仍然能手動選擇近(4英呎)、遠(12英呎)等2種固定焦距,其中後者為泛焦距離,因此可用於拍攝約6英呎至無限遠的物體,雖然操作比較麻煩,但有機會增加拍照成功率。
開發團隊表示他們仍然在努力改善照度0.3Lux以下的自動對焦能力,以提供更完善的相機功能,在這同時,使用者仍然能使用腳架搭配適當的App,以手動對焦方式完全釋放Night Sight的實力。
加入電腦王Facebook粉絲團