Google Pixel 4手機如何拍下美麗星空？全新Night Sight技術大解析

手機夜拍再突破

Google Research的軟體工程師Florian Kainz和Kiran Murthy在官方部落格說明了Night Sight功能的運作原理。他們提到在這之前天文攝影都是單眼相機等大型器材的天下，攝影師需要攜帶笨重的設備，並透過繁雜的後處理、修圖，才能呈現理想的圖像品質。

Google在去年於Pixel 3系列智慧型手機推出的Night Sight夜拍功能，能讓手機在低光源的環境下拍出亮麗的照片，而不像一般手機會有顆粒狀雜點、嚴重曝光不足的問題。讀者可以參考筆者先前撰寫的《深入研究Pixel 3 Night Sight神夜拍，疊圖技法立大功》，或《Pixel 3相機系列文章》。

而到了2019年，研發團隊推出新版Night Sight，再次突破透過手機相機在低光源環境攝影的極限，藉由在Pixel 4上最多曝光4分鐘，或在Pixel 3和3a上最多曝光1分鐘，達到在沒有任何人造光的情況下，拍攝清晰夜空照片的效果。

▲ 以Pixel 4在夏威夷哈萊亞卡拉火山所拍攝的星空，照片中的細節遠遠超過肉眼所能看見的範圍。（圖片來源：Google，標題圖與下同）

疊圖取代長曝光

相機的感光元件在運作的過程中，原本就有一些稱為散粒雜訊（Shot Noise）的不確定性，會讓拍攝出來的照片看起來比較粗糙，而散粒雜訊會隨著光通量（相機捕捉到的光線總量）的增加而下降，所以為了要增加圖像的細膩度，需要盡可能讓更多光線進入相機。

我們有2種方式可以增加光通量，第1種方式就是加大相機的感光元件或光圈，然而這些變因屬於硬體規格的限制，只能透過更換設備的方式達成，而第2種方式為增加快門時間，透過延長曝光時間以增加捕獲的總光線量，然而增加快門時間的副作用，就是會讓移動中的物品留下殘影（比方拍攝夜間車燈的光軌就是用這個方式），或是因為手震讓照片變得模糊。

為了解決這個問題，Night Sight會將整個曝光時間拆分為多段，拍下多張曝光時間較短的照片，以減輕每張照片的模糊狀況，然後再修正各張照片因物品移動與手震造成的模糊，並將所有照片對齊、疊加在一起，然後仔細處理無法完美對齊的區域，讓相對模糊的多張照片合成1張清晰的照片。

開發團隊也提到，在初代Night Sight發表後，他們便開始嘗試在黑暗的室外環境拍攝星空，但也注意到需要數分鐘的曝光時間才能產生高品品質的照片，因此不適合用於手持手機拍攝，需要以三腳架固定手機，或將手機放在石頭或其他可以固定手機的地方。

值得注意的是，即便用三腳架固定手機，Night Sight的長曝光時間也會因場景中樹木隨風搖曳、雲朵飄蕩、月落日升等物品移動的狀況而留下殘影。然而我們可以忍受樹枝和雲朵有些模糊，確無法忍受星星呈現線條的形狀。因此在實驗後，開發團隊發現拍攝夜空照片時，各段曝光時間不應超過16秒，這樣能讓星星看起來像光點。

然而考慮到拍攝照片所需的時間，開發團隊認為很少願意為1張照片等上4分鐘，因此將Night Sight攝影的上限訂為最多可以疊加15張圖片，每張圖片曝光16秒，以在等待時間與照片品質間取得平衡。

▲如果曝光時間太長，星星看起來就會像模糊的線條，而非清晰的光點。

克服暗電流雜訊

暗電流（Dark Current）是指感光元件沒有受到光線照射時，還是會隨機產生微小電流，這讓拍攝光線量本來就很低的星空倍受挑戰，因為暗電流雜訊的比重可能跟星星的光線訊號強度差不多，當曝光時間很短時，這種影響可以忽略不計，但是對於長時間曝光而言，影響就變得更加明顯。

暗電流的肇因為感光元件晶圓製程無法避免的瑕疵，而感光元件的某些像素可能也會因其他瑕疵而在至照片中形成亮點，我們能做的是透過比較同張圖片與連續拍攝多張圖片中相鄰像素，找出異常的亮點，並將亮點移除後用周圍像素的平均值取代，雖然這樣會損失原始像素資料，但實際上這不會對整體圖像品質造成顯著影響。

▲ 加長曝光時間會加劇暗電流產生如左圖的雜訊，右圖則是消除異常雜點後的效果，可以看到包括微弱燈光等細節都被保留下來。

（下頁還有更多技術說明）

化解構圖難題

由於單眼相機具有光學取景窗，所以即便在昏暗的環境下，攝影師還是可以順利構圖。

由於智慧型手機沒有光學取景窗，所以需要看著螢幕上的預覽畫面進行構圖。在手機相機運作的過程中，為了要讓預覽畫面即時反應鏡頭對準的方向，所以最低畫面更新頻率至少要維持在15幀，如此一來最長曝光時間將只有66毫秒，進而產生進光量不足、畫面會昏暗不清的問題。

在大約等同滿月的光照條件下，手機畫面大概會變成黑漆漆一片，沒有任何風景，只剩下幾顆明亮的星星還看得見，對於構圖來說是個相當大的挑戰。

為了解決這個問題，Night Sight採取比較折衷的快門後取景窗（Post-Shutter Viewfinder）解決方案，系統會將每段長時間曝光拍到的照片顯示在螢幕上，由於這些照片的曝光時間長達16秒，所以比即時預覽中感光元件捕捉的光線量多出250倍。

所以在按下快門的16秒之後，攝影師就可以查看構圖，並調整手機的角度，待確定構圖正確無誤後，再刪掉這張「試拍」的照片，並進行正式拍攝。雖然這種方式在產生每張預覽畫面時都需要等待16秒，不需要真正等待4分鐘才能看到構圖畫面，能夠增加拍攝的成功率。

至於相機的自動對焦方面，也會因為入射的光線不足而面臨挑戰。在一般攝影的環境下，系統會偵測並微調鏡頭與感光元件的距離，讓景物能正確聚焦在感光元件上，如此一來才能拍下清晰的照片。然而在微弱光線環境下，預覽圖片的畫面可能會太暗且充滿顆粒狀雜訊，讓系統難以確認是否對焦成功。

所以Night Sight也導入了快門後自動對焦（Post-Shutter Autofocus），當使用者按下快門鍵後，系統會拍攝2張曝光時間最長為1秒的預覽圖片，用於當作檢驗自動對焦的依據，能在光線量低於肉眼可以清晰地分辨物體的情況下進行對焦。但是當光線還是不足以滿足自動對焦系統的需求，系統則會將焦距放在無限遠處（適合拍攝風景與星空），或是使用者也可以透過手動對焦調整照片焦距。

▲ 上圖是Night Sight模式的即時預覽畫面，除了遠處建築物發出的燈光外，風景和天空基本上是看不見的。下圖則是快門後取景窗預覽畫面，可以看到畫面清晰許多。

人工智慧調暗天空顏色

我們都認為晚上的天空是黑暗的，但是如果透過Night Sight拍攝的照片太過明亮，與現場實際環境差異太大的話，可能會讓觀看照片的人產生混亂，以為拍攝時間是白天。為了解決這種問題，Night Sight借助人工智慧的力量，選擇性調低照片中天空部分的亮度，來抵消這種混亂感。

在實際運作過程中，系統會在手機上執行以10萬張圖片訓練的捲積神經網絡（Convolutional Neural Network），並辨識照片中哪些區域為天空，哪些區域不是天空。如此一來系統就能知道要調整哪些區域的亮度，還可以針對天空進行降噪，並選擇性增加對比度、顏色漸變，來強化雲、星空、銀河的特徵，讓照片更加漂亮。

從目前的成果來看，Night Sight可以在搭配三腳架的情況下，拍攝出滿天星空的清晰照片，或是在少量的月光的照耀下拍出清晰多彩的風景。然而手機攝影的能力並不是無限的，而且總有進步空間，目前主要的限制是照片的對比度大約被限制在500,000:1，造成拍攝天文照片時，風景只能隱約看到輪廓，而拍攝風景時光源（如月亮、路燈）就會過曝。

即便如此，Pixel 4仍可以在沒有月亮的夜晚拍下人馬座周圍（銀河系中最亮的部分）的漂亮照片，並呈現更多肉眼無法看到的星星與細節。

▲ 在月圓之夜拍攝的風景照片，左半部為原始圖像，而右半部有進行天空處理，可以看到天空更像晚上的色調，而風景不會因此變暗。

▲ Google官方提供的Night Sight展示照片。

讀者可以到Google官方的Night Sight相簿欣賞更多展示照片，或官方提供的夜間戶外拍攝指南，進一步瞭解Night Sight的效果與操作技巧。