谷歌逆天「夜視」拍照突然火了!完美降噪還能合成3D視角|CVPR 2022

語言: CN / TW / HK

編輯:好睏 Aeneas

【新智元導讀】 谷歌一年前的論文突然火了!這個名叫RawNeRF的技術,不僅完美降噪,還能改變視角,調整焦點和曝光等等。難道,我們距離超強的夜景拍照相機不遠了?

最近,網上一段來自谷歌的AI夜景拍攝影片被刷爆了!

影片中的這個技術叫RawNeRF,顧名思義就是NeRF的一個全新變體。

NeRF是一種全連線神經網路,使用2D影象的資訊作為訓練資料,還原出3D場景。

RawNeRF比起之前的NeRF,有了多處改進。不僅能完美降噪,還能改變相機視角,調整焦點、曝光和色調對映。

谷歌的這篇論文於2021年11月發表,並被CVPR 2022收錄。

專案地址:https://bmild.github.io/rawnerf/

黑夜中的RawNeRF

在此之前,NeRF是使用色調對映的低動態範圍LDR影象作為輸入。

而谷歌的RawNeRF改為直接線上性原始影象上進行訓練,可以保留場景的完整動態範圍。

在合成檢視領域,處理黑暗的照片一直是一個難題。

因為在這種情況下,影象中的細節極少。而且這些影象讓我們很難把新檢視拼接到一起。

還好,我們有一個新的方案——使用原始感測器(RAW sensor data)的資料。

就是像這樣的一張圖,這樣,我們就有了更多的細節。

不過,仍然存在一個問題:噪點也多了。

所以我們必須做個選擇:是更少的細節和更少的噪點,還是選擇更多的細節和更多的噪點。

好訊息是:我們可以使用影象降噪技術。

可以看到,降噪之後的影象效果不錯,但要合成檢視,這種質量還是不夠。

不過影象降噪技術給我們提供了一個思路:既然可以給單個影象去噪,那也可以給一組影象去噪。

讓我們來看看RawNeRF的效果。

而且,它還有更多令人驚喜的功能:對基礎資料進行色調對映,從深色影象中提取更多細節。

比如改變影象的焦點,營造出很棒的景深效果。

更厲害的是,這個還是實時的。

此外,影象的曝光也會隨著焦點的變化而產生相應的變化!

接下來,就讓我們看看RawNeRF的五個經典的應用場景吧。

五大經典場景

1. 影象清晰度

看這張影象,你能看到路牌上的資訊嗎?

可以看到,經過RawNeRF處理後,路牌上的資訊就清晰多了。

在下面這個動圖裡,我們可以清晰地看到原始的NeRF技術和RawNeRF在影象合成上的區別。

其實,所謂的NeRF也並不是多古老的技術,時間才剛剛過了2年而已……

看得出來,RawNeRF在高光的處理上,表現得還是非常出色的,我們甚至能看到右下角車牌周圍的高光變化。

2. 鏡面高光

鏡面高光屬於非常難捕捉的物件,因為在移動相機時,它們會發生很大的變化,而且照片之間的相對距離也比較遠。 這些因素對於學習演算法來說,都是巨大的挑戰。

在下面這張圖中可以看到, RawNeRF所生成 的鏡面高光可以說是相當還原了。

3. 薄的結構

即使在光線充足的情景中,以前的技術對於柵欄的顯示效果也並不好。

而RawNeRF即使處理有一堆柵欄的夜間照片,也妥妥hold得住。

即使在柵欄與車牌重合的地方,效果依然很好。

4. 鏡面反光

路面上的反光,是一種更有挑戰性的鏡面高光。可以看到,RawNeRF也處理得非常自然,非常真實。

5. 改變焦點,調整曝光

在這個場景中,讓我們試試改變視角,不斷變換焦點,同時調整曝光。

在以前,要完成這些工作,我們需要從25到200張照片的集合。

而現在,我們只需要幾秒鐘,就可以完成拍攝了。

當然,RawNeRF現在並不完美,我們可以看到,左邊的RawNeRF影象和右邊的真實照片,還是有一些差異。

不過,從一組充滿噪點的原始影象達到現在這樣的效果,RAWnerf已經取得相當大的進步了。要知道,兩年前的技術還完全做不到這樣。

RAW的好處

簡單回顧一下,NeRF訓練管線所接收的是經過相機處理的LDR影象,之後的場景重建和檢視渲染,基於的都是LDR色彩空間。因此,NeRF的輸出實際上已經是經過了後期處理的,想要大幅修改和編輯是不可能了。

相比而言,RawNeRF是直接線上性原始HDR輸入資料上訓練的。由此產生的渲染結果可以像任何原始照片一樣進行編輯,如改變焦點和曝光等等。

由此帶來的好處主要有兩點:HDR檢視合成和降噪處理。

在亮度變化極大的場景中,固定的快門速度不足以捕捉到全部動態範圍。RawNeRF模型則可以同時對短曝光和長曝光進行優化處理,從而恢復完整的動態範圍。

例如(b)中的這種大光比場景,就需要更復雜的區域性色調對映演算法(例如HDR+後期處理),才能同時保留暗部的細節和室外的高光。

此外,RawNeRF還可以使用線性顏色渲染具有正確飽和的「虛化」亮點的合成失焦效果。

在影象噪點的處理上,作者進一步地將RawNeRF在完全未經處理的HDR線性原始影象上進行了訓練,使其變成了一個能處理幾十甚至幾百張輸入影象的「降噪器」。

這種魯棒性也就意味著,RawNeRF可以出色地完成在黑暗中重建場景的任務。

例如在(a)這個只有一根蠟燭照明的夜景中,RawNeRF可以從嘈雜的原始資料中提取出本來會被後期處理破壞的細節(b,c)。

作者介紹

論文的第一作者Ben Mildenhall是谷歌研究院的一名研究科學家,從事計算機視覺和圖形方面的問題。

他在2015年於斯坦福大學取得電腦科學和數學學士學位,並在2020年於加州大學伯克利分校取得電腦科學博士學位。

剛剛結束的CVPR 2022,可以說是Ben的高光時刻了。

7篇錄用論文中有5篇拿下Oral,並且還有一篇獲得了最佳學生論文的榮譽提名。

網友評論

影片一出,立馬驚豔了眾網友。大家一起腦洞大開。

看這技術進步的速度,要不了多久,夜間拍照再也不用愁了~

參考資料:

https://bmild.github.io/rawnerf/

「其他文章」