光場攝影一點通

十月 25, 2014
Facebook
Twitter

動態光場影像。按滑鼠重新對焦,按滑鼠/拖曳改變透視感
傳統相機不管數位或類比,只從一個觀點出發。縱然Photoshop等程式讓我們完成神乎其技的修片,但再多的後製都無法增加相機所紀錄的資訊。現在有一個平凡無奇的辦法,就是擴充影像感測器。光場攝影日新月異,感測器跟著變大,說到底就是要增加相機所記錄的資訊。 
目前CMOS影像感測器的大小,遠遠超越了實際應用需要。我們稍後再來解釋,感測器像素「過大」,正是「光場」(或全光鏡)攝影遍地開花的關鍵。光場攝影前途一片光明,不僅捕捉更多資訊,還是更多種類的資訊。取得新的「資料類型」,將帶來一連串軟體後製的可能性,這是傳統相機所辦不到的事情,例如重新對焦、改變透視感、3D掃瞄。

原理

图片

光場,不只是聚焦在底片或感測器的光線,而是所有射入相機的光線。傳統相機的鏡頭,把場景的光線聚焦在底片或感測器上。換成數位相機以後,每個像素都有各自的亮度數值,最後得出鏡頭把場景所有光線聚焦到感測器的總數。然而,光場相機不加總每個像素的光線,而是個別測量紀錄像素的資訊,包括亮度和光源。

硬體

光場,確實是抽象的數學概念,在物理學、機器視覺、電腦繪圖等領域廣泛應用,也有各式各樣捕捉光場的器材。Lytro相機為了捕捉光場,讓光線穿過主鏡頭,落在十萬多個微鏡頭上,接著微鏡頭把光線導向6.5 × 4.5mm的CMOS感測器上,方便感測器捕捉1100萬條光線,形成3280 × 3280的光場。Lytro光場相機儲存的資訊,包括色彩、光度、方向和距離。每個微鏡頭大約使用CMOS感測器10 × 10的像素。
图片

图片

Lytro早在幾年前,就針對一般消費者推出光場相機,大家老生常談的光場相機特徵,不外乎是拍照以後,可以自行對焦或改變焦點,但光場相機何止如此!這只是冰山一角而已。
图片

上圖的光線從右邊射入相機,接著微鏡頭把光線導向CMOS感測器。

軟體

捕捉光場只是第一歩,下一步則是成像,這個步驟被稱為「光線反追蹤」。為幫助大家瞭解,我先來介紹針孔攝影機的原理,然後簡單帶過光線追蹤,再來說明Lytro光場相機的成像法。針孔攝影機和光場相機有兩個共通點,一是有觀察者正在觀看場景,二是不管用什麼方法,場景都要在螢幕成像。

光線穿過針孔攝影機前方的洞孔,影像出現在反面,上下顛倒翻轉。後壁基本上就是螢幕。如果你背對著針孔鏡頭,影像就會投射在你的前方(我們假定「景物」是仙人掌,但也可以是任何東西,最理想的情況是,從偽3D觀點製作所有的圖,但已經超過我的繪圖能力範圍)。

图片

光線追蹤以幾何圖形、質地和光源,來描述場景的數學資訊。我們挑選場景外的一點,代表觀察者所處的位置,影像是從觀察者的觀點出發。光線追蹤和針孔攝影有三點不同。第一,場景並不存在於真實世界,所以要過「成像」這一關。第二,「真實」的場景位於觀察者之前,而非之後。第三,既然場景是虛擬的,螢幕上的影像也要過「成像」這一關。每個像素分開處理。「觀察」光線射入場景,每個像素都不放過。像素的色彩經過計算,考慮到物體本身,以及每條光線從哪個方向穿越場景。光線從觀察者的方向射出,可大幅減少成像時間。

最後談到Lytro光場相機,拍攝照片時,我們所儲存的光線,描繪出所捕捉的場景。為了把影像投射到螢幕上,我們要選取焦點。焦點選定以後,Lytro軟體利用儲存的光線來成像。這時候就是靠著光線反追蹤,把光線投射到螢幕上成像,光線源自場景內的一點,而非從觀察者的方向,穿過螢幕來到場景。

我們來復習一下。光線追蹤成像法拍攝的是,發源自觀察者、穿越螢幕的觀察光線,反觀Lytro光場相機成像法,則是拍攝從場景回到螢幕的光線。

未來

最近Lytro相機推出新的軟體,可以製作3D影像,這也是捕捉光場的另一個好處。在相機做上下左右移動,視角或觀點就會稍微改變。這些變化所需的資料,也是光場捕捉的一部分,亦可用來製作場景的3D成像。你只要備有一副不貴的紅藍眼鏡即可。輸出JPG圖檔也很方便,戴著紅藍眼鏡即可觀看。

Lytro光場相機有一個缺點,那就是沒有文檔紀錄的API,無法用在影像處理。Lytro的影像格式是有專利的,你有很多逆向工程要做,還要自寫影像處理軟體,也沒有全面跨平臺API或軟體,來處理所謂的光場圖檔(LFPs)。我目前找到最好的資源,就是Lytro Meltdown,雖然以Windows系統為主,卻有不少實用的資訊。

光場攝影仍處於初步發展階段。起初價格高昂,但效果不彰,但現在價格不僅逐漸壓低,效果也愈來愈好。8GB光場相機近期要價200-300美元,韌體和照片處理軟體也會定期更新。

我最期待的莫過於,建立一個全面跨平臺開放原始碼庫,方便大家處理光場圖檔,但要是有一種軟體,讓原始光場圖檔直接成像,那就太夢幻了!

(譯:謝明珊)
[原文]
Social media & sharing icons powered by UltimatelySocial