電視節目變立體 裸視3D即將走入家庭

撰文／呂怡貞
審稿／鄭芳炫（中華大學資訊工程學系教授） 

　　近幾年走進各大賣場與資訊展，3D電視的攤位總是吸引人潮駐足觀望，螢幕前，人人戴著一副酷炫的立體眼鏡，體驗立體影像帶來的震撼。雖然人們已習慣於進電影院戴眼鏡看3D電影，但若是能在家裸視觀賞，才是更輕鬆無負擔的現代化視聽享受。 

影像軟體開發 搭配裸視平面式立體技術 

　　市面上早已出現五花八門的立體顯示技術（見〈戴上眼鏡 看進立體世界〉）、（見〈丟掉眼鏡 當機不「立」斷〉），其中，相較於360度真實3D技術，平面式立體顯示技術較成熟，其軟硬體設備的規模與價格也較容易直接進入家庭。但要進駐家庭，還必須克服兩個很重要的問題：縱使有了先進的「立體電視」，卻缺乏「立體電視節目」可看，另外，也無法多視角觀看，最後全家人只能不嫌熱地全部擠在沙發正中央，看著沒太多選擇的幾部特製電影。 

　　對此，中華大學資訊工程學系教授鄭芳炫表示，3D電視若要普及，勢必得增加可立體觀賞的影像內容與增加視角數目。然而，現在有另一種方式來讓觀眾觀看3D影像節目，就是將現今仍為2D影像的電視節目轉換為3D影像，並搭配其他硬體的相互支援與精密配合。這種「3D立體影像轉換技術，搭配裸視平面式立體顯示器」，是目前顯示科技發展的主流。

　　鄭芳炫與學生就是以「利用影像深度地圖即時產生雙眼立體影像」，獲得2011年瑞士日內瓦國際發明展銀牌，他們成功地開發出將2D圖片與影片自動轉換成3D立體影像的軟體技術，並研發出可即時處理多視角立體影像的晶片，讓台灣在裸視立體顯示技術上領先國際。 

2D轉3D 電視節目都很「阿凡達」 

　　要從2D影像「幻化成」3D影像，除了原本的2D影像訊號，需再加上深度（遠近）資訊，而運用視差是最直接獲得深度資訊的方式。傳統上製作3D影像，是以單機雙鏡頭模擬雙眼，實際拍攝出同時呈現左右眼視角的影像。但如果原本就是單純的2D影像（原始單眼影像），則必須先得知此影像內物體的遠近關係，再利用影像處理的方式，後製出原先不存在的不同視角的部份，以形成深度資訊。

　　鄭芳炫團隊從原始單眼影像建立相對應的影像深度地圖（image depth map）的方法，是以灰階方式表示影像內的物體遠近關係，再以此為基礎，對原始單眼影像中的物體做位移處理，模擬人的兩眼分別看到的影像（也可以說是模擬以單機雙鏡頭所拍攝出來的畫面）。如欲產生多視角，則可搭配觀賞者所使用的顯示器規格，選擇適合的視角數目，再從左右兩視角中間內插其他視角方向（即計算出不同方向的不同位移量）。但是因為多視角數會犧牲解析度（註），且遷就於現有Full HD的畫質（1920 x 1080畫素），目前研究團隊最多做到九個視角，解析度為640 x 360，相當於DVD的解析度，仍是一般觀賞者可接受的畫質。 

　　位移處理的過程則運用建構虛擬場景模型的演算法，計算出雙眼視角影像畫素所對應的座標位置。一般3D影像設計，大多只計算風景的遠近距離，鄭芳炫團隊則將影像與場景型態做分類，如人體靜物、花草樹木、巷弄街道、遠山背景等，景深都不同，找出深度走向與物體前後關係，經由精密計算後顯示的立體影像更具真實感。 

　　最後，以影像填補（image inpainting）技術，將先前因模擬視差位移而產生的空洞填補起來，過程也是經由精密計算後，往空洞區域中填塞合理的畫素，填補後的左右眼影像會接近人的雙眼所看見的影像，以達到立體視覺的效果。 

左圖為原始2D影像，右圖為影像深度地圖，已將原始影像內的物體以灰階值（0~255）表示，越近的物體數值越大、顏色越淺，越遠的背景數值越小、顏色越深，以此方式表示影像內物體的遠近關係。（影像來源：鄭芳炫） 

原始2D影像模擬產生人眼視差示意圖。左眼圖內的所有物體向右位移，右眼圖內所有的物體向左位移，越近的物體位移量越大，越遠的物體則漸漸沒有視差。左右眼兩圖最右方放大觀看後的蘋果顯示因位移而產生的空洞問題。（影像來源：鄭芳炫） 

空洞填補示意圖。以影像填補技術，將先前因位移而產生的空洞補上畫素，做法是以空洞周圍的紋路與結構為基礎，沿著空洞的輪廓邊界，搜尋且複製周圍相似的小區域填補到空洞中，在空洞區域中填塞合理的畫素。（影像來源：鄭芳炫） 

　　由於上述2D影像轉換成3D影像的運算量十分龐大且費時，研究團隊已研發出晶片，可相容於現有的平面顯示裝置上，當接收2D資訊時，晶片可立即快速產生不同視角影像（即深度訊息）。未來待技術成熟，不僅原有2D顯示系統的模式與規格不需更動，新舊影片與電視節目也不需再投入大量人力物力重製或特製，甚至目前的數位相機或DV拍攝的影片，都將非常「阿凡達」。

　　鄭芳炫預測，五年內裸眼3D電視會上市進入家庭，而2D/3D轉換晶片更是未來3D電視內的基本配備，讓全家人共享立體視覺饗宴。

註：幾個視角即要產生幾個方向的影像，越多視角則代表越多方向的影像同時瓜分同一畫面，每個方向所看到的畫面解析度當然會降低。也因此，顯示器尺寸越大，內含畫素數越多，視角可切越細而不致使解析度降低太多，反之，顯示器尺寸越小，如手機、數位相框、掌上型遊樂器等，視角就不能太多。

【本文轉載自科學Easy Learn網路版‧行政院國科會補助案】