무안경식 3차원 디스플레이 장치는 디스플레이 산업의 새로운 시장을 이끌 수 있는 차세대 디스플레이 기술 중에 하나로 고려되고 있다[1]. 그러나 아직까지 사업화에 성공한 무안경식 3차원 디스플레이 장치는 없지만, 다양한 기술들이 개발되고 있다. 이러한 기술들 가운데 집적영상(integral imaging)이 최근 주목을 받고 있다[2-5]. 이 기술은 1908년 Lippman교수에 의해서 처음으로 제안되었지만, 당시에는 디스플레이 장치의 해상도 한계로 크게 발전하지 못하였는데, 최근 고해상도의 디스플레이 등장으로 수많은 연구들이 진행되고 있다.

이 집적영상 기술은 기존의 디스플레이 장치에 렌즈어레이(lens array)를 부가적으로 사용하여 3차원 영상을 만드는 방법이다. 따라서 시스템의 구조가 간단하며, 쉽게 3D 컬러영상을 만들 수 있다는 장점이 있다.

집적영상 기술의 실질적인 응용을 위해서는 3D/2D 변환 기능을 가지는 집적영상 기술이 필요하다[6-9]. 최근, 이를 위한 다양한 연구들이 시도되고 있다. 이 3D/2D 변환 기능을 위해서 다양한 장치들이 추가적으로 사용되고 있다. 예를 들면 동적 핀홀어레이(active pinhole array)나 LED어레이(light emitting diode array) 등이 있다 [7,8]. 그러나 이러한 방법은 2D 기능을 부가하기 위해서 기존의 집적영상 디스플레이 시스템에 복잡한 장치들이 추가적으로 사용되었다.

한편, 우리는 최근에 동적 마스크를 이용하여 집적영상 디스플레이 시스템에서 3차원 영상의 해상도를 증가시키는 방법을 제안하였다[10]. 이 방법은 렌즈어레이 앞에 마스크 패널을 위치시키고, 마스크 패턴을 시간에 따라서 다르게 표시함으로써 구현된다.

따라서 기계적인 움직임 없이, 전자적으로 3차원 영상의 해상도를 증가시키는 효율적인 방법이다.

본 논문에서는 이전에 제안한 바가 있는 동적 마스크를 사용하는 집적영상 디스플레이에서, 3D/2D 변환 기능이 가능한 새로운 방법을 제안한다. 제안하는 시스템은 3D 모드, 2D 모드 그리고 3D/2D 혼합모드로 구동이 가능하다. 제안한 방법에 대한 기초적인 실험을 수행하고 그 결과를 보고한다.

그림 1은 집적영상 기술의 구조도를 보여준다. 집적영상 방식은 그림 1과 같이 크게 픽업과 디스플레이 과정으로 구분할 수 있다. 픽업과정에서 3D 물체정보가 렌즈어레이를 통과하고, CCD 카메라와 같은 영상획득 장치에 기록된다. 이 때, 기록되는 영상을 요소영상(elemental images)이라고 한다. 역으로 디스플레이 과정에서는 기록된 요소영상들을 디스플레이 장치에 표시하고, 픽업할 때와 같은 렌즈어레이를 사용하여 광학적인 3D 영상을 복원할 수 있다.

[그림 1.] 집적영상의 구조. (a) 픽업 (b) 디스플레이

그런데 그림 1과 같은 집적영상 기술에서는 디스플레이 장치 앞에 렌즈어레이가 놓여있기 때문에 2D 영상을 표시할 수 없다는 문제점이 있다.

그림 2는 본 논문에서 사용하는 동적 마스크 집적영상 디스플레이의 구조도이다 [10]. 마스크 패턴이 표시되는 마스크 패널이 렌즈어레이에 밀착되어 있다. 여기서 마스크 패널로는 빛을 투과(ON) 또는 차단(OFF)시킬 수 있는 SLM(spatial light modulator)이 사용될 수 있으며, 주로 LC패널이 많이 사용된다. 그리고 요소영상을 표시할 디스플레이 장치와 렌즈어레이 사이의 거리는 기초 렌즈의 초점거리인 f와 같다.

[그림 2.] 동적 마스크를 이용한 집적영상 디스플레이.

동적 마스크 집적영상 디스플레이 방식에서는 렌즈어레이 앞에 놓여있는 마스크 패턴을 바꾸면서, 이에 대응하는 요소영상을 시간적으로 다중화한다

그 결과, 디스플레이되는 3차원 영상의 해상도가 향상된다. 시간다중화를 적용하여 n×n 배로 3차원 영상의 해상도를 증가시킨다고 하자. 그러면 n×n개의 서로 다른 마스크 패턴과 이에 해당하는 n×n개의 요소영상 배열이 필요하다. 이들 마스크 패턴과 요소영상들이 서로 동기화될 때, 제대로 된 3차원 영상이 만들어지게 된다.

동적 마스크를 이용하는 집적영상 디스플레이 시스템에서 3D 모드는 그림 3과 같이 구현된다. 3차원 영상을 디스플레이기 하기 위해서는 디스플레이 장치에 요소영상들을 표시하고, 이에 대응하는 마스크 패턴을 마스크 패널에 표시해야 한다. 편의상, 세로방향으로 기초렌즈를 2등분하는 시간다중화(t₁, t₂)로 설명한다.

[그림 3.] 3D 모드의 동작원리. (a) t1, t1 (b) t1, t2

그림 3(a)는 t = t₁일 때의 디스플레이 시스템의 동작 원리를 보여준다. 마스크 패널에 마스크 패턴1을 표시하고 디스플레이 장치에 요소영상1을 동시에 표현한다. 그러면 각 요소영상에서 출발한 광선들은 마스크 패턴을 통과하면서 빔의 크기가 감소되며, 공간에서 서로 교차 및 집적되어 복셀(volume pixel or voxel)들을 생성한다. 따라서 그림 3(a)의 경우, 생성된 복셀의 크기는 마스크의 ON 영역의 크기와 동일한 p/2가 된다. 이것은 마스크를 사용하지 않는 기존 방식의 경우보다 1/2만큼 작아지기 때문에 복원되는 3D 영상의 해상도는 2배로 증가됨을 의미한다.

그림 3(b)는 t = t₂의 경우를 나타낸다. 마스크 패널에 마스크 패턴2를 표현하고, 디스플레이 장치에 요소영상 2를 표시한다. 그림 3(a)와 마찬가지로 공간상에 생성되는 복셀크기는 p/2이고 3D 해상도는 기존 방식보다 2배가 향상된다. 다만 그림 3(a)와 그림 3(b)의 차이점은 복셀들의 생성위치가 다르다는 것인데, 빈틈없이 상호보완적인 위치를 점유하게 되어 해상도를 향상시키는데 기여한다 [10].

동적 마스크를 이용한 집적영상 디스플레이 시스템에서 2D 모드를 구현하기 위한 방법은 그림 4와 같다. 그림 3에서 동적 마스크의 역할을 하는 마스크 패널이 2D 모드에서는 2D 영상을 표시하는 디스플레이 패널의 역할을 담당한다. 그리고 3D 모드에서 요소영상을 표현하는 디스플레이 장치는 2D 모드에서는 모든 픽셀들이 흰색을 표시함으로써 백라이트(backlight)의 기능을 한다. 따라서 디스플레이 장치(백라이트)에서 나온 빛들이 2D 영상을 표시하는 마스크 패널(2D 디스플레이)을 통과하면, 관측자는 2D 영상을 볼 수 있다. 이 때, 관측되는 2D 영상의 해상도는 마스크 패널의 해상도와 동일하다. 그러므로 고해상도를 가지는 마스크 패널을 사용하면, 관측자는 고해상도의 선명한 2D 영상을 경험할 수 있다. 또한 디스플레이 장치(백라이트)와 렌즈어레이의 조합은 능동(active) 백라이트라고 볼 수 있는데, 2가지 기능을 할 수 있다. 하나는 백라이트의 밝기를 소프웨어적인 방법으로 사용자의 목적에 맞게 조절하는 것이 가능하다. 두 번째는 디스플레이 장치의 일부 픽셀들만 빛을 발생시킴으로써 방향성을 가진 지향성 광원을 생성할 수 있다.

[그림 4.] 2D 모드의 동작원리

본 논문에서 사용하는 집적영상 디스플레이 시스템에서는 3D 영상과 2D 영상을 혼합하여 디스플레이하는 것이 가능하다. 이를 위해서는 3D 영상영역은 3D 모드로 그리고 2D 영상영역은 2D 모드로 각각 독립적으로 디스플레이하면 된다.

그림 5는 3D/2D 혼합모드의 작동원리를 보여준다. 2D 영상영역에서는 2D 영상과 크기와 모양이 같은 하얀 영상(광원)이 디스플레이 장치에 표현되고 2D 영상이 마스크 패널에 독립적으로 표시된다. 한편 3D 영상영역에서는 요소영상이 디스플레이 장치에 표시되며, 마스크 패턴이 마스크 패널에 표시된다. 이러한 3D/2D 혼합모드 기능은 실질적인 3차원 디스플레이에서 주요한 기능이 될 수 있다.

[그림 5.] 3D/2D 혼합모드의 작동원리

앞에서 세 가지 모드(3D 모드, 2D 모드, 3D/2D 혼합모드)를 이론적으로 설명하였다. 그림 6은 이것들을 실험적으로 확인하기 위한 디스플레이 실험 구조를 보여주며, 그림 7은 실제로 구현된 실험 셋업을 나타낸다. 렌즈어레이와 마스크 패널이 서로 밀착되어 z = 0의 위치에 있다고 가정한다. 즉, 마스크 패널의 두께는 무시하였다.

[그림 6.] 3D 디스플레이 실험 구조

[그림 7.] 실험에 사용된 실험 셋업

LCD(liquid crystal display)는 기초렌즈의 초점거리인 z = -f 에 위치에 둔다. 그런데 렌즈어레이와 LCD 사이의 거리가 f인 점과 LCD의 픽셀(pixel)들의 물리적인 구조 때문에 필연적으로 색 분리 현상이 발생한다. 따라서 이를 보완하기 위하여 디퓨저(diffuser)가 필요하다 [10]. 그림 7에서 확인할 수는 없지만, LCD표면에 디퓨저 필름을 부착시켰다.

그림 7에 사용된 광학 및 전자 부품의 사양은 다음과 같다. 렌즈어레이의 크기는 24″이고, 기초렌즈의 수는 330×180 개이다. 기초렌즈의 초점거리 f는 8 ㎜이고, 기초렌즈의 크기는 1.6×1.6 ㎜ 이며, 시야각은 약 11° 이다. LCD는 BenQ XL-2411t인데, 화면크기는 24″이다. 그리고 해상도는 1920×1080이며, 수직방향의 최대 재생율은 120 Hz이다. 마스크 패널로는 동일 모델 제품의 내부에 있는 LC 패널이 사용되었다.

먼저 디스플레이 실험에 필요한 요소영상 생성은 CG픽업을 통하여 이루어졌다. 그림 6과 같이 2개의 평면물체들(꽃배경, ‘DSU')가 각각 -15f와 10f에 있다고 가정한다. 여기서 f = 8 ㎜이므로, 두 물체의 위치는 각각 -120 ㎜와 80 ㎜에 해당한다. 렌즈어레이와 동일한 주기를 가지는 가상의 핀홀(pinhole)어레이를 통하여 두 물체들에 대한 요소영상들을 획득하였다. 이 때, 기존 방식과 다르게 동적 마스크 집적영상 방식에 적합한 새로운 요소영상 생성원리를 적용하였다[11].

렌즈분할 수(또는 시간다중화 수)는 2×2 이다. 하나의 마스크 패턴과 이에 대응하여 생성된 요소영상들이 한 쌍을 이루게 한다. 총 4쌍의 마스크 패턴들과 요소영상들을 순차적으로 그리고 반복적으로 그림 7의 LC패널과 LCD에 각각 표시하였다. 컴퓨터에 의하여 초당 120쌍의 마스크 패턴들과 요소영상들이 동기화되어 디스플레이되었다. 따라서 관측자는 초당 30(=120/4) 장의 기존 영상을 보는 것과 동일한 시각효과를 가진다.

그림 8은 재생되는 영상을 카메라로 촬영한 사진들이다. 촬영에 사용된 카메라는 Nikon D800이다. 카메라 설정은 F/#가 10이고, 셔터속도는 10초, ISO는 320이다. 그림 8(a)과 그림 8(b)는 각각 왼쪽과 오른쪽에서 촬영한 것이다. 그림 8에서 재생된 영상의 시차를 확인할 수 있고, 입체감을 준다는 것을 알 수 있다.

[그림 8.] 3D 모드에서의 관측영상. (a) 좌측뷰 (b) 우측뷰

그림 9는 재생된 3D 영상의 해상도를 확인하기 위한 실험의 결과를 보여준다. 여기서는 앞 물체('DSU')가 z = 0에 있다고 가정하고 실험을 진행하였다. 그림 9(a)는 마스크를 사용하지 않는 기존 방식으로 재생된 영상의 일부를 확대한 것이고, 그림 9(b)는 동적 마스크를 사용한 방식으로 재생된 영상의 일부를 확대한 것이다. 그림 9로부터 동적 마스크 방식으로 디스플레이되는 3D 영상의 해상도가 기존방식보다 2×2 배로 향상됨을 실험적으로 확인할 수 있다.

[그림 9.] 재생된 3D영상의 확대사진. (a) 기존 (b) 동적 마스크

그림 10은 2D 모드의 실험의 결과를 나타낸다. 그림 7에서 LCD의 전체 화면에 흰 색을 가진 단색 영상만을 표시하면, LCD가 백라이트의 역할을 한다. 그리고 LC 패널에 마스크 패턴이 아닌 고해상도의 2D 영상을 디스플레이함으로써 2D 모드를 구현하였다. 그림 10(a)는 LC 패널에 표시되는 1920×1080 해상도의 원본 그림이다. 그림 10(b)는 2D 모드 영상을 카메라로 촬영한 결과 사진이다. 그림 10(a)의 원본 그림과 비교하면, 색상정보(밝기나 색감)에서 뚜렷한 차이가 있지만, 그림 형태나 해상도가 동일함을 알 수 있다. 색상정보에서 원본 그림과 차이가 나는 것은 시스템 구조상의 원인(추가적인 LC패널의 사용으로 인한 광 손실 및 색 변조)과 완전하지 않은 실험 셋업에 의한 원인(LCD와 LC패널에 부착된 편광필름들의 배열방향의 불일치 및 렌즈어레이 자체의 비편광성, 고정용 유리패널 등에 의한 광 손실 및 색 변조), 촬영조건(카메라나 외부조명에 의한 광 손실이나 색 변조 ) 등 때문이라고 생각된다. 이러한 광 손실과 색 변조의 원인을 제거할 수 있다면, 보다 원본 그림에 가까운 2D 영상이 관측될 것으로 예상된다. 따라서 2D 모드에서 원본 그림과 동일한 해상도의 2D 영상이 디스플레이됨을 실험적으로 확인할 수 있다.

[그림 10.] 2D 모드의 실험결과. (a) 원본 그림 (b) 카메라로 촬영된 영상

이 모드를 위한 요소영상들과 마스크 패턴은 각각 2단계의 과정을 통하여 생성된다. 요소영상의 경우, 1단계에서는 그림 6처럼 배경물체와 전면 물체를 원하는 위치에 놓고 요소영상을 생성한다. 2단계에서는 요소영상들을 구성하는 픽셀들 중에서, 전면물체를 구성하는 픽셀들과 중복되는 위치의 픽셀들의 색을 모두 흰 색으로 바꾼다. 즉 2단계는 2D 영상의 형태와 크기를 가진 흰 물체영상과 요소영상들을 합성하는 것과 같다. 이 영역은 전면에 위치한 2D 영상에 대한 백라이트가 된다. 마스크 패턴의 경우에는 먼저 3D 모드에서와 같이 마스크 패턴을 만든다. 다음 단계로서 마스크 패턴에 2D 영상을 덧붙여 합성한다. 이렇게 합성된 여러 쌍의 요소영상들과 마스크 패턴들을 각각 LCD와 마스크 패널에 동기화시켜 디스플레이하면, 3D 영상과 2D 영상이 혼합된 영상을 관측할 수 있다. 이 때에 2D 영상은 렌즈어레이의 표면, 즉 z = 0에 위치한다.

실제의 실험에서는 배경물체를 z = -10f 및 2개의 평면 캐릭터를 z = 10f에 둔 것으로 가정하였다. 이 실험에서는 마스크를 사용하지 않는 기존 방식으로 3D 모드를 구현하였고, LC패널에 2D 영상만을 표현하였다. 즉 마스크 패턴 영역만 모두 단순 투과영역으로 바꾸었다. 이를 위하여 흰 바탕에 2D 영상만이 존재하는 합성영상을 LC 패널에 표시하였다. 실험 결과는 그림 11에서 확인할 수 있다.

[그림 11.] 3D/2D 혼합모드의 재생 영상. (a) 좌측뷰 (b) 우측뷰

그림 11(a)는 왼쪽 시점에서 관측된 영상이며, 그림 11(b)는 오른쪽 시점에서 관측된 영상이다. 그림 11에서 배경영상과 2D 영상, 전면 영상들 사이의 시차 및 입체감을 확인할 수 있다. 그리고 2D 영상도 고해상도로 표현되고 있음을 확인할 수 있다.

본 논문에서는 동적 마스크를 이용한 3D/2D 변환 집적영상 디스플레이 시스템을 제안하였고, 광학적으로 디스플레이하는 실험을 수행하였다. 세 가지 모드에 적합한 요소영상들과 마스크패턴을 생성하는 방법을 설명하고, 컴퓨터적인 방법으로 생성하였다. 생성된 요소 영상들과 마스크 패턴들을 동기화시켜 광학적으로 디스플레이하는 실험을 수행하였다. 그 결과, 동적 마스크를 사용하는 3D 모드에서 큰 깊이감을 표현할 수 있고, 해상도 또한 향상됨을 실험적으로 확인하였다. 2D 모드에서는 고해상도의 2D 영상도 표현할 수 있음을 실험적으로 확인하였다. 또한 3D 영상과 2D 영상을 동시에 표현할 수 있다는, 제안한 방식의 유용성을 광학적인 실험을 통하여 확인하였다.