Since the depth and texture images have been widely used for generating 3-dimensional stereoscopic image, the security of them have been focused. In this paper, we propose a new watermarking technique for copyright of stereo and multiview images which is generated in an arbitrary viewpoint by depth and texture image. After the mark space is selected for preserving watermark through DIBR (depth-image-based rendering) process which uses 3D warping, the texture image is transformed to the frequency coefficient using 2D DCT (discrete cosine transform). Some parts of them are quantized, which is the corresponding process to watermarking. The embedded watermark is not conformed by eyes, so we identified the invisibility of the proposed method. In case of appling attacks of general image process, we also identified the robustness of it.
3차원 입체 영상(stereoscopic image)은 다양한 방식으로 생성될 수 있다. 가장 보편화된 방법으로는 스테레오 및 다시점(multiview) 카메라를 이용하여 다수 개의 영상을 획득한 후에 이를 이용하여 3차원 입체 영상을 만드는 것이다. 최근에는 깊이 영상을 이용하여 원하는 시점의 영상을 생성한 후에 이 영상들을 이용하여 3차원 입체 영상을 만드는 것이 보편화되고 있다. 또한 다수의 영상과 깊이 영상을 활용한 3차원 입체 영상도 이용되고 있다. 이러한 깊이영상과 텍스쳐 영상의 활용이 보편화되면서 이들 영상을 부호화하기 위한 연구가 활발히 이루어지고 있다[1]. 기본적으로 영상과 같은 디지털 정보는 이동, 저장이 용이하다는 장점을 가진 반면, 복제 및 변조가 용이하다는 단점 또한 갖고 있어 불법적 복제 및 위/변조를 방지하고 소유권을 효과적으로 보호하기 위한 디지털 워터마킹 (digital watermarking) 기술에 대한 연구가 깊이영상과 텍스쳐 영상 기반의 3차원 입체 영상에서도 이루어지고 있다[2-4].
1990년도 초반, Tanaka[4], Caronni[5] 등이 디지털 영상에 워터마킹을 도입하면서 이에 대한 연구가 시작되었고, Tirkel에 의해 처음으로 워터마킹이라는 용어가 사용되었다. 초기의 연구는 영상의 공간정보를 이용하여 워터마킹을 수행하는 방법이 주로 사용되었다[6]. 이 방법은 공간영역 상에서 영상의 화소 값을 직접 변화시켜 워터마킹을 수행하는 방식이었다. 영상을 크기가 같은 두 집합으로 나누고 두 집합에 속한 화소들의 차를 이용하여 검출하는 방법이 Pitas[7]에 의해 제안되었다. 또한 Kutter[8]는 특정 화소의 정보를 변화시켜 이웃 화소들과 비교함으로 워터마크를 검출하는 방법을 제시하였다. 그러나 공간 영역에서의 워터마킹은 공격에 약한 단점을 가진다.
워터마킹 기술이 발달함에 따라 워터마크 적용영역이 공간영역에서 주파수 영역으로 점차 변화하였다. 공간영역에서의 방식에 비해 주파수영역에서 수행되는 방식이 공격에 강한 특성을 가지지만 주파수의 특성상 워터마크 삽입 위치를 정확히 선정할 수 없는 단점이 있었다. 주파수 영역에서의 워터마킹은 주파수 계수를 변화시켜 워터마크를 삽입하는 것이다. Ruanidh[9]은 DFT(Discrete Fourier Transform)를 이용하여 위상에 워터마크를 삽입하는 방법을 제안하였고, Cox[10]와 Barni[11]등은 DCT(Discrete Cosine Transform)를 이용하여 주파수 영역의 중요한 계수를 선택한 후 계수의 크기 순으로 워터마크를 삽입하는 방법을 제안하였다.
다시점 및 자유시점 비디오 서비스는 사용자의 요구에 따라 새로운 가상시점을 제공한다. 이때 가장 중요한 요소 중의 하나는 정확한 깊이정보인데, 여기에 사용된 깊이정보는 공간상에서 카메라 시점을 기준으로 대상 물체까지의 거리로 정의된다. 깊이정보 추출의 기본원리는 각각의 눈에서 따로 관찰되는 물체의 상을 대뇌에서 분석 및 종합하여 물체의 원근을 인지하는 인각 시각 시스템(Human Visual System, HVS)에 근거를 두고 있다. 망막에 맺힌 각각 다른 물체의 상을 공학적으로 해석한 것이 스테레오 영상이다. 3차원 입체 영상이 보편화되기 시작하면서 스테레오 영상에 대한 보호에 대한 연구들이 진행되어 왔다[2-4][12-14]. 이들 중에서 본 논문에서 제안한 연구 분야와 관련이 있는 것들에 대해서 간단히 논의하면 다음과 같다. Lee[2]는 DTCWT(dual-tree complex wavelet transform)를 수행한 후에 DIBR(depth-image-based rendering)의 특성을 고려하여 계수들을 선택하고 이들을 양자화하여 워터마킹을 수행하였다. Niu[3]은 SIFT(scale invariant feature transform)를 이용하여 다양한 공격에 대해서 거의 변화하지 않는 영역을 선정하고, 이 영역에 대해 DCT를 수행한 후에 계수들에 스프레드 스펙트럼 기법을 이용하여 워터마크를 삽입하였다. Wu[4]는 DIBR로부터 생성된 임의의 시점에서의 영상에서 삽입된 워터마크가 훼손되지 않게 하기 위해 깊이 정보를 이용하여 전경에 해당하는 부분을 선택하고 이 중에서 객체에 해당하는 정보를 추출하여 워터마크를 삽입하는 기법을 제안하였다. 본 논문에서는 깊이와 텍스쳐 영상으로부터 생성되는 3차원 영상의 소유권을 보호하기 위한 워터마킹 기법을 제안한다. 3D 워핑(warping)을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 대상 영역을 설정한 이후에 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환한다. 이 계수의 일부를 양자화하는 방법을 이용하여 워터마크를 삽입한다.
본 논문은 다음과 같이 구성된다. 2장에서는 워터마킹의 기본 이론에 대해서 소개하고 3장에서 3D 워핑을 이용한 3차원 입체 영상을 생성하는 방법을 설명한다. 4장에서는 깊이 및 텍스쳐 기반의 입체 영상에 적용할 수 있는 워터마킹 기법을 제안한다. 5장에서 실험 결과를 보이고 6장에서 결론을 맺는다.
워터마킹 기법은 영상 및 음성을 비롯한 멀티미디어 데이터 안에 특정한 정보를 은폐시키는 기술을 말하며, 멀티미디어 저작권에 관한 효과적인 보호를 할 수 있는 차세대 수단이다. 워터마크는 단지 파일 뒤에 첨가되는 것이 아니라 완전히 파일의 내용과 함께 뒤섞이게 되므로 원래 파일에서 용량의 증가와 파일 포맷의 변화가 일어나지 않는다.
워터마크 삽입 과정은 원래의 정보 I에 대해 원래의 정보와 추가하고자 하는 정보 W, 그리고 이들의 함수적 관계 f(I, W)에 의한 값을 원래의 정보 에 삽입하는 방법이라 할 수 있다. 이때 워터마킹이 수행된 정보 I'은 다음 수식 (1)과 같이 표현된다.
워터마킹을 효과적으로 사용하기 위해서 여러 가지 특징이 요구되는데 기본적으로 세 가지 정도의 조건을 만족해야 한다. 먼저 외부에서 가해지는 필터링, 기하학적 변형, 그리고 여러 형태의 압축 등과 같은 공격에 강해야 하는데 이를 강인성(Robustness)이라 한다. 둘째로 원래의 정보에 워터마크가 삽입되었는지 안되었는지를 인간의 지각에 의해 판별할 수 없는 비가시성(Invisibility)을 가져야 한다. 마지막으로 문제 발생 시 추출된 워터 마크의 확실한 소유권을 판별할 수 있는 명확성(Unambiguity) 및 낮은 에러확률(Low Error Probability)을 가져야 한다[15].
카메라의 기하학적 구조에 기반한 가상시점 영상을 생성하기 위해서는 영상의 깊이 정보와 카메라의 내,외부 파라미터를 이용하여 영상의 실제 3차원 좌표를 산출하고, 가상 카메라를 정의하여 가상 카메라 위치에 산출된 3차원 좌표를 투영하면 가상시점 영상이 생성된다.
영상을 획득하는 카메라의 기하학적 구조는 그림 1의 핀홀 카메라(pinhole camera) 모델로 설명된다. 그림 1(a)는 핀홀 카메라의 3차원 구조를 나타내고, 그림 1(b)는 2차원 구조를 나타낸다. 일반적으로 핀홀 카메라에 맺히는 상은 Z축의 -f 위치에 역상으로 생긴다. 하지만 이 경우 3차원 좌표 상에서 해석하기가 쉽지 않기 때문에 영상이 맺히는 평면을 Z축상의 카메라 초점 거리 f로 옮겨 해석한다.
실제로 3차원 좌표상의 물체가 영상 평면에 투영되는 관계는 그림 1(b)과 같이 삼각 비례 법으로 해석이 가능하고, 수식으로 표현하면 식 (2)와 같다[16].
여기서 x, y는 영상 평면에 물체가 투영되는 2차원 좌표이고, K는 카메라 내부(intrinsic) 파라미터, R과 T는 카메라의 회전(rotation)과 이동(translation)에 대한 카메라 외부(extrinsic) 파라미터로 식 (3)와 같이 나타낼 수 있다.
그리고 X, Y, Z는 투영되는 물체의 3차원 좌표를 나타낸다. 일반적으로 깊이 영상은 물체의 깊이를 0~255의 값으로 변환하여 표현한다. 가상시점 영상을 생성하기 위해서는 영상의 실제 3차원 좌표 X, Y, Z를 획득해야 하는데, 이때 Z를 산출하기 위하여 식 (4)을 이용한다.
여기서 Z(i, j)는 카메라에서 객체까지의 실제 거리를 나타내고, P(i, j)는 깊이 영상의 화소 값이다. MinZ와 MaxZ는 Z값이 가지는 최소, 최댓값을 나타낸다.
영상의 실제 3차원 좌표를 산출하기 위해서 식 (2)의 양변에 K의 역행렬을 이용하여 식 (5)를 구하고, R은 직교행렬이므로, 양변에 R의 전치행렬을 적용하여
식 (7), (8)을 X, Y에 관하여 정리하면 식(9), (10)과 같다.
가상시점으로 영상을 투영시키기 위해서는 먼저 가상시점 카메라를 정의하고, 식 (9), (10)를 통해 산출된 영상의 실제 3차원 좌표 X, Y, Z와 카메라 내, 외부 파라미터를 이용해서 실제 기준시점의 영상을 가상시점 카메라 위치로 투영시켜 생성한다. 그림 2는 다시점 카메라와 가상시점 카메라를 나타낸 그림이다. 1, 2, 3번 카메라는 실제 기준시점 카메라이고, 4번 카메라는 기저선상의 중간시점 카메라를 나타낸다. 그리고 5번 카메라는 기저선상 외의 가상시점 카메라를 나타낸다.
기저선상의 중간시점 영상을 생성하기 위하여 먼저 가상시점 카메라를 정의해야 한다. 가상시점 카메라는 좌, 우의 기준시점 카메라 사이에 위치하고, 카메라 내, 외부 파라미터는 좌, 우 카메라의 파라미터를 이용하여 선형적으로 생성한다. 식 (11)은 가상시점 카메라의 내, 외부 파라미터를 구하는 식이다.
여기서 υ는 가상시점을
그림 3은 깊이와 텍스쳐 영상의 예를 나타낸다. 이 영상들은 본 연구팀이 깊이 카메라와 RGB 카메라를 이용하여 촬영하고 후처리한 것이다. 그림 3(a)와 (c)는 깊이 영상이고 그림 3(b)와 (d)는 텍스쳐 영상이다.
그림 4는 그림 3(a)와 (b)를 이용하여 깊이와 텍스쳐 영상에 의해서 생성된 다시점 영상의 예를 나타내고 있고, 그림 5는 그림 3(c)와 (d)를 이용하여 생성된 다시점 영상의 예를 나타낸다. 다시점 영상은 3D 워핑을 이용하여 DIBR을 수행한 것이다.
그림 6(a)가 깊이 영상에서 어느 에피폴라 선의 단면을 나타내고 있다고 가정하자. 이 깊이 영상은 중간 시점이라 할 수 있는데 이 깊이 영상을 이용하여 그림 6(b)의 텍스쳐 영상에 대해 3D 워핑을 수행하여 좌와 우 시점을 생성한다면 그림 6(c) 및 (d)와 같은 스테레오 영상을 얻을 수 있다. 그림 6(c)와 (d)에서 검은색 부분은 안보이던 영역이 새롭게 나타나는 것을 의미한다. 그림 6(c)에서 오른쪽으로 시점을 이동하게 되면 깊이 차이에 의해서 중간 시점에서는 안 보이던 부분이 나타나게 된다. 이 영역은 비폐색영역이라하고 다양한 영상처리 기법을 이용하여 보상한다.
이러한 영역이 나타나는 것과 동시에 보이던 영역이 안보이게 되는 폐색영역이 함께 존재하게 된다. 그림 6(c)에서는 빨간색 영역이 일부 사라졌고, 그림 6(d)에서는 파란색 영역이 일부 사라졌다. 즉, DIBR 과정에서 시점의 이동으로 인해 일부 영역이 사라지게 되는데 이 영역에 워터마크가 삽입된다면 시점 이동과 함께 자동으로 워터마크가 훼손되는 것이므로 이러한 가능성이 있는 영역은 워터마크 삽입 영역에서 제외되어야 한다.
그림 7에 워터마크 삽입 알고리즘을 나타냈다. 먼저 깊이 영상은 가능한 먼 시점으로 왼쪽 및 오른쪽으로 3D 워핑을 수행한다. 그리고 이를 겹쳐서 DIBR에 의해 사라질 가능성이 있는 영역을 검출한다. 텍스쳐 영상은 가로 방향으로만 윤곽선 추출 과정을 수행한다. DIRB의 시점 이동은 가로 방향으로만 수행되기 때문에 세로 방향으로 윤곽선 추출 과정을 통해 생성된 정보는 필요없기 때문이다. 이렇게 깊이 영상과 텍스쳐 영상으로부터 얻어진 정보를 결합하여 워터마크를 삽입할 영역을 선정한다.
즉, DIBR 과정을 통해서도 사라지지 않으면서 적절한 변화율을 갖는 영역을 워터마킹 영역을 선정하는 것이다. 변화율이 높은 영역은 윤곽선 영역에 해당하는데 텍스쳐의 변화에 의한 윤곽선 영역은 좋은 워터마킹 영역이 될 수 있지만 이것이 다른 거리에 있는 부분에 해당한다면 폐색영역이 되어서 좋은 워터마킹 영역이 될수 없기 때문에 이러한 영역을 선택하는 것이다. 선택된 영역을 최대한 포함하는 영역에 대해서 DCT를 수행한 후에 중간 주파수 영역에 해당하는 계수에 워터마크를 삽입한다. 워터마크를 삽입하는 방식은 그림 8과 같다. 그림 8의 과정은 양자화 과정에 해당한다. Celing()/floor()는 가장 가까운 큰/작은 정수로 만드는 함수이고, q는 양자화 크기를 의미한다. C는 워터마크가 삽입된 계수를 나타낸다. 예를 들어 계수가 48.3이고 q가 32일 때 워터마크가 0이면 C는 40이고, 워터마크가 1이면 C는 50이 된다.
그림 9에는 DIBR을 통해서 생성된 영역에 대한 예를 나타낸다. 그림 9(a)는 텍스쳐 영상이고, 그림 9(b)는 깊이 영상이다. 그림 9(c)는 DIBR을 통해 얻어진 좌우시점의 스테레오 영상을 겹쳐서 워터마크가 삽입되어서는 안되는 영역을 나타냈다. 그림 9(c)의 영역에서 검은색으로 표시된 부분에 워터마크가 삽입된다면 시점의 이동과 함께 자동으로 워터마크가 소실되는 결과를 가져온다.
그림 10에는 가로방향으로 윤곽선 추출 기법을 적용한 결과이다. 그림 10(a)는 윤곽선 추출을 수행한 결과이고, 그림 10(b)는 추출된 윤곽선 정보에서 비교적 변화율이 낮은, 즉 3D 워핑에서 사라지지 않을 정도의 깊이를 가지면서 다소 고주파 성분을 가지고 있는, 영역을 선택한 것이다. 그림 9(c)와 그림 10(b)의 교집합을 구한 것이 그림 10(c)에 해당한다. 이 영역이 워터마크가 삽입될 영역의 기준이 되는 위치에 해당한다.
워터마크의 추출 과정은 기본적으로 워터마크의 생성과정과 거의 유사하다. 워터마크 삽입 과정과 동일하게 워터마크가 삽입된 영역을 선정하고 그 영역에 대해서 DCT를 수행한다. 그리고 워터마크 추출 과정을 통해서 워터마크를 찾아내어 영상의 소유권을 확인한다. 워터마크 추출 과정은 그림 11에 나타냈는데 그림의 윗 부분은 워터마크 삽입 과정과 동일한 것을 볼수 있다. 그림 12는 워터마크 추출 알고리즘에 해당한다. 앞서 예를 든 것과 같이 DCT 계수가 40이라면 판별기준에 의해서 (40 mod 32)는 8이므로 16보다 작게되어 참이되고, 판별된 워터마크는 0에 해당한다. DCT 계수가 50이라면 (50 mod 32)는 18이므로 16보다 크기 때문에 판별기준에 따라 거짓 조건이 되어 워터마크는 1로 판별된다. 이와 같이 워터마크를 판별할 수 있는데 이때 워터마크가 삽입된 계수가 훼손되어도 양자화 영역안에 포함된다면 워터마크의 판별이 가능하다. 그러나 양자화 영역을 벗어나서 다른 양자화 영역에 속하게 된다면 워터마크는 잘못 판별될 것이다. 이때 양자화 크기인 q의 크기를 크게 해준다면 양자화 영역의 크기가 커지기 때문에 워터마크의 강인성은 커지게 된다. 즉, q의 크기를 통해서 워터마킹 알고리즘의 강인도를 조절할 수 있다.
표 1에는 q가 13인 경우에 다양한 DCT 계수에 대한 워터마킹 결과를 예시하였다.
워터마킹에 의한 값의 조정 (q=13)
본 장에서는 몇 가지 영상에 대해 제안한 알고리즘에 대한 실험을 수행한 결과를 나타냈다. 그림 13은 1,920×1,080 크기의 Poznan street 영상에 대한 결과이다. 워터마크의 삽입과 추출에 Edge_TH는 70을 사용하였고, 양자화 크기 q는 15를 사용하였다. 3D 워핑에서 좌 및 우 영상을 만들 때 각각 4.77907의 크기만큼 이동한 시점을 생성하였다. 그림 13(a)와 (b)는 각각 텍스쳐 영상과 깊이 영상을 나타내고, 그림 13(c)와 (d)는 스테레오 영상으로부터 얻어진 워터마크 영역과 텍스쳐 영상으로부터 얻어진 윤곽선 추출 영역을 나타낸다. 그림 13(e)는 그림 13(d)를 이용하여 얻어진 정보이고 이들을 바탕으로 그림 13(f)의 워터마킹 대상 영역이 얻어진다.
그림 14는 1,024×768 크기의 Poznan carpark 영상인데 Edge_TH는 70을 사용하였고, 마찬가지로 q는 15를 사용하였다. 3D 워핑에서는 좌우 영상의 생성에 대해서 7.965116과 4.77907의 값을 사용하였다. 그림 14의 각 영상에 대한 소개는 그림 13의 영상과 동일하므로 생략하도록 한다.
그림 15에는 세 가지 영상에 대해서 워터마크를 삽입한 결과를 나타냈다. 원래 RGB 컬러 영상을 YUV로 변형한 후에 워터마킹을 수행하고 이를 다시 RGB 컬러 영상으로 변환한다. 그림 15(a)는 Y 영상이고 그림 15(b)는 RGB 영상이다. 컬러 포맷을 변형하면서 일부화소 크기의 변화가 발생하여 워터마크의 훼손이 발생하는 문제가 있을 수 있다.
이러한 컬러 포맷의 변환이 워터마킹 알고리즘 성능에 중요한 역할을 할 수 있기 때문에 정교한 변환식을 사용해야 한다. q를 15로 사용했기 때문에 비교적 약한 수준의 양자화를 수행한 것이라 할 수 있다. 따라서 영상에서 워터마크의 삽입 정도를 전혀 확인하기 어렵다.
그림 16에는 워터마크를 삽입한 이후에 몇 가지 공격을 수행한 결과를 나타낸다. 그림 16(a)는 원래의 영상이고 그림 16(b)는 JPEG 압축을 수행한 것이다. JPEG 압축은 Stirmark를 이용하였고, 강도는 15이다. 그림 16(c)와 (d)는 각각 median 필터와 선명화 필터를 적용한 결과이다. 표 2는 각 공격에 대한 강인성을 나타내고 있다. JPEG 공격에 대해서는 추출된 워터마크가 5.91의 오차율을 보였고, median 필터를 적용한 경우에는 4.55, 그리고 선명화 공격에 대해서는 3.51의 오차율을 보였다.
강인성 실험 결과
본 논문에서는 깊이와 텍스쳐 영상으로부터 임의의 시점에 생성되는 스테레오 및 다시점 영상의 소유권을 보호하기 위한 워터마킹 기법을 제안하였다. 3D 워핑을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 3D 워핑을 수행한 후에 영역을 겹쳐서 DIBR 과정에 의해서 사라지지 않을 영역을 선택하고 2차원 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환하였다. 이 계수의 일부를 양자화하여 워터마크를 삽입하였다. 삽입된 워터마크는 비가시적인 특성을 보였고, 일반적인 영상처리 공격에 의해서 평균 4.7의 오차율을 보여 강인함을 확인할 수 있었다.
