메이크업 시뮬레이션은 메이크업을 피부에 적용한 모습을 가상으로 보여줌으로서 실제 제품 없이도 그 메이크업 효과를 보여주어 사용자의 제품선택을 도와준다. 다양한 제품을 가상으로 사용해 볼 수 있어 소비자로서는 손쉽게 다양한 제품을 접해 볼 수 있는 장점이 있다. 이는 주로 제품의 홍보를 위한 메이크업 시뮬레이션 서비스로서 정확한 색상이나 질감을 보여주기보다는 대략의 색감을 시뮬레이션 하여 보여주는 경우가 많다.

메이크업 시뮬레이션은 화장품 회사가 메이크업 제품을 개발하는 과정에서도 사용될 수 있다. 제품 개발 과정에서 제품을 실제 사람에게 적용하여 그 색상의 느낌을 검토 평가하는 과정을 여러 번 거치게 된다. 가상으로 피험자의 사진에 메이크업 시뮬레이션을 할 수 있다면, 손쉽게 일관성 있는 도포 효과 실험을 할 수 있어 최종적인 제품의 색상을 결정하는 과정에 도움을 줄 수 있다. 이를 위해서는 대략의 색감을 보여주는 수준이 아닌 실제와 흡사한 색상과 질감을 보여주는 메이크업 시뮬레이션이 필요하다.

본 논문에서는 파우더 메이크업에 대해 실제 메이크업과 매우 유사한 색감과 질감을 나타내는 메이크업 시뮬레이션을 구현하고자 한다. 사실감을 향상을 위하여 다음과 같은 방법들을 사용한다.

파우더와 같은 메이크업은 균일하게 도포되는 것이 아니고 고유의 재질감을 느낄 수 있는 도포 패턴을 만드는 데, 색상과 함께 도포패턴의 의한 질감이 사실적으로 표현 되어야만 색감에 대한 정확한 판단이 가능하다. 따라서 실제 사람 피부에 적용된 파우더의 도포 패턴을 추출하여 사용함으로서 사실적인 파우더 질감을 나타낸다.

메이크업의 색상 발현은 메이크업 고유의 반사 색상과 투과 색상이 피부색과 합성되어 보이는 것이다. 메이크업 시뮬레이션 색상이 실제와 유사하기 위해서는 메이크업의 고유 색상을 정확히 측정하여야 한다. 본 논문에서는 다양한 색상의 인조피부에 메이크업을 도포한 색상을 분석하여 보다 정확히 메이크업의 고유색을 측정하는 방법을 고안하여 사용한다.

Tazz[1], Makeover[2], Lancome[3]은 웹사이트나 스마트폰 플랫폼에서 서비스되고 있는 메이크업 시뮬레이션으로 사용자가 수동으로 다양한 화장품과 스타일을 선택하면 사용자의 사진에 메이크업을 적용한 결과를 보여준다. 이러한 서비스들은 제품의 홍보를 위한 성격으로 실제의 메이크업과 유사하다는 신뢰성을 갖기 어렵다.

Tong[4]은 얼굴의 메이크업 전/후 사진에서 각 점마다 색상의 변화율을 구하여 메이크업 맵을 구성하고 이를 다른 사람의 사진에 적용하여 가상의 메이크업을 하였다. 메이크업 후의 색상을 메이크업 전의 색상으로 나눈 단순한 변화율을 사용하였기 때문에, 실제 화장품의 색상발현을 시뮬레이션 하는 것이라 볼 수 없고, 다른 사람의 피부 구조까지 같이 전이되는 문제가 있다.

Guo[5]는 한 사람의 메이크업 후 사진만을 가지고 그 메이크업 효과를 다른 사람에게 전이하는 방법을 제안하였다. 이를 위하여 사진을 La*b* 컬러로 변환하고 밝기 L의 고주파 부분과 a*b* 색상부분에서 두 사진을 합성하였다. 이 또한 예제로 제공되는 메이크업 후 사진의 색을 단순히 다른 사람의 사진에 섞는 것으로서 실제 메이크업이 피부에 도포되어 발현되는 색과는 거리가 있다.

화장품이 피부에 도포되어 색상이 발현되는 것은 두 개의 서로 다른 색상의 재질이 층을 이루는 것으로서 그 재질이 광학적으로 확산(diffusion) 모델에 따른다면 Kubelka-Munk 모델로 해석할 수 있다[6,7]. Doi[8,9]는 메이크업 전/후의 볼의 한 점에서 색상 스펙트럼을 스펙트로미터로 측정하고 이를 KM (Kubelka-Munk) 모델로 해석하여 화장품 도포에 따른 색상 발현 과정을 구하였다. 그런데, 이를 다른 사람의 민낯 피부에 적용할 때 얼굴 전체에 대해서 색상 스펙트럼을 측정할 수 없기 때문에, 역시 볼의 한 점에 대해서만 색상 스펙트럼을 측정하고 KM 모델로 시뮬레이션하여 가상의 메이크업 색상을 구한 후 그 색상 변화량을 얼굴 전체에 더하는 방법을 사용하였다. 볼의 한 점에 대해서는 물리적으로 의미 있는 메이크업 시뮬레이션을 수행하였으나, 그 점에서의 변화량을 단순히 얼굴 전체에 더하는 것은 물리적인 의미가 없는 즉흥적인 방법으로 정확한 시뮬레이션 효과를 기대할 수 없다. 또한, 얼굴 전반적인 색감만이 변화되는 것을 메이크업의 도포 두께 변화에 따른 색상 변화 패턴이 나타나지 않는 한계가 있다.

Scherbaum[10]은 56명의 여성의 화장 전/후 사진 데이터베이스를 이용하여 메이크업을 제안하는 시스템을 제안하였다. 가상 메이크업 대상이 되는 사진과 가장 유사한 사진을 찾고 여러 채널(diffuse, gloss, scattering)에서 메이크업 전/후 변화율을 대상의 사진에 곱하여 메이크업 시뮬레이션을 수행한다. 여러 채널을 사용하였지만 기본적으로 변화율을 곱해주는 단순한 색상 발현 모델을 사용하므로 실제의 메이크업 색상 발현과는 차이가 있다 하겠다.

You[11]는 메이크업 전/후의 색상 스펙트럼을 측정하고 파장별 색상 차이값을 메이크업의 색상 특성치로 사용하고, 두 가지 다른 색의 화장품을 혼합하였을 경우 특성치를 평균한 것을 사용하였다. 혼합색을 구하기 위해 파장별 특성치를 평균하는 것은 의미가 있으나 특성치로서 파장별 색상 차이값을 사용한 것은 단순한 보간법으로서 가상 메이크업 적용시 KM 모델에 비해 정확도가 떨어진다. Jang[12]은 메이크업 전/후의 색상 스펙트럼의 변화율을 보간하는 방법으로 도포두께를 표현하는 방법을 사용하였다. 이 방법 역시 파장별 계산은 RGB 계산에 비해 보다 정확한 색상 계산을 가능하게 하는 장점이 있으나 도포 두께를 표현하기 위해 단순히 파장별 변화율을 보간한 것은 개선이 필요하다.

Huang[13]은 시료판, 화장품이 도포된 시료판 및 두껍게 도포된 화장품에 대해 색상 스펙트럼을 특정하고 이를 KM 모델로 해석하여 제품의 광학 특성치를 구하고, 이를 피부 사진에 적용하여 가상 메이크업 시뮬레이션을 수행하였다. KM 모델을 사용하여 색상 시뮬레이션이 비교적 정확할 것으로 기대된다. 하지만, 화장품에 대해서는 색상 스펙트럼을 측정하였고 이를 적용할 얼굴 사진은 RGB 이미지여서 서로 맞지가 않아 RGB로 변화하여 계산함으로서 정확도를 잃을 수 있다.

앞서의 관련연구들은 단순히 메이크업 전/후의 색상 차이나 변화율을 RGB 또는 색상 스펙트럼에서 보간하는 방법들을 주로 사용하였다. 이러한 방법들은 색상 정확도가 좋지는 않지만 메이크업 도포 패턴이 보이는 재질감을 표현할 수 있는 장점이 있다. 보다 정확한 색감의 계산을 위하여 피부와 메이크업 도포 층간의 빛 확산에 의한 색상 발현 과정을 KM 모델로 분석하여 보다 사실적인 색감을 계산하려는 연구들도 많았다. 이러한 방법들은 얼굴 전체에 대해 색상 스펙트럼 이미지를 측정하기 어려운 한계로 인해, 한 점에 대해서만 KM 모델을 적용하고 그 색상변화 효과를 얼굴 전체로 RGB 색공간에서 적용하는 것들이어서 KM 모델로 색상 정확성을 추구한 의미가 퇴색되는 면이 있다. 또한, 도포 패턴의 의한 메이크업 질감이 나타나지 않고 너무 매끄러워서 설사 색상이 정확하다 하더라고 실제와는 다른 이질감으로 메이크업의 결과가 다르게 보여지는 문제가 있다.

본 논문에서는 KM 모델에 비해 단순하면서도 피부와 화장품 도포 층간의 색상 발현 현상을 효과적으로 표현할 수 있는 색상 발현 모델을 제안하고자 한다. 도포 층의 투과 색상과 피부색이 합성되는 과정을 모델링하기 때문에, 단순히 메이크업 전/후 차이값이나 변화율을 보간하는 것에 비해 보다 실제에 유사한 색상 시뮬레이션을 기대할 수 있다. 또한, 다양한 색상의 인조스킨에 도포된 메이크업의 색상에 대해 제안된 색상 발현 모델로 회귀 분석하는 방법으로 메이크업의 투과 색상 측정의 정확도를 높인다.

제안된 방법은 RGB 색공간에서 동일한 색상 발현 모델을 이용하여 메이크업 고유색 측정과 메이크업 시뮬레이션을 수행하기 때문에 얼굴 사진 전체의 각각의 픽셀에 대해 독립적인 메이크업 시뮬레이션 적용이 가능하다. 본 논문에서는 동일한 색상 발현 모델을 이용하여 실제 메이크업 사진의 각 픽셀에서 도포 두께를 측정하는 방법으로 도포 패턴을 추출하고 이를 메이크업 시뮬레이션에 적용하는 과정에서도 픽셀 단위로 시뮬레이션을 수행하여 도포 패턴에 의한 메이크업의 재질감을 사실적으로 표현한다.

피부에 화장품을 도포하여 발현되는 색상은 화장품의 색과 얇은 두께의 화장품 도막을 통해 비쳐 보이는 피부색이 함께 보이는 것이다. 두껍게 도포할수록 화장품 제형의 색상에 가까워지고 도포 두께가 얇을수록 피부색에 가까워진다. 이렇게 색상이 다른 두개의 물질이 층을 이루는 경우 이를 KM 모델로 해석할 수 있으며 이를 이용하여 화장품 도포 색상을 시뮬레이션 하는 연구가 있어왔다.

KM 모델을 사용하기 위해서는 스펙트로미터를 이용하여 각 단일 파장별로 화장품과 피부의 반사율을 측정하고 이를 이용한 색상 합성 시뮬레이션을 수행한 후 최종적으로 RGB 색상으로 변환하여야 한다. 그런데, 스펙트로미터는 한 점에서의 색상만을 측정하는 것이므로 피부의 한 점에 대해서만 메이크업 시뮬레이션을 수행하고 그 색상 변화 정도를 얼굴 피부 전체로 근사적으로 적용하는 시뮬레이션 방법들이 제안되었다[9,13]. 이러한 방법들은 각 점의 피부색에 개별적으로 시뮬레이션을 적용한 것과 결과 색상이 다르고, 특히 피부 전체적으로 균일한 도포 두께를 적용하므로 도포 패턴에서 제형의 질감이 나타나지 않는 문제가 있다.

사진이미지의 R, G, B 색상값을 각각 단일한 3개의 파장으로 해석하고 KM 모델을 적용하는 것도 가능하지만, 디지털 카메라의 R, G, B 색상 필터는 단일 파장이 아니므로 KM 모델에 맞지 않다. 본 논문에서는 RGB 색공간에서 간단하면서도 실제 도포 색상을 사실감있게 표현할 수 있는 색상 발현 모델을 제안한다.

KM 모델에 비해 단순화된 색상 발현 모델을 사용하는 반면 다양한 인조스킨에 도포된 색상을 분석하여 메이크업 고유색 측정의 정확도를 높였다. 또한, 동일한 색상발현 모델을 사용하여 각 점마다 도포 두께를 다르게 하면서 독립적으로 색상 시뮬레이션을 수행하는 것이 가능하여 색상뿐만 아니라 도포 패턴에 의한 제형의 질감 또한 사실적으로 표현하였다.

본 논문에서 사용한 파우더 도포 색상 발현 모델은 다음과 같다. 그림 1에서 나타나는 바와 같이 (a) 조명의 일부 빛은 파우더 도포 층에서만 반사하고, (b) 나머지 빛은 파우더 도포 층을 투과하고 피부 층에서 반사된 후 다시 도포 층을 투과하여 외부로 보이게 된다. 파우더 도포에 의한 색상은 이 두 가지 빛의 색상 (a), (b)의 합으로 표현될 수 있다. 파우더 도포 층과 피부 층 사이에서 여러 번 반사하다가 외부로 반사되는 빛도 있으나 이 부분에 대해서는 그 빛이 상대적으로 약하므로 생략하였다.

파우더 도포 층을 투과하고 피부 층에서 반사된 후 다시 도포 층을 투과하는 빛의 비율인 투과율을 α라 하면 나머지 빛 즉 파우더 도포 층에서만 반사하는 빛의 비율은 (1 – α)가 된다.

여기서 α는 RGB 색상별로 다르므로 0~1 사이의 RGB 벡터값으로 α를 표현한다. 피부의 RGB 색상을 S라고 하면 색상 (a)는 αS로 표현된다. 여기서 α와 S는 각각 RGB 벡터값으로 αS는 α와 S의 각각의 RGB 값을 곱하는 것을 의미한다.

파우더 도포두께가 두꺼워질수록 투과율 α는 작아지고 불투과율 (1 – α)는 커진다. 도포 두께가 아주 두꺼울 경우 투과율 α = 1이 되고, 불투과율 (1 – α) = 1이 된다. 투과율, 불투과율은 각기 투명도, 불투명도로 해석할 수 있다. 따라서, 불투명도가 100%인 경우의 파우더의 색상을 P라고 한다면 불투명도가 (1 – α)인 경우 색상이 (1 – α)P가 되며, 이것이 (b)에 해상하는 색상이 된다. 여기서 P는 매우 두꺼운 두께의 파우더 도포색을 의미하는 것으로, 본 논문에서 실험에 사용하는 파우더의 경우 압축 콤팩트 형태의 색상을 촬영한 것으로 하였다. 이상을 정리하면 도포색상 C는 다음과 같이 표현된다.

투과율 α는 도포 두께의 커짐에 따라 작아지는 데, Beer's law를 적용하여 다음과 같이 표현한다.

여기서 β는 파우더 단위 두께 당 투과율로서 RGB 벡터이고, T는 도포 두께이다. 이를 이용하여 수식 (1)을 정리하면 다음과 같은 색상모델이 된다. 사용된 기호는 표 1에 정리하였다.

도포 두께 T가 0이면 C = S 즉 피부색이 되고 T = ∞ 이면 C = P 즉 두꺼운 파우더 색이 된다. 두께 T에 따라 피부와 파우더의 색상의 합성색이 변화하게 되며 같은 두께의 파우더를 도포하여도 파우더의 고유특성인 β와 P에 따라 합성색이 달라진다. 본 논문에서는 다양한 파우더에 대해서 그 고유특성 값인 β와 P를 측정하고 이를 이용하여 실제의 얼굴 피부 사진에 가상으로 파우더 메이크업을 하였을 때 발현되는 색상을 시뮬레이션 하고자 한다.

파우더의 빛 투과율 β는 파우더의 색상인 P와 함께 파우더 도포의 색상 발현을 결정하는 고유한 특성 값이다. 투과율 β 및 도포 두께에 따라 파우더 색상 P와 피부색의 합성비율이 달라짐으로서 최종 색상 발현을 결정한다. 즉, 여러 가지 파우더 제형에 대해 β와 P를 측정하여 파우더 색상 DB를 구축할 수 있음을 의미한다.

파우더 색상 P는 전혀 비쳐 보이지 않을 정도의 두께를 가진 파우더를 촬영함으로서 측정할 수 있다. 이를 위하여 그림 2에서의 같이 압축된 파우더를 디지털 카메라로 촬영하였다. 촬영에 앞서 컬러차트를 촬영하여 조명이 따른 색상 차이가 없도록 색보정을 하였다. 하나의 컬러차트 사진을 기준으로 하여 다른 사진의 컬러차트의 색상들이 가능한 한 같게 나타나도록 선형변환을 하였다. 이때, RGB 색공간은 sRGB가 아닌 linear RGB를 사용하였다. 본 논문에 사용된 모든 사진은 색 보정을 하여 서로 밝기를 일치시켜 단일한 조명 상태에서 촬영된 것처럼 사전 처리하였다.

파우더의 빛 투과율 β는 반사된 색상이 아닌 투과 색상을 측정하는 것으로 일반적인 촬영으로 측정할 수 없다. 유리판에 얇게 도포한 후 조명을 반대편에서 비추면서 측정하는 방법도 가능하겠으나 균일한 조명 상태를 만들어야 하고 유리판도 측정에 영향을 주기에 구현이 쉽지 않다. 본 논문에서는 실제로 파우더를 도포하여 피부색을 얼마나 가리는 지가 파우더의 투과율 β이라는 점에 착안하여, 3가지 색상의 인조피부에 파우더를 도포하고 그 도포 전후 사진을 색상모델 (2)에 대입하여 역으로 β를 계산하였다.

인조스킨의 색상을 S_i라고 하고 C_i를 파우더 도포 후의 발현색, 그리고 T_i를 도포 두께라고 하면 다음과 같은 식이 성립한다. (i = 1,2,3)

여기서 구하고자 하는 파라메터는 β와 T_i이다. 즉, 미지수 개수는 β가 RGB 색상으로 3개이고 두께 T_i가 3개이므로 6개이다. 반면 수식 (3)은 색상에 대한 등식으로 총 9개의 등식이므로 해를 구할 수 있다.

최소 2개의 인조스킨을 이용하여도 수식 (3)의 미지수를 구할 수 있지만 보다 정확성을 높이기 위해 그림 3에서와 같이 색상이 현저히 다른 흰색, 갈색, 검은색의 3가지 인조스킨을 사용하였다. 이때, 미지수의 개수 보다 등식의 개수가 많으므로 수식 (3)은 다음과 같은 근사식의 오차를 최소화 하는 최적화 문제로 생각할 수 있다.

여기서 최적값 상태에서 β^T 값을 상수로 유지하면서도 β, T 값이 변화할 수 있기 때문에 최적화의 해가 단일하지 않아 해를 결정하기 어려운 문제가 있다. 이를 해결하기 위하여 T₃ = 1으로 일부 해를 고정하여 아래와 같은 근사식의 최적해를 구하였다

수식 (4)의 최적화 문제는 비선형 최적화 문제로서 trust region algorithm[14] 사용하여 그 해를 구하였다. 초기치로는T₁ = T₂ = 1, β = (.9 .9 .9)를 사용하였다. 빛 투과율 β는 모든 점에서 같은 값이므로 상기의 방법으로 인조스킨의 대표적인 한 점에서 이를 계산하였다.

빛 투과율 β가 결정된 후에는 인조스킨 모든 점에 대해 파우더의 도포 두께를 구할 수 있다. 이는 다음 근사식의 최적해를 구하는 방법으로 결정된다.

여기서 미지수는 두께 T1개 인데 수식은 RGB 색상에 대해 각기 1개인 총 3개이므로 이를 최적화 하여 두께 T를 구하였다. 빛 투과율 β를 구하기 위한 최적화문제 (4)와는 달리 선형방정식이므로 아래와 같이 최소제곱법(least square method)를 적용하여 빠르게 두께 T를 계산하였다. 수식에서 ⋅은 내적을 의미한다.

그림 2에 실제로 계산된 빛 투과율 β와 각 인조스킨에서의 파우더 도포 두께 T_i를 나타내었다.

피부에 파우더를 도포할 때에 발생하는 피부 톤의 시각적 개선효과에서 색조 변화 못지않게 매트(matt)한 느낌의 파우더 재질감이 큰 부분을 차지하고 있다. 피부에 도포된 파우더의 재질감은 상당 부분 그 도포 패턴에서 나타난다. 따라서 본 논문에서는 균일한 두께로 파우더를 도포했을 때의 색상을 시뮬레이션 하는 것은 파우더 도포의 재질감을 표현하기에 부족하다고 보고, 각 점마다 도포 두께를 변화시키면서 사실적인 메이크업 시뮬레이션이 되도록 하였다.

파우더의 도포 패턴은 실제 사람 피부에 파우더를 도포한 전/후 사진을 비교하여 도포 두께 패턴을 구함으로서 보다 사실감 있는 시뮬레이션이 되도록 하였다. 그림 3은 그 과정을 보여 준다. 파우더를 도포한 얼굴과 맨 얼굴의 사진을 비교하여 수식 (5)의 방법으로 도포 두께를 계산한다. 얼굴 사진촬영은 Vision Systems 사의 VISI CR을 이용하였다. 턱과 이마를 고정하여 가능한 한 전후 사진을 같은 자세에서 촬영을 하지만, 두 사진이 정확히 일치하지 않아 수식 (5)의 방법을 적용하기 어려운 문제가 있다. 이를 해결하기 위해서 그림 3의 왼쪽 사진과 같이 얼굴에 특징점을 표시하고 메이크업 전/후 사진에서 이 특징점들이 일치하도록 사진 이미지를 변형하였다. 이미지 변형방법으로는 moving least square method[15]를 사용하였다. 특징점을 일치시킨 메이크업 전/후 사진을 수식 (5)의 방법으로 비교하여 도포 두께를 계산한다. 그림 3의 오른쪽은 계산된 도포 두께의 예를 보여준다.

파우더의 빛 투과율 β와 파우더의 색상 P, 그리고 도포 두께 T가 주어지면 사진이미지 상에서 파우더 도포 시뮬레이션을 수행하여 발현되는 색상을 예측할 수 있다. 그림 4는 파우더 도포 시뮬레이션의 예를 보여준다. 여기서 S는 파우더가 가상으로 도포될 맨얼굴의 사진 이미지이다. 이 사진 역시 VISI CR로 촬영되었다. 도포 두께 T는 4.3절에서 생성한 다른 사람의 얼굴에 대한 도포 패턴을 이미지 편집기로 수정하여 위치나 대략적인 모양이 대상 얼굴에 맞게 한 것이다. 이 때 미세한 도포 패턴은 그대로 유지하였다.

본 논문에서는 9종의 파우더 제품에 대해서, 그리고 세 사람의 사진을 대상으로 파우더 도포 시뮬레이션을 하였다. 그림 5는 같은 종류 및 같은 도포 두께를 가지는 파우더 메이크업을 서로 다른 피부색의 세 사람에게 시뮬레이션 한 예이다. 또한 도포 두께를 달리하면서 연한 단계에서 진한 단계가지 시뮬레이션 하여 결과 이미지를 생성하였다. 두께 T에 배수를 곱하면 파우더 도포가 진하게 또는 연하게 되어 전반적인 도포 두께에 변화를 주면서 시뮬레이션 결과를 관찰할 수 있다. 그림 6는 도포 두께를 1, 2, 3배로 하였을 때의 시뮬레이션 결과를 보여준다.

시뮬레이션에 의한 색상이나 재질감이 실제와 유사한지를 검증하기 위해서 화장품 개발에 종사하는 3인의 전문가들이 육안평가를 수행하였다. 그 결과 3인 모두 색감과 질감이 실제 메이크업과 비교하여 유사한 것으로 평가하였다. 본 논문에서 제시한 파우더 도포 색상 발현 모델을 이용하여 실제 모델이 아닌 사진 이미지 상에서 가상 파우더 도포 색상 시험이 가능할 것으로 판단된다.

본 연구에서는 파우더 도포에 의한 메이크업 시뮬레이션을 하기 위한 색상 발현 모델을 제안하고 여러 색상의 인조 스킨에 파우더를 도포한 사진 이미지를 사용하여 파우더의 특성치와 도포 두께를 측정하는 방법을 제시하였다.

또한, 실제 피부의 파우더 도포 패턴을 추출하여 메이크업 시뮬레이션에 사용하였다. 측정된 파우더의 특성치와 도포패턴으로 서로 다른 사람들의 얼굴 사진에 가상으로 도포 시뮬레이션을 수행하였고, 그 결과 사실적인 색상 및 질감의 메이크업 시뮬레이션 가능하였다.