색상 변환 기법은 참조 영상의 색 또는 작품의 팔레트에 기반해 입력영상의 색상을 변경시키는 기술이다. 다양한 색상 변환 연구들이 2000년대 들어 진행되었으며, 일반적으로 참조 영상의 색상 및 밝기(tone)에 기반해 색상 변환을 수행함으로, 이미지색 선명화 및 이미지 시각화 분야에서 사용되어왔다.

기존의 연구들은 단순히 참조 영상의 색상 또는 지정된 팔레트의 색상을 바로 입력 영상에 적용하기 때문에, 참조 영상을 유명 화가의 작품을 사용하여 그와 같은 느낌을 표현하고자 하는 경우 부자연스러운 결과를 생성하였다. 그 이유는 실제 유명 화가들의 그림에는 각 화가가 가지는 독특한 색상 사용 규칙이나 특징들이 내제되어 있으나, 이를 반영해 주지 않기 때문이다.

본 논문은 기존의 명화 이미지를 참조 영상으로 사용하여 입력 영상의 색상을 변환하는 기법을 제안한다. 이를 위해 본 연구에서는 빈센트 반 고흐의 영상을 대상으로 실험을 수행하였다. 반 고흐는 인상주의 시대의 대표적 화가이며, 그의 작품은 강렬한 색채 및 대비를 가지고 있어, 작품을 관찰하는 사람으로 하여금 큰 감흥을 준다고 알려져 있다.

우리는 변환하고자 하는 이미지를 입력 영상으로 정의하며, 반영하고자 하는 명화 작품을 참조 영상으로 정의한다. 우리는 입력 영상을 객체 별로 구분하고 가장 시선이 많이 가는 영역을 주 대상 객체로 정의하며, 주 대상 객체의 색상 정보를 기반으로 주변 객체 색상을 변형한다. 이때 참조 영상이 가지는 색상 조화 패턴 정보를 기반으로 색상을 변경해 준다. 위의 과정을 통해 우리는 입력 영상의 주요색상을 중심으로 참조 영상이 내포하고 있는 화가의 색 조화 특징을 가진 색상 변환 결과를 생성할 수 있었다.

본 논문은 다음과 같이 구성된다. 2장에서는 본 연구와 관련된 색상 변환과 관련된 기존의 연구들이 정리되어 있으며, 3장에서는 참조 영상에 대한 분석과정을 소개한다. 이 과정에서는 참조 영상의 색상 분석과 색 조화 패턴 분석이 수행된다. 4장에서는 3장에서 분석된 정보를 기반으로 입력 영상의 색상 변형 과정을 소개한다. 이 과정은 세일리언시 기반의 중심색상 변환과, 대비 패턴에 기반한 주변 영역 색 변환으로 구성된다. 5장에서는 본 연구에 대한 구현 결과를 소개하며, 6장에서는 결론 및 향후 연구에 대해 제시한다.

색상 전이기법은 영상의 색상 재표현에 가장 널리 사용되는 방법이다. 이 기법은 참조 영상을 영역별로 구분하지 않고 바로 적용하는 전역 접근과 영역별로 나누어 매칭 시키는 지역 접근방법으로 구분된다. [1-3]은 대표적인 전역 접근 방법에 속한다. [1]는 색상 전이 연구의 가장 기반이 되는 연구로, Lab 색 모델의 평균, 편차 정보를 활용해 색을 변경하였다. [2]에서는 HSV 공간에서, [3]에서는 Lab공간에서의 히스토그램 매칭 알고리즘을 적용해 색상 및 톤의 변화를 적용하였다. 위의 연구들에서는 영역 구분 없이 참조 영상의 전체정보를 활용하기 때문에 별도의 매뉴얼 한 작업이 필요 없다는 장점이 있다. 하지만 예술작품과 같이 각 영역별로 명확한 색상의 구분 및 대비가 있는 이미지에는 사용하기에 한계가 있다. [4-7]에서는 색상에 대해 적용한 전이 기법과 유사한 접근 방식을 텍스처를 대상으로 적용한 연구를 보여준다.

지역 접근방법의 대표적인 연구는 [8-11]이다. 이 연구들에서는 영역을 구분하고 각 영역에 매칭될 참조 영역을 지정하여 각 영역별로 톤 및 색상을 변형시키는 알고리즘을 제안하였다. 이 접근법은 각 매칭되는 영역별로 색상의 변화 및 밝기 보정 등에 활용하기에는 적합하였지만, 각 영역의 매칭 관계를 사용자가 일일이 지정해 줘야하기 때문에 많은 시간이 소모되었다. 우리의 연구는 작품의 대비정보를 명확히 표현하기 위해 지역 접근법에 기반하며 영역별 중요도와 위치 정보를 기반으로 매칭 하였다. 또한 회화작품에 나타나는 색에 초점을 두지 않고, 영역별 색의 대비 패턴 정보를 반영 하였다.

<그림 6>은 <그림 4>를 입력 영상으로 하고 <그림 3>을 참조 영상으로 색상 변환한 결과 영상을 보여준다. 본 알고리즘 적용을 통해 해바라기의 중심 영역은 주황색 값이 나타나고 주변 부에 참조영상이 가지는 조화 패턴을 적용함에 따라 다른 느낌의 결과 영상이 생성되는 것을 볼 수 있다. 이는 서론에서 설명한 바와 같이 예술가의 작품은 일반 사진과는 다르게 한정된 색상으로 명확한 대비 효과를 가지고 있기 때문이다. 그리고 이런 특징을 고려한 본 알고리즘을 적용하면 명확한 색상 대비 효과를 쉽게 표현 가능함을 확인할 수 있다.

<그림 7>은 다른 입력영상을 사용한 결과로 기존 알고리즘을 적용한 결과영상을 비교하여 보여주고 있다. <그림 7-(a)>는 빈센트 반 고흐의 ”Cafe Terrace at Night”(1888)“를 참조 영상으로 한 것이다. 우리는 중심 색상을 노란색으로 설정하고, 참조 영상의 조화 패턴을 적용한 결과, 실제 고흐의 작품에서 나타나는 색상의 느낌이 결과 영상에 나타나는 것을 확인 할 수 있었다. <그림 7-(b)>는 대표적인 색상변환 연구인 [1]을 적용한 결과 영상이다. 기존 연구의 경우 단순히 참조 영상의 Hue의 히스토그램 정보를 고려하여 색상 변환을 수행하기 때문에, 예술가의 작품과 같이 한정된 색상을 가진 영상을 참조 영상으로 사용하고 영역별로 해당 알고리즘을 적용하면 본 결과와 같이 매우 어색한 결과 영상이 생성되는 것을 확인 할 수 있었다.

본 논문에서는 참조 영상의 색 조화 패턴을 활용한 색상 변환 알고리즘을 제안하였다. 이를 위해, 우리는 실제 화가가 사용하는 색상 팔레트를 분석하였고, 추가적으로 작품의 영역 간에 나타나는 색상 조화 패턴정보를 분석하였다. 그리고 이를 기반으로 입력 영상의 색상을 변환하였다. 우리의 연구는 때때로 기존의 색 변형 알고리즘들에 비해 영역 사이에서 자연스러운 색상 변환 결과를 생성하지는 못하였다. 하지만, 명화에 나타나는 화가들의 대비 효과를 표현해 줌으로써 보다 명확한 색상의 대비 느낌을 표현할 수 있었다. 하지만 영역의 구분이 모호한 입력 영상을 사용하거나, 이미지 세일리언시 값이 다방면에서 높게 검출되는 영상의 경우 어색한 결과 영상을 생성하기도 하였다.

본 연구에서는 예술가의 색상만을 기반으로 연구를 진행하였다. 하지만, 각 작품에서 나타나는 윤곽선 표현 방법이나, 유화의 재질감 등을 추가로 분석하여, 반영할 수 있다면 보다 참조 영상과 유사한 결과 영상을 생성해 낼 수 있을 것으로 예상된다. 따라서 향후 참조 영상에 나타나는 다양한 예술적 특징을 추출하고 이를 반영해 주는 연구의 진행이 필요할 것으로 예상된다.