인공 지능 분야는 최근에 가장 활발히 연구되고 있는 분야 중에 하나이며, 이 인공 지능은 인공 신경망을 근본으로 한다. 최초의 인공 신경은 인간의 신경인 뉴런(neuron)의 동작 원리를 모방하여 설계 제작되었다[1]. 그 후 다중 레이어 신경망 구조(MLP: multi-layer perceptron)[2]와 역전파 방법(back propagation) [3]이 개발되어 현실적으로 사용이 가능한 인공 신경망을 설계 할 수 있게 되었다. 그러나 이러한 인공 신경망을 훈련시키고 실제 사용하기 위해서는 무엇보다도 많은 연산을 빠르게 수행 할 수 있는 계산기 (computer)가 필요한 데, 2000년대 초반까지만 하여도 이러한 계산기가 없어 실생활에서 적용을 하지 못하고 있었다. ILSVRC(ImageNet Large-Scale Visual Recognition)은 인공지능 분야 에서도 가장 기본이 되는 이미지 분류(image classification) 대회이다. 그런데 2012년 이 대회에서, Alex Krizhevsky가 기존에 비하여 거의 10%에 가까운 성능 향상을 얻은 논문을 발표하였다[4]. 성능 향상의 요인으로 활성화 함수 개선과 과적합 (overfitting) 문제를 해결하기 위한 방법론도 제시하였지만, 가장 큰 요인은 병렬 처리가 가능한 GPU (graphics processing unit)를 사용한다는 것이었다. 기존과 다르게, GPU를 사용함으로써 많은 연산을 빠르게 처리하는 것이 가능해졌고, 이를 통하여 많은 훈련이 가능하여 궁극적으로 커다란 성능 향상을 얻게 되었다.

이후 인공지능 분야는 많은 분야에 적용이 되었는데, 영상 의학 데이터를 분류하는 데 사용되었고[5], 농작물의 상태를 분석하는 분야에도 사용되었다[6]. 또한, 추론 정밀도 향상 외에도 고속 인공지능 구현을 위한 방법도 제안되었다[7].

이 논문에서는, 인공 지능 이미지 분류기의 성능 향상을 위한 새로운 방법을 제시한다. 이 논문의 아이디어로서 저자는 우리가 사물을 바라보고 그것이 무엇인지를 파악할 때 사물의 외곽을 보고 판단한다는 점에 착안하여 그 정보를 신경망에 적용하였으며, 신경망 은닉 레이어 (hidden layer)의 특징 맵 (feature map)을 상대 비교함으로써 이 방법이 실제 유효함을 보인다. 성능 비교 평가를 위하여 텐서플로우 (tensorflow)를 이용하여 인공신경망을 구현하였으며 테스트 이미지 세트로는 10 종류의 이미지를 분류하는 CIFAR-10 이미지를 사용하였다[8]. 동일한 조건의 실험에서 제안하는 방법을 사용하여 약 3%의 성능 개선을 이룰 수 있음을 보인다. 제안하는 구조의 또 하나의 장점으로는 기존 신경망을 바꾸지 않고도 단지 입력 레이어 만을 변경하여 성능을 올릴 수 있다는 것이다. 이는 거의 동일한 가중치 (weight)나 바이어스 (bias) 수를 유지할 수 있으며, 이것은 추가적인 메모리나 단일 곱셈누산기 (MAC: multiplier-accumulator)의 증가가 거의 없음을 의미한다. 다시 말해서, 단 소수점 이하 몇 퍼센트의 성능을 높이기 위하여 백층이 넘게 레이어 쌓는 것에 비하면 [9], 제안하는 방법은 대단히 단순하면서도, 작은 크기의 효과적인 인공 신경망을 만들 수 있는 방법이다.

이 논문의 구성은 다음과 같다. 제 2장에서는 신경망 설계와 성능 향상을 위한 아이디어와 그 구현을 제시하며, 제 3장에서는 실험 환경과 특징 맵들을 시각화한 결과를 비교하여 성능 개선이 명확히 됨을 보이고, 마지막으로 결론을 기술한다.

설정된 파라미터 값을 이용하여 훈련을 진행하였고 텐서보드 (tensor board)[10]를 이용하여 성능을 비교하였다. 훈련에서 에포크 (epoch)가 진행됨에 따라서 변화하는 손실 값은 아래 <그림 5>와 같이 얻어졌다.

여기서 ‘logs_wo’은 에지 채널 E를 인가하지 않은 상태의 손실 값의 변화를 나타내며, ‘log_w’은 에지 채널 E를 인가하였을 때의 손실값의 변화를 나타낸다. E 채널을 인가하였을 때 손실 값이 더 빠르게 떨어짐을 분명히 알 수 있다.

손실 값이 이렇게 빠르게 줄어든다는 것은 이미지 분류기의 정밀도가 더 빠르게 향상된다는 것을 의미하며, 그 비교된 정밀도를 <그림 6>에 나타내었다.

훈련이 진행 될수록, 기존 방식에 비하여 제안한 방법에서의 정밀도가 더욱 증가함을 알 수 있다. 이 실험에선 기존 방식은 77%의 정밀도를 보였으며, 제안하는 방식에서는 80%의 정밀도를 보여서, 제안하는 방법으로 3%의 성능 향상을 얻을 수 있었다.

이제 왜 이러한 결과가 나온 것인지 좀 더 구체적으로 신경망 내부를 알아보고자 한다. 이 논문에서는 신경망 내부를 보기 위하여 은닉층 (hidden layer)의 특징 맵 (feature map)을 비교한다. 그 비교를 위하여, 이미 훈련이 끝난 두 신경망에 <그림 6>과 같은 하나의 실험 이미지를 인가한다.

이 실험 이미지의 해상도는 640×426이므로 32×32로 다운 샘플링 (down sampling)하여, 이미 구현된 신경망의 입력 크기에 맞도록 이미지의 크기를 조절하였다. 이 이미지를 <그림 4>의 입력으로 인가하고 ‘Conv (3×3×36)’레이어의 출력 특징 맵 (output feature amp)을 시각화하여 비교하였다. 출력 채널이 총 36개 층이 있고 모든 층을 시각화 하였다.

<그림 7>은 기존 방식으로 얻어진 특징 맵이고 <그림 8>은 새롭게 제안한 방식으로 얻어진 특징 맵이다. 그리고 각 이미지의 위치를 행렬의 원소위치와 동일하다고 생각한다. 두 특징 맵을 비교해 볼 때, 일부는 다른 부분도 있지만, ‘전체적’으로 보면 <그림 8>이 <그림 7>보다 더욱 선명하다. 특히 이미지(1,8)과 이미지(2,8)에선 더욱 차이가 많이 나며, 다른 특징 맵에서도 거의 동일한 현상이 나타난다. 그리고 이러한 선명한 특징 맵은 최대풀링과 완전 연결 층들을 거쳐 소프트 맥스 층(softmax layer)으로 진행되면서 더 많은 정보를 주게 되고, 최종적으로 더 높은 성능을 얻을 수 있게 된다.

이 논문에서 이미지 분류기의 성능 향상을 위한 새로운 방법을 제시하였다. 사물을 인식한다는 것은 사물의 형상을 인식하다는 직관으로부터, 이를 구체화하기 위하여 신경망의 입력에 사물의 외곽 채널을 추가하였고, 내부 특징 맵을 상대 비교하여 왜 이런 결과가 얻어졌는지를 분석하였다.

실험을 통하여, 동일한 조건에서 이미지 분류기의 성능이 약 3% 향상됨을 보였다.

제안하는 방법의 또 다른 장점으로는. 기존에 이미 구현된 신경망에서 단지 입력층만을 수정한 후 전이 학습 (transfer learning)을 통하여 성능을 더욱 올릴 수 있다는 것이다. 이것은 처음부터 새롭게 훈련해야 하는 방법보다는 분명히 시간과 노력을 줄여준다.