인공지능은 최근에 가장 연구가 활발히 진행되고 있는 분야 중에 하나이다. 인공지능은 신경망(neural network)을 기반으로 구현이 되는데, 이러한 신경망의 기본 개념은 이미 오래전에 개발되었으며[1], 인공지능의 역사는 상당히 오래된 분야이다[2]. 기본 개념은 여러 개의 입력을 선형 조합으로 가중 합 (weighted sum)을 구한 후에 활성화 함수 (activation function)을 통과함으로써 여러 입력들의 정보를 종합적으로 판단하는 것이다.

초창기에는 단순히 하나의 레이어 (layer)만을 이용하였기 때문에, 단순한 XOR (exclusive OR) 분류 문제조차도 해결하지 못하였다. 여기에, Minsky 교수는 하나의 레이어를 갖는 신경망은 XOR를 해결할 수 없음을 수학적으로 증명까지 하였다[3]. 또한 XOR문제를 해결하기 위하여 은닉층 (hidden layer)을 갖는 다중 레이어 신경망 구조 (MLP: multi-layer perceptron)를 제안하여 XOR 문제를 해결할 수는 있다고 하였으나, 실제로 그 신경망을 이루는 가중치(weight)와 바이어스 (bias)는 계산할 수 없다고 하였다.

그 후, 이러한 가중치 계산에 대한 문제를 해결하기 위하여, Hinton 교수는 연쇄법칙 (chain rule)을 이용한 역전파 (back propagation) 방법을 제안하여 가중치와 바이어스를 계산하는 문제를 해결하였다[4]. 그러나 이러한 이론적 발전에도 불구하고, 다중 레이어 신경망에서 가중치와 바이어스 계산을 위한 연산량이 너무 커서 당시의 계산기(computer)로는 시간이 너무 많이 걸리기 때문에 실제 사용이 거의 불가능하였다.

실제로 적용이 가능한 신경망은, AlexNet으로 알려진 2012 ILSVRC (ImageNet Large-Scale Visual Recognition)에서 발표된 논문이다[5]. 논문에서는, 학습속도를 향상하기 위하여 활성화 함수로서 ReLU (rectified linear unit) 제안하였고, 학습시에는 성능이 좋으나 실제 테스트에서는 성능이 떨어지는 문제인 과적합 (overfitting) 문제를 줄이기 위한 드롭아웃(dropout)과 같은 여러 가지 기술들이 제안되었다. 그러나 가장 중요한 것은, 기존의 방법에서는 CPU (central processing unit)를 사용한 반면, 이 논문에서는 GPU (graphics processing unit)를 사용하였다는 것이다. 일반적으로 CPU는 SISD (single instruction single data)로 동작하지만, GPU는 SIMD (single instruction multiple data)를 지원하여, 하나의 명령어로 어려개의 동일한 연산을 한꺼번에 할 수 있도록 설계되었다. 이것은 원래 영상처리를 하기 위하여 지원되는 기능이었는데, 이것을 신경망 연산에 사용함으로써 연산 속도를 크게 향상시켜 여러 번의 학습을 가능하게 하여 정밀도 (accuracy) 향상에 도움이 되었다. 최근에서 병렬처리를 위한 MIMD (multiple instruction multiple data)용 프로세서도 개발되었다. 실제 신경망에서에 가장 큰 비중을 차지하는 2D-컨볼루션 (2dimensional convolution)은 백터 연산으로 이루어져 있기 때문에 GPU가 훨씬 효과적이다. 현재는, 거의 모든 신경망 학습(training)과 실험(inference)에서 GPU 혹은 신경망에 더욱 특화된 NPU (neural processing unit)를 사용한다. 또한, 구글 (google)에서는 TPU (tensor processing unit)를 개발하여 클라우드 서비스에 사용하고 있다.

AlexNet 이후로 수많은 종류의 신경망이 개발되고 있으며, 한정된 메모리 (memory)나 곱셈기(multiplier) 자원들을 효율적으로 사용하기 위한 노력이 진행 중이다. 이를 위해 현재는 완전 연결층(fully connected layer)을 최대 풀링 (max pooling)이나 평균 풀링 (average pooling)층으로 변경하는 방향으로 신경망 설계가 이루어지고 있다.

GPU를 이용한 인공지능 알고리즘은 크게 세 가지로 분류되는데, 지도 학습 (supervised learning), 비지도 학습 (unsupervised learning), 그리고 강화학습 (reinforcement learning)이 있다. 지도 학습은 정보와 그 정보가 무엇인지를 알려주는 정답을 한 쌍으로 입력하여 훈련시킴으로써, 신경망이 새로운 정보를 받아들일 때 그 정보가 무엇인지를 추측(prediction)하는 것이며 현재 가장 연구가 많이 되고 있는 분야이다. 비지도 학습은 주로 차원 축소(dimensionality reduction)와 같이 정보를 압축-추상화하여 정보 추출을 효율적으로 만드는데 사용된다. 강화 학습은 환경에서 받은 정보를 에이전트(신경망)에 인가한 후, 어떤 최적의 동작을 할 것인가 결정하는 문제이다. 강화 학습에서 최적의 동작이라는 것은, 미리 규정된 보상(reward)을 최대로 받도록 하는 행동을 말한다.

이러한 여러 가지 인공 지능 알고리즘은 다양한 응용 분야에서 사용되고 있는데, 데이터 센터 (data center), 스마트 폰과 같은 모바일 응용 (mobile application), ADAS (Advanced Driver Assistance Systems) / AD (Autonomous Driving)[6,7], 제어(control)-로보틱스 (robotics)[8], 의료 영상[9], 그리고 스마트 농장 (smart farm)[10] 등에서 사용되고 있다.

이 논문에서는 신경망 구현을 위한 실제적인 여러 가지 설계 방법 중 더욱 효과적인 방법을 소개한다. 그리고 현재까지는 주로 정밀도만을 고려하여 신경망을 설계하였다면, 그와 달리 이 논문에서는 전처리 과정 (pre-processing)과 후처리 과정(post- processing)의 중요함을 논한다. 그리고 그 성능향상을 위한 방안으로, 이진 산술법 (binary arithmetic)을 이용한 효과적인 하드웨어 가속기(hardware accelerator) 설계 방법을 제안하고 DSP(digital signal processing)을 이용하여 구현한다.

논문의 구성은 다음과 같다. 다음 장에서는 현재 사용되고 있는 여러 가지 신경망 프레임 워크(framework)을 비교 설명하며, 그 중에 가장 효율적인 방법인 텐서플로우-케라스를 이용하여 각 레이어를 어떻게 구현하여 모델을 생성하는지 보인다. 그 후 설계된 모델을 이용한 실험결과를 보이고 고속 전처리를 위한 DSP 설계 방안을 제시한다.

이 장에서는 신경망 설계를 위하여 각 은닉층을 포함한 실제 각 레이어들의 설계와 구현방법을 보인다.

신경망에서 일반적인 성능은 입력 이미지를 얼마나 잘 분류하느냐를 말한다. 그리고 이 평가지표를 정밀도 (accuracy)라고 한다. 그런데, 간과하기 쉬운 또 하나의 평가 지수가 있는데, 그것은 FPS(frame per second)이다. 이것은 정밀도와는 다르게, 들어오는 입력 이미지에 대하여 얼마나 빠른 시간 안에 분류를 하는지를 나타낸다. 이것은 주로 빠른 동영상에서 이미지를 분류하는 작업에서 평가 지표로 사용된다. 그리고 이것은 주로 신경망 자체보다는 주변 하드웨어의 성능에 의하여 영향을 받는다. <그림 5>에서는 전처리 과정으로 데이터를 정규화를 보여주고 있는데, 실제 응용에서는 그보다 많은 전처리가 필요하다. 예를 들어, 카메라나 캠코더를 통하여 들어오는 이미지의 크기는 실제 신경망의 입력크기와 다르기 때문에 입력영상의 크기를 조절하여야만 한다. 양선형 보간법(bilinear interpolation)이나 입방 스플라인 보간(cubic spline interpolation)등의 방법이 사용될 수 있는데, 이 작업은 연산시간을 많이 필요로 하기 때문에 FPS에 많은 영향을 준다.

그러므로 빠른 전처리를 위하여 디지털 신호 처리기 (DSP processor: digital signal processing processor)를 이용하거나 verilog HDL (hardware description language)를 이용하여 보다 직접적인 하드웨어 가속기 (hardware accelerator) 사용을 제안한다. 입력 이미지는 RGB 세개의 채널로 구성이 되어 있으며 고정 소수점으로 표현된다. 이 원본 이미지를 양선형 보간법과 정규화에 적용을 하려면 DSP 프로세서에서 부동 소수점 연산을 수행해야만 하고, 이를 위해서는 이진 산술 (binary arithmetic) [19] 연산 방법을 사용해야만 한다.

이 장에서는 여러 가지 연산법 중에서 가장 중요한 곱셈기 구현 방법을 보인다. 사용가능한 하드웨어는 8비트이고 C=A(0.1234)×B(0.5678)를 계산한다고 가정한다. 부동 소수점 결과는 0.070067이다. 두 개의 피연산자를 정수로 표현하면 a=round(A·2⁷)=16, b=round(B·2⁷)=73이다. 이것을 정수 곱셈기에 적용하면 결과는 16·73=1168이 되고, 이것은 2⁷이 두 번 곱해지는 형태가 되므로 2⁷로 나누어야 정확한 결과, floor(1168/2⁷)=9가 계산된다. 그리고 이 값을 부동 소수점으로 표현하면 9/2⁷=0.070313이 된다.

그러므로 8비트 고정소수점 연산에서 곱셈할 때 양자화 오차(quantization error)는 0.070067-0.070313=-0.00025이고, 이러한 동작 원리를 <그림 7>에 보이고 있다. 그리고 만약 8비트가 아니고 16비트로 구성이 된다면 위의 수식을 통하여 양자화 잡음이 훨씬 줄어들어 성능이 덜 민감할 것이다.

일반 SISD계열의 CPU와 SIMD 계열의 DSP사이의 연산속도를 비교하여 이것이 FPS에 어떤 영향을 주는지 알아본다. H×W×C 크기의 이미지를 세로로, 가로를 정수 n, m만큼 양선형 보간법을 이용하여 크기를 변경한다고 할 때, 전체 이미지 픽셀(pixel)수는 (nH)×(mW)×C가 된다. 그러므로 이 과정에서 계산해야 할 픽셀의 수는 (n-1)×H×(m-1)×W×C가 된다. 보간법 계산에서는 덥셈기(adder)과 나눗셈기(divider)가 사용되는데, 일단 n과 m이결정되면 정수 나눗셈기를 사용하지 않고 쉬프트 연산자들로만 나눗셈기를 만들 수가 있다. 그러므로 여기서는 간단한 예시를 위하여 덧셈기만 고려한다.

DSP를 설계할 때, 한 번에 몇 개의 연산을 동시에 할 수 있는 지는 설계자가 결정한다. 만약 16개의 연산을 한 번에 할 수 있는 DSP를 사용한다면, 위의 계산은 (n-1)×H×(m-1)×W×C/16으로 연산량이 줄어든다.

인공지능은 전처리와 실제 예측(inference)을 하는 신경망, 그리고 후처리로 구성이 되어 있고, 퍼센트 수행 시간을 각각 α, β, γ라고 한다면 한장의 이미지를 처리하는 시간은 α+β+γ가 된다. 그러므로 DSP를 사용할 경우 아래와 같은 FPS 개선률을 얻게 된다.

여기서 N은 DSP가 한번 처리할 수 있는 벡터 연산의 수이다. 딥러닝의 또 다른 분야인 객체 탐지(object detection)와 추적(object tracking)의 경우는 비최대값 억제 (NMS: non maximum suppression)라고 하는 후처리과정에 많은 연산이 요구되어 γ값도 추가적으로 크다. 이 경우에는 DSP를 이용한 방법이 더욱 효과적이다.

이 논문은 인공지능 알고리즘을 빠르게 동작 할 수 있는 방법을 제시하였다. 우선 인공지능의 연구 방향에 대하여 정리하였고, 왜 GPU를 이용한 연산이 중요한 가에 관하여 논하였다. 대표적인 인공지능 설계 프레임 워크들의 장단점을 비교하였고, 신경망을 구현하는 자세한 방법을 제시하였다. 다른 논문들과 다르게, 전처리와 후처리 과정의 중요성을 보였고, 기존의 단점을 개선하기 위한 방안으로 디지털 신호처리를 이용한 방법을 제안하였다.