호주의 개발자 Dan Macnish는 구글의 Quick, Draw! Dataset과 객체탐지 알고리즘을 이용해서 Draw This라는 인공지능 즉석 사진기를 제작했다. Draw This는 사용자가 라즈베리 파이에 부착된 카메라로 사진을 촬영하면 구글의 사전 훈련된 신경망이 촬영된 사진 속 객체를 탐지한 후 Quick, Draw! Dataset에서 객체에 해당하는 낙서 이미지를 임의로 하나 선택해서 열 전사 프린터(thermal printer)에 출력하는 방식으로 동작된다.

디지털 카메라로 자전거를 동일한 지점에서 100번 촬영한다면 디지털 카메라는 똑같은 자전거 사진 100개를 만들어내지만 Draw This로 같은 위치에서 같은 자전거를 100번 촬영한다면 서로 다른 100개의 자전거 낙서 이미지들을 얻을 수 있다. 만약 인공지능 신경망이 사물을 정확히 탐지하는데 실패해서 자전거 이미지가 아니라 오토바이나 자동차같이 뜬금없는 이미지가 출력될 수도 있다. 이렇게 출력되는 결과를 예측할 수 없기 때문에 Draw This는 사용자에게 디지털 카메라와 다른 아날로그적인 재미요소를 선사한다[2].

낙서로봇 플랫폼은 Draw This에 사용된 객체탐지 알고리즘과 Quick, Draw! Dataset를 사용해서 사진을 촬영하고 낙서 이미지를 생성한다. Draw This는 Tensorflow Object Detection API를 사용해서 객체를 탐지했는데 본 논문은 YOLO 알고리즘이 빠른 시간안에 보다 정확하게 객체 탐지를 한다고 판단하여 YOLO 알고리즘을 이용해서 객체 탐지 기능을 구현했다[3].

YOLO는 한 번의 계산으로 이미지 전체에서 경계박스(bounding boxes)와 객체 분류 가능성(class probabilities)을 예측하는 객체검출 알고리즘이다. 1초에 155개의 frame을 처리하면서 COCO(Common Object in Context: 상황 공동개체)에 대해 약 57.9%의 mAP(mean Average Precision: 객체검출 알고리즘에서 사용되는 정확성 측정방법)를 가진다[4].

YOLO 구조는 <그림 2>과 같이 총 24개의 컨볼루션 레이어와 2개의 완전 연결층 레이어로 이루어져 있다. 전체적인 네트워크 구조는 GoogleNet에서 많은 영향을 받았지만 GoogleNet에서 사용되는 인셉션 모듈 대신에 1*1 컨볼루션 레이어와 3*3 컨볼루션 레이어를 사용했고 결정적으로 최종 출력 레이어에서 객체의 지역화(localization)와 객체의 클래스 분류가 동시에 이루어지기 때문에 네트워크 모델이 매우 간단해서 R-CNN과 같은 다른 객체 탐지 알고리즘에 비해 훨씬 빠르면서 정확한 성능을 낼 수 있다.

<그림 2>의 첫 번째 이미지에서 보이는 것처럼 YOLO 네트워크는 예측하고자 하는 이미지를 S×S 사이즈의 grid cell로 나눈 다음 하나의 cell이 하나의 객체를 예측하도록 한다. <그림 2>의 가운데 이미지를 보면 cell이 어떻게 객체를 검출하는지 알 수 있다.

각각의 cell들은 B개의 경계박스를 가지는데 경계박스가 실제로 객체를 포함하고 있을 가능성을 나타내는 confidence score을 가진다. 그림 3의 가운데 두 개 중 첫 번째 이미지를 예를 들자면, B가 2라고 가정할 때, 7×7×2=98이므로 총 98개의 경계박스가 생성되는데 confidence score가 높을수록 경계박스를 더 진하게 생성한다. confidence score는 아래 식 1과같이 표현하는데 객체가 존재할 가능성을 나타내는 P_r(Object)와 객체 검출 알고리즘을 평가하는 연산인 IOU(Intersection Over Union)의 곱으로 나타낸다.

cell에서는 객체를 지역화 하는 동시에 객체의 클래스를 분류한다. <그림 3>의 가운데 두 개 중 두번째 이미지와 같이 Class의 개수가 C개라면, C개의 conditional class probabilities를 예측하는데 상단의 식 2로 표현할 수 있다.

이미지 속 객체를 검출하는 YOLO 네트워크는 이러한 과정으로 진행되고, <그림 3>의 세 번째 이미지와 같은 결과를 얻을 수 있다. 네트워크 학습을 위한 성능을 평가 시간에는 식 1과 식 2를 곱한 함수를 사용해 점수가 매겨지는데 함수는 식 3으로 나타낼 수 있다.

Quick, Draw! Dataset 에는 Google이 만든 Catch Mind 게임인 Quick, draw! 의 플레이어들에 의해서 만들어진 345종류의 그림 데이터 5천만 개가 있다[5].

그림 데이터들은 <그림 5>와 같은 구조로 저장되어있다. 그중 그림 데이터를 벡터 좌표로 나타낸 drawing을 이용했다. 그림의 좌표를 [0-255] 범위로 나타낸 drawing 2차원 배열의 구조는 <그림 6>과 같다. x와 y는 pixel 좌표를, t는 첫 번째 지점 이후의 시간(milliseconds)을 나타낸다.

본 논문은 drawing 배열의 좌푯값을 이용해서 로봇을 움직이기로 하였고 획이 변경될 때 로봇의 z축을 조종하고 획을 읽는 동안에는 x, y 좌표를 로봇의 범위에 맞게 대응해서 로봇을 움직이도록 하였다.

DOBOT Magician은 Dobot사에서 제작한 교육형 보급형 로봇팔이다. 비교적 저렴한 가격에 펜 모듈, 레이져 모듈, 흡착 모듈 등 다양한 모듈을 지원해서 상황에 따라 3D 프린팅, 레이저 카빙(Carving), 그림 그리기 등 다양하게 응용할 수 있다. 이러한 이유로 로봇에 대한 지식이 없는 사람도 부담 없이 로봇을 구매하고 로봇을 이용해서 커스텀하기에 적합하다고 판단해 낙서로봇 플랫폼의 출력 단위를 Dobot Magician으로 설정하였다. Python으로 구현한 소프트웨어와 Dobot Magician 하드웨어를 결합해서 인공지능 오목 로봇 플랫폼을 구현한 기존의 연구를 참고해서 제안하는 인공지능 낙서로봇 플랫폼의 구조를 설정하였다[6].

Dobot Magician 로봇의 펜 모듈이 자연스럽게 움직일 수 있는 범위를 실험했더니 x 좌표의 범위는[180, 308], y 좌표의 범위는 [-80, 48]인걸 알 수 있었다. Quick, Draw! Dataset은 그림 데이터의 x, y값을 [0, 255] 범위의 2차원 배열 형식으로 제공한다. x, y 값을 Doodle Bot의 가동범위에 맞게 조정하기 위해 x 값은 [0, 255]에서 [180, 308]로 매핑하고, y좌표는 [0, 255]에서 [-80, 48]로 매핑하는 전 처리 과정을 통해 그림 데이터의 좌표 값을 로봇의 가동범위에 맞게 수정해야 한다.

Doodle Server를 구축하기 위해 Flask 프레임워크 1.1.1 버전을 사용하였다[9]. Flask는 Python3 언어로 작성된 마이크로 웹 프레임워크의 일종으로 서버 구현을 위한 최소한의 기능만 포함하고 있는 것이 특징이다. 객체검출 코드와 dataset을 가져오는 코드를 Python 언어로 작성하였고, 클라이언트 부분인 Doodle App의 기능이 단순했기 때문에 Flask 프레임워크를 사용해서 서버를 구현하기로 결정하였다.

Doodle App은 사용자가 사진을 촬영하고 서버에서 사진 속 객체를 제대로 탐지했는지 확인한 후 로봇이 그릴 낙서를 선택하는 기능을 제공한다. Doodle App은 Android Studio 3.6.2 환경에서 Kotlin 언어로 구현되었고 안드로이드 버전 젤리빈 이상의 단말기를 지원한다. Flask 서버와 통신하기 위해 Sqaure에서 제공하는 REST API인 Retrofit2 라이브러리를 사용하였다[13]. 낙서 로봇 서버는 포트 포워딩된 로컬 컴퓨터에서 실행되므로 Doodle App을 처음 실행할 때 서버가 실행되는 컴퓨터의 IP 주소를 입력하게 하였다[14].

Doodle Bot이 정상적으로 작동하는지 확인하기 위해 먼저 객체가 1개인 낙서 이미지를 그리도록 하였다. Doodle Bot이 sheep 낙서 데이터를 그렸을 때 <그림 17>의 왼쪽 이미지에서 보이는 것과 같이 획이 변할 때마다 로봇의 z값이 불안정하게 튀어서 그림이 깔끔하게 그려지지 않는 문제가 발생했다. 이 문제를 해결하기 위해 획이 바뀔 때, 로봇이 이동해야 하는 거리의 1/2을 허공에서 미리 이동하도록 수정했더니 <그림 18>의 왼쪽 이미지처럼 이전보다 안정된 실행 결과를 얻을 수 있었다.

그 다음 실험으로 2개 이상의 객체가 존재하는 <그림 19>를 그려보았는데 결과는 <그림 21>과 같았다. 경계박스의 크기가 작은 객체는 정확도가 떨어지지만 일정 크기 이상의 객체들은 비교적 정확하게 출력하는걸 확인할 수 있다.

<그림 23>에서 중점이 되는 여자 아이와 강아지를 제외한 나머지는 배경이라고 볼 수 있다. 낙서의 완성도를 고려해 아이와 강아지 객체를 제외한 나머지를 흐리게 처리해서 YOLO가 그 외에 객체를 탐지 하지 못하도록 하였다. 그 결과는 <그림 24>와 같다. 이러한 전 처리 과정을 통해 실제 이미지와 낙서 이미지간의 유사성을 유지하면서 낙서 이미지의 완성도를 높일 수 있었다.

<그림 24>에서 생성한 낙서 이미지를 Doodle Bot으로 출력한 결과는 <그림 25>와 같다. 낙서 이미지에서 실제 이미지를 연상할 수 있을 만큼의 정확도를 유지하면서 크기가 작아서 그리기 까다로운 객체들을 제거함으로써 출력된 그림의 완성도를 높일 수 있었다.

4장에서 진행된 실험들을 바탕으로 최종 구현된 인공지능 낙서로봇 플랫폼은 다음과 같다.

<그림 26>과 <그림 27>은 사용자가 패턴으로 만들고자 하는 객체의 사진을 촬영하고 임의로 생성된 낙서 이미지들 중 하나를 선택해서 Doodle Bot을 통해 출력한 결과를 얻기까지의 과정이다. <그림 27>에서 Doodle Bot의 잉크펜 모듈을 유성 마커펜이 달린 모듈로 교체한 후, 모듈이 종이 위가 아닌 가방위에서 움직이도록 한다면 Doodle Bot은 간단하게 커스터마이징 가방을 제작하게 되는 셈이다.