최근 스마트폰 보급률이 높아지면서, 영어 단어를 정리해주는 앱도 많아졌다. 대표적인 앱으로는 Onevoca[16], 영단무시(영어 단어 무한 시험)[17], 암기고래, 워드뱅크, 암기고래 등이 있다. 단어장앱의 종류는 크게 두 가지로 나누어진다. 토익이나 수능을 위해 기본적으로 단어들이 내장되어 있는앱과 사용자가 자신이 외워야할 단어들을 추가하는 앱들이다. 본 논문에서 소개하는 앱은 후자에 속하는 앱이다. 그러므로 후자에 해당하는 앱들 중에서 대표적인 ‘Onevoca’와 ‘영단무시’ 앱을 살펴본다. 서론에서 언급했듯이 앱 관련 조사도 다른 기능은 제외하고, 데이터 입력과정만 제한하여 조사 하였다.

2.1장에서 살펴본 것처럼 기존의 사용자가 자신이 외워야할 단어들을 추가하는 앱들은 사용자가 하나하나 직접 손으로 입력해야 한다는 불편함이 있었다. ‘영단무시’ 앱 같은 경우 영어 단어만 입력하면 자동으로 뜻이 생성되긴 하지만, 여전히 영어 단어는 직접 입력해야한다. 이러한 방식은 한 번에 여러 개의 데이터를 입력할 수 없어서 시간이 오래 걸리는 문제점이 있다. ‘Onevoca’ 앱은 모든 데이터를 하나씩 직접 손으로 입력해야 하므로 더욱

시간이 오래 걸린다. 반면에 ‘영단무시’ 앱은 뜻은 자동으로 완성해 주어서 시간이 절약된다고는 할 수 있다. 그러나 문맥에 따라 단어의 뜻이 달라지는 경우나 자동완성이 된 뜻들 중에서 사용자가 바라는 뜻이 없을 경우의 문제들이 발생할 수 있다. 왜냐하면 자동완성이 되어서 자동으로 입력되는 뜻들이 앱 안에 사용자가 바꿀 수 없는 기본값으로 설정되어있기 때문이다.

기존에 출시 되어있는 단어장 앱들의 대표적인문제는 두 가지로 요약할 수 있다. 첫째, 직접 손으로 입력해야 한다. 둘째, 한 번에 많은 데이터를 입력하지 못하고 하나씩 밖에 입력하지 못한다. 이러한 문제들로 인해 시간이 늘어나는 추가적인 문제도 발생하게 된다. 이러한 문제들을 보완하기 위해 본 논문에서는 사용자가 형광펜을 칠한 영어 단어들을 한 번에 인식하여 단어장에 추가해주는 서비스를 제공하려 한다. 이를 통해 사용자가 직접 데이터를 하나씩 입력해야하는 불편함을 해소시킨다. <표 1>은 기존 단어장 앱들과 본 논문에서 제안하는 앱의 차이점을 보여준다.

추가로 본 논문에서 제안하는 앱은 문맥과 단어 뜻의 다양성을 고려하여 뜻은 사용자가 직접 입력하게끔 설계하였다.

개발 플랫폼은 Apple Inc.의 iOS를 사용하였다. 개발 언어는 Swift와 C++를 사용하였다. 디자인 패턴은 MVC(Model-View-Controller)[3]을 사용하였다.

Apple Inc. 개발자 사이트[3]에 따르면 MVC 디자인 패턴은 앱 안에 있는 객체들(objects)을 3가지 역할로 나누어서 배정하는 방식으로 정의된다. 하나의 객체는 model, view, 또는 controller가 될 수 있다.

model객체는 앱 안에 있는 데이터 처리, 연산을 담당한다. 단어장 앱의 model객체는 전반적인 이미지 처리를 담당한다.

view객체는 사용자에게 보이는 화면 객체이다. 이 객체는 사용자의 행동에 따라 화면을 바꿔준다. 또한 model객체에서 처리된 데이터를 화면에 보여주는 객체이다. 단어장 앱에서는 문서 스캔을 시작하는 버튼이나 완료된 결과를 저장하는 확인버튼 등을 보여주는 ‘ButtonView’, 입력한 단어를 순서대로 보여주는 ‘TableView’, 스캔된 이미지와, 형광펜 영역의 글자만 추출된 이미지를 보여주는 ‘ImageView’, 인식된 단어들의 목록을 보여주는 ‘TextView’등을 사용하였다.

controller객체는 view객체에서 일어난 사용자의 명령을 model객체에 전달해준다. 쉽게 말해 controller객체는 이름 그대로 view객체와 model객체를 서로 의사소통하게 해주는 중재자라고 볼 수 있다. 단어장 앱에서는 스캔 화면, 단어장 화면, 형광펜으로 칠해진 특정 단어를 검출하는 화면 등을 서로 전환하는데 각종 controller객체가 사용되었다. 그리고 model객체에 이미지 처리 명령을 내리는 것 또한 controller객체를 활용하였다.

사용자가 앱을 사용하는 순서는 다음과 같다.

(1) 앱 단어장에 저장하고 싶은 단어들을 형광펜으로 강조한다. (2) 앱을 실행하여 단어가 적혀있는 종이를 스캔한다. (3) 스캔된 사진에서 추출하기 원하는 색을 터치한다. (4) 사용자가 선택한 형광펜색에 해당하는 단어들만 검색이 된다. (5) 최종적으로 사용자가 단어가 잘 인식되었는지 확인한다. (6) 확인이 끝나면 사용자가 원하는 뜻을 직접 입력한 후 저장한다.

앱을 처음 실행하면 <그림 3>의 (a)와 같이 사용자는 앱의 “Scan” 버튼을 먼저 누르게 된다. “Scan 버튼을 누르게 되면 (b)화면으로 이동하게 된다. (b)화면은 문서를 스캔하는 화면이다. 이 화면에서 사용자가 등록하기 원하는 독해 지문을 촬영하게 된다. 카메라로 촬영이 완료되면 바로 (c)화면으로 이동하게 된다. (c)화면에서는 스캔된 화면에서 원하는 부분을 선택해서 잘라낸다. 직사각형의 꼭짓점 4개를 이용해 잘라낼 수 있다. (c)화면에서는 불 필요한 부분을 제외한 본문의 영역만 남겼다. 그 다음 ”Keep Scan“버튼을 누르면 최종적으로 필요한 영역만 <그림 4>의 (d-1)화면으로 넘어온다.

화면 (d-1)에서 추출하기 원하는 색상을 터치하면, (d-2)에 터치한 색의 텍스트 영역만 보여주게 된다. 동시에 (d-3)에 사용자가 선택한 색상의 단어들만 인식하여 보여주게 된다. 화면 (d)의 왼쪽은 초록색 형광펜 영역을 터치한 결과이고, 오른쪽은 파란색 형광펜 영역을 터치한 결과이다. 최종적으로 화면 맨 아래 “OK”버튼을 누르면 인식된 단어들이 (e)화면으로 넘어와서 사용자가 직접 원하는 뜻을 입력할 수 있다. 사용자가 뜻 입력을 마치면 최종적으로 저장한다.

카메라로 촬영된 수많은 단어 중에서 사용자가 원하는 단어는 형광펜으로 칠해진 단어들이다. 이러한 단어들만 인식하기 위해서는 과정 (1)에서 검출되지 않은 영역은 지워줘야 한다. 이를 구현하기 위해 OpenCV의 ‘inRange’함수를 사용하였다. 이 함수는 색 범위를 인자 값으로 넘겨주면 해당 색 범위만 남기고 <그림 9>처럼 나머지는 지워져 흰색으로 된다.

그러나 ‘inRange’함수는 모든 픽셀을 검사하여 인자 값으로 넘겨진 범위에 들어가는 모든 픽셀을 찾아내기 때문에 <그림 10>처럼 불필요한 점,면, 글자까지 인식되는 문제가 생긴다. 따라서 <그림 9>의 ‘Recognized Text’ 목록의 2번 단어처럼 원하는 단어를 정확하게 인식하기가 어려워진다.

<그림 10>과 같은 문제를 해결하기 위해 모폴로지(Morphology) 연산 기법을 사용하였다. 모폴로지 연산은 간단한 연산의 집합으로 이루어져 있다. 이 연산은 복잡한 모양을 처리하는 문제를 해결할 수 있다[4]. 모폴로지 기법은 미리 특정한 필터를 만들고, 이 필터를 이미지의 각 픽셀에 적용하여 원하는 결과를 얻는다.

모폴로지 기법을 사용하여 <그림 10>와 같은 이미지에서 작은 점들을모폴로지 기법을 사용하여 <그림 10>와 같은 이미지에서 작은 점들을 제거하고, 색상이 비슷한 영역은 합쳐주었다. 이를 위해 OpenCV의 ‘erode’와 ‘dilate’함수를 사용하였다. 그 결과 <그림 11>과 같이 원하는 형광펜 영역만 검출할 수 있게 되었다.

하지만 사용자에 따라 처리되는 이미지의 크기가 다르기 때문에 이미지의 사이즈에 따라 정확도가 달라지는 문제점이 남아있었다. 따라서 이미지의 비율을 유지하면서 이미지의 가로 길이를 800으로 정하였다. <그림 12>의 먼저 (1)처럼 입력된 이미지(inputImage)의 비율(Ratio)을 구한다. 다음으로 (2)와 같이 입력된 이미지의 높이 값에 비율을 곱해준다. 마지막으로 가로 길이가 800으로 고정된 출력 이미지를 만들어 준다.

마지막으로 Apple Inc.에서 제공하는 ‘Vision’라이브러리에 있는 ‘VNRecognizeTextRequest’함수를 이용하여 글자 인식을 요청하고, 같은 라이브러리에 있는 ‘VNRecognizedTextObservation’함수를 이용하여 글자를 검출하였다.

글자 인식에 사용되는 ‘Vision’라이브러리는 ‘Core ML’이라는 Apple Inc.의 머신러닝 프레임워크를 사용한다. Core ML은 일반 머신러닝과 마찬가지로 컴퓨터에 다양한 이미지를 학습시키고, 학습된 결과를 바탕으로 특정 이미지를 판단할 수 있다.

본 논문에서 사용한 글자 인식의 원리는 다음과 같다. 먼저 <그림 13>과 같이 여러 글자 이미지를 컴퓨터에게 학습시킨다. 그림 12의 (a)는 글자 이미지 집합이고, (b)는 글자가 없는 이미지 집합이다.

‘Core ML’은 각 집합을 구분해서 학습시킨다. 예를 들어 (a)의 첫 번째 열, 네 번째 행의 이미지를 학습시킨다고 했을 때, 컴퓨터에게 이 이미지는 ‘D’라고 알려준다. 컴퓨터는 (a)에 있는 이미지 외에도 수많은 다른 ‘D’문자의 이미지를 학습한다. 학습된 결과를 바탕으로 컴퓨터는 특정 이미지 속에서 ‘D’ 문자를 인식하게 된다.

‘Vision’라이브러리를 사용하여 글자 인식에 성공했지만, <그림 11>에 ‘preferred’ 끝에 찍혀있는 ‘.’와 같은 문자와 띄어쓰기 되어 있는 ‘l’문자도 같이 인식되는 문제가 남아있었다. 따라서 특정 문자와 띄어쓰기 뒤에 있는 문자를 제거해주는 함수를 만들어서 최종적으로 앱을 구현하였다.

<그림 14>는 어두운 색상의 형광펜을 사용하였다. 그 결과, 형광펜으로 칠하지 않은 영역까지 인식되는 오류가 발생하였다. 형광펜이 어두울수록 밝기 값은 낮아지게 된다. HSV색 공간에서 밝기가 낮아지면 색상은 검정색에 가까워진다. 따라서 글자도 검정색이기 때문에 <그림 14>와 같이 주변에 있는 단어까지 전부 인식이 되었다.

<그림 15>는 형광펜이 글자 전부를 칠하지 않고 일부만 칠한 결과를 보여준다.

일부만 칠하게 되면 기대하는 글자가 인식되지 않는다는 것을 알 수 있다. <그림 15>에서 주황색으로 칠한 문장은 ‘they brought to him’이다. 하지만 ‘they’단어의 위쪽 부분이 칠해지지 않아 인식에 오류가 발생했다. <그림 15>에서 알 수 있듯이 ‘they’가 ‘mey’로 잘못 인식되었다.

4.2장에서 언급했듯이 ‘찍어보카’앱은 색상(Hue)값을 기준으로 형광펜이 칠해진 영역을 감지한다. 하지만 만일 형광펜과 비슷한 색상값을 가진 픽셀이 이미지 내에 존재한다면, 그 픽셀 또한 감지가 될 것이다. 4.3장에서 소개한 모폴리지 연산을 사용하면 작은 픽셀들은 제거가 되겠지만, 영역이 큰 색상 영역은 제거가 되지 않아 <그림 16>과 같이 불필요한 영역까지 감지가 되어 인식에 오류가 발생한다.

기존에 출시되어 있는 앱들은 학습자가 단어를 하나씩 입력해야 했다. 따라서 많은 단어들을 입력할 경우에 그만큼 시간이 오래 걸리게 된다. 하지만 본 논문이 제안하는 ‘찍어보카’앱은 여러 개의 단어를 한 번의 사진 촬영으로 입력이 가능하다. 그러므로 공부에 불필요한 시간이 단축된다. 그래서 학습자가 일일이 단어를 입력하는 시간을 절약하여 그 시간을 사용하여 공부를 더 할 수 있게 된다.

학습자는 시간이 지난 뒤에 다시 단어를 학습할 때 자신이 직접 촬영했던 사진도 같이 볼 수 있다. 모든 단어는 같은 단어라도 문맥에 따라 뜻이 달라진다. 만약 학습자가 어떤 단어를 학습 한다고 했을 때, 그 단어가 사용된 문장 까지 같이 볼 수 있다면 학습자는 그 단어가 어떤 문맥에서 사용이 되었는지 다시 한 번 기억할 수 있게 된다.

김익환[18]에 따르면, 어휘능력 향상을 위해 널리 쓰이는 것은 문맥 속에서 단어를 이해하게 되는 부수적 학습(incidental learning)이다. 또한 언어의 능력이 우수한 학생일수록 문맥 속에 있는 단어의 의미를 잘 유추한다.

따라서 ‘찍어보카’앱으로 단어를 공부하게 되면 공부를 할 때 시간이 절약되고, 문맥기반의 어휘학습이 가능하기 때문에 학습자의 어휘능력 향상에 도움을 줄 수 있을 것이라 기대된다.