해양환경 아래에서 광역의 지역에 대해 고정밀의 정사영상을 제작할 수 있는 원격탐사 기법은 양식장의 실태를 조사하고 관리하기 위해 매우 효율적인 수단으로 활용될 수 있다. 이에 따라 대표적인 원격탐사 기법인 위성영상이나 유인 항공기를 활용하여 양식장에 대해 관리를 수행하기 위한 연구사례들이 발표되었다.

박성은 등[9]은 한려해상국립공원 내 가두리양식장의 변화탐지를 위해 위성영상을 활용하여 국립공원 내 양식장 현황과 변화과정을 분석하는 연구를 수행하였다. 특히 공식적으로 집계되는 생산량 대비 비공식 통계로 산출되는 생산량이 과다함을 지적하면서 양식장의 정확한 면적의 산출이 필요하다고 보고하였다. 추후 폐기물 발생과 이에 따른 환경오염을 고려할 때 해상·해안 국립공원 지역에 원격탐사 기술을 활용한 정기적인 모니터링과 GIS 데이터베이스 구축을 통해 효율적인 관리대책의 필요성을 제시하였다.

조명희[10]는 고해상도인 공간 해상도 25cm의 항공사진을 이용하여 김, 전복, 어류의 양식장이 모두 갖춰져 있는 전라남도 완도군을 대상으로 양식장 DB 구축을 위한 항공 영상 보정, 어장 공간 DB 구축, 시설량 판독을 수행하였다. 연구결과 어류 양식장의 효과적인 관리를 위하여 양식장의 정확한 위치와 시설량 산출에 항공 영상을 이용하는 방안을 성공적으로 제안하였으며 현장조사를 통해 시설량을 산출하는 것보다 고해상도 항공사진을 이용하여 판독하는 것이 효과적이라고 보고하였다. 또한, 연구결과 김, 전복 양식장의 면허지 이탈시설 및 무면허 시설을 관측할 수 있었으며 이에 대한 지속적인 단속과 관리가 필요함을 지적하였다.

전통적인 원격탐사 기법이 해양 양식장 모니터링에 효과적인 수단이지만 여전히 경제성과 적시성 면에서 한계점을 가지고 있다. 이에 반해 UAV는 기체를 원하는 시점에 원하는 지역으로 조정하여 소규모 지역을 경제적으로 촬영하기가 쉬우며 구름의 영향을 받지 않는 고도에서 촬영할 수 있으므로 해양환경에서보다 쉽게 활용할 수 있다. 해양환경에서 UAV가 가지는 다양한 장점에도 불구하고 현재까지 연안 해양의 양식장관리에 UAV를 활용한 연구사례는 미비한 실정이다. 따라서 본 연구에서는 연안 환경에서 운용에 적합한 회전익 UAV와 카메라를 활용하여 연안에 분포한 양식장들에 대하여 정사영상을 구축하고 활용성을 평가하였다.

딥러닝을 활용하여 객체를 인식하는 연구는 객체 인식 기술을 향상시키기 위한 연구와 이를 활용하는 연구로 구분할 수 있다. 2.2절은 객체 인식을 향상시키기 위한 기존 연구들을 소개한다.

항공사진측량에서 객체를 인식하기 위해 초기 연구에서는 이미지의 히스토리그램을 활용하는 방법[11] 등을 활용하였지만 객체 인식 기술이 발전되지 않아서 기술 발전 속도가 느린 편이었다. 그러나 2012년 딥러닝 (deep learning)의 CNN(convolutional neural network)을 활용한 기술이 개발됨으로써 이미지 인식률이 획기적으로 향상하게 되었다[12]. [12]에서는 ImageNet의 LSVRC-2010에 있는 120만 개의 이미지를 1000개의 클래스로 분류하도록 훈련하였으며, ILSVRC-2012에서 15.3%의 top-5 테스트 에러라는 높은 이미지 분류 능력을 보여주었다. 이 신경망은 6천만 개의 파라미터, 65만 개의 뉴런, 5개의 컨볼루션 레이어, max-pooling 레이어, fully-connected 레이어 등으로 구성되어 있다.

CNN 알고리즘이 이미지를 분류하기 위해서 높은 성능을 보임에 따라 사진을 이용해서 물체를 분석할 수 있는 연구에 널리 활용되었다. 그런데 사진에 포함된 모든 객체를 인식하기 위해서는 CNN은 적합하지 않기 때문에 사진을 여러 개의 영역으로 나눠서 객체를 인식하기 위한 연구가 진행되었고, 이것이 R-CNN(Region based CNN) 연구이다[13]. <그림 2>는 R-CNN의 기본적인 동작 방식을 보여준다.

R-CNN은 많은 Region에 대해서 각각 CNN을 적용하기 때문에 속도가 매우 느리고, 이러한 이유로 실시간으로 객체를 인식할 수 없다는 문제점이 있다. 이것을 개선해서 입력 이미지에 대해서 먼저 CNN을 적용하고, CNN 피처 맵에서 객체 영역을 찾는 방법이 Fast R-CNN[14] 방법이다. Fast R-CNN은 R-CNN과 비교하면 훈련은 9배 빠르고, 테스트는 213배 빠른 성능을 보인다. <그림 3>은 Fast R-CNN의 동작 방식을 보여준다.

Fast R-CNN보다 속도를 한 단계 향상한 Faster R-CNN[15]은 Fast R-CNN과 비교하면 약 10배 정도 속도를 개선하였다. Fast R-CNN에서 속도에 문제가 되는 영역을 추출하는 Selective Search 알고리즘을 RPN(Region Proposal Network)로 변경함으로써 속도를 향상할 수 있었다. <그림 4>은 Faster R-CNN에서 RPN을 적용하는 것을 보여준다.

UAV에서 해양 양식장을 인식하기 위한 연구는 현재까지 거의 진행되지 않았으며, 일부 연구에서 UAV에서 객체를 인식하는 연구[17]와 해양에서 포유류 등을 인식하는 연구들[18]이 진행되고 있다.

Jangwon Lee[17]은 드론에서 R-CNN 기반으로 준 실시간으로 많은 객체를 인식할 수 있는 시스템을 소개한다. 드론에서는 딥러닝으로 많은 계산을 수행할 수 없기 때문에 원격지의 클라우드를 이용해서 R-CNN 딥러닝을 계산을 진행할 수 있도록 하였다. 이 연구는 실내에서 실험을 진행하였으며, 일상생활 물건을 인식할 수 있는 기능을 제공하지만 몇 가지 한계를 갖는다. 첫째는 실내에서 실험을 진행하였기 때문에 높은 고도에서 찍은 시간을 이용해서 상대적으로 큰 사물을 인식할 수 없다는 점이다. 둘째는 큰 사물의 경우에 옆면, 정면 등의 이미지 셋 데이터가 많이 존재하지만, 상공에서 찍은 이미지 셋 데이터가 부족하다는 문제는 해결하지 못하고 있다.

Frederic Maire[18]의 연구는 CNN을 이용해서 듀공을 찾기 위한 연구를 진행하였다. 듀공의 서식지를 중심으로 항공에서 찍은 고해상도의 사진 데이터를 세그먼트 단위로 분할해서 해당 세그먼트에 듀공이 있는지 여부를 파악하는 방법을 사용하였다. 이와 유사하게 해양 생물에 대해서 객체 인식 기술을 적용하는 연구들이 진행되었지만, 양식장과 관련된 연구는 현재까지는 진행된 사례가 없었다.

연구대상 지역은 전라남도 진도군 연안 지역으로 전복, 김, 다시마 양식 시설이 주로 운영되고 있다. 진도군의 경우 총 27,247ha 넓이의 어장에서 연간 180,594톤(3,063억원) 규모의 수산물이 생산되고 있으며 어장 개발면적의 80%가 양식업에 활용되고 있다[16]. 연구의 수행을 위해 진도군 연안에 전복, 김, 다시마 양식장 시설이 고루 분포한 3개의 대상지역을 선정하였다.

UAV를 이용하여 항공사진을 취득하기 위한 기술은 1) 촬영대상 지역의 선정 2) 현지조사 3) 비행계획 수립 4) 촬영허가 취득 5) 지상기준점 측량 6) UAV 항공 영상촬영의 단계를 거쳐 이루어진다.

항공사진 촬영을 위해 먼저 해양환경에서 활용하기 위한 적정한 기체성능과 카메라 사양을 가지는 UAV를 선택하였다. 해양 프로젝트에 활용할 수 있는 기체는 크게 전문적인 지도제작에 활용되는 UAV와 일반적인 레저를 목적으로 활용되는 상용 UAV로 구분될 수 있다. 전문 지도제작용 UAV의 경우 1회 촬영범위가 넓으며, 거치 하중이 크다는 장점에 따라 광학 카메라뿐만 아니라 사용 목적에 따라 다양한 센서(Hyper, Infra Red, LIDAR sensor 등)를 교환하여 탑재할 수 있다. 하지만 상대적으로 고가이며 기체의 이착륙에 충분한 공간의 확보가 필요하다는 점, 돌풍이나 호우에 의해 기체를 잃어버리면 회수가 어렵다는 해양환경의 특성상 위험부담이 크다. 이는 해양 분야에서 UAV의 활용도가 내륙지역보다 떨어지게 되는 주요 요인이 되고 있다. 이에 비교해 상용 회전익 UAV의 경우에는 상대적으로 저가이며 수직이착륙할 수 있다는 점과 조정이 간편하다는 점 또한 갑작스러운 기상 변화에 즉각적인 회수가 가능하다는 점에서 장점이 있다고 할 수 있다.

이러한 배경을 바탕으로 저가의 회전익 UAV를 활용하여 연안측량의 가능성을 평가하고자 하였다. 연구에서 항공사진을 촬영하기 위하여 활용된 UAV는 현재 보편적으로 이용 가능한 DJI사의 Phantom4 모델이며 본 기체를 활용하여 전라남도 진도군 연안 지역에 분포한 양식장에 대해 정사영상 및 양식장 지도를 작성하고 현황 조사를 시행하였다. 다음의 <그림 5>는 연구에서 활용한 UAV인 DJI의 Phantom4 모델의 모습이다.

<표 1>은 연구에서 활용한 UAV와 카메라의 제원을 보여준다.

UAV를 활용한 항공사진 촬영은 2017년 7월 13일과 2017년 8월 1일에 수행되었으며 총 3회에 걸쳐 수행하였다. Virtual reference system(VRS) differential global positioning system(DGPS) 측량을 통해 해당 지역에 총 11점에 대해 기준점 측량을 시행하고 정확도 보정과 평가를 위해 각각 지상 기준점(6점)과 검사점(5점)으로 활용하였다. 해당 지역에 대한 1회 촬영시간은 평균 20분이 소요되었으며 1회 촬영 시간당 약 0.5 km²의 촬영블록에 대해 종중복 80%, 횡중복 40% 이상으로 촬영하였다. UAV의 비행고도는 평균 100m의 비행고도로 촬영하였으며 촬영블록 당 450장 정도의 항공사진을 취득하였다(<그림 6>).

취득된 항공 영상들의 처리를 위해 상용소프트웨어인 PIX4D(https://pix4d.com/) 소프트웨어를 활용하였으며 SfT(Structure from Motion)알고리즘을 기반으로 다음의 4단계를 통해 DSM과 정사영상을 제작하였다.

1) 자동매칭을 통해 항공사진 간의 중복지역에서 접합점들을 결정하고 번들 조정을 통해 외부표정요소들을 결정한다.

2) 결정된 외부표정요소들과 항공사진을 활용하여 매칭 점들을 재탐색하고 이로부터 조밀한 point clouds를 생성한다.

3) Point clouds를 활용하여 TIN을 생성한다.

4) 생성된 TIN을 활용하여 DSM과 정사영상을 제작한다.

본 연구에서는 Faster R-CNN 알고리즘으로 자동 양식장 개체 추출의 효용성을 평가하기 위해 실험대상 지역 중 전복 양식장과 김 양식장 개체가 고르게 분포하고 있는 대상지역 1에 대해 정사영상을 생성하였다(<그림 7>). 대상지역 2와 대상지역 3에서 취득된 항공사진들은 다양한 지역에 분포하는 전복 양식장과 김 양식장에 대한 정보를 Faster R-CNN 알고리즘에 훈련하기 위해 활용하였다.

생성된 정사영상에 대해 공간 해상도, 촬영범위, 위치정확도에 대한 평가를 수행하였으며 이는 다음의 <표 2>에 제시되어있다. 생성된 정사영상 지도의 공간 해상도는 5cm로써 기존의 원격탐사 기법보다 매우 높은 수준의 공간해상력을 가지는 데이터의 생성이 가능하였다. 또한, 20분 촬영시간에 대한 1회 촬영범위는 0.782km2 수준으로 지형 공간 정보 제작을 위한 일반적인 작업 효율을 만족시킨다고 할 수 있다. 위치정확도의 경우 정밀도를 나타내는 RMSE가 0.1m 이하로써 지형 공간정보 구축에 만족할 만한 수준의 정확도를 가지는 데이터의 생성이 가능함을 확인할 수 있다