공공기관의 전자기록물을 위한 메타데이터 관련 연구가 진행되었다(차승준, 최윤정, 이규철, 2009; 황윤영, 임혁수, 이규철, 2005). 먼저 첫 번째 연구는 웹 기록물의 한 종류인 심층 웹 기록물 아카이빙에 대한 메타데이터 항목을 정의하였다. 해당 연구는 브라이트 플래닛(Bright Planet)과 국외 연방정부에서 정의하는 웹 기록물 보존 방안을 분석하고 국내 국가기록원과 행정안전부 웹 사이트에 포함된 자원을 분석하여, 더블린 코어(Dublin Core) 메타데이터를 중심으로 장기보존포맷을 위한 심층 웹 기록물 메타데이터, KoDeWeb(Korea Deep Web)을 설계하였다.

두 번째 연구는 해외의 전자기록물 메타데이터를 분석하여 국내의 전자기록물 영구보존을 위한 메타데이터 항목을 설계하였다. 해당 연구에서는 기록물 관리 표준인 ISO 15489와 호주 빅토리아주에서 제안한 메타데이터를 분석하였다. ISO 15489는 기록물 관리에 대한 국제표준으로써 효율적으로 기록에 담긴 정보를 검색할 수 있도록 기록관리 정책과 절차를 표준화한 메타데이터이다. 또한, 호주 빅토리아주의 VEO(VERS Encapsulated Object)는 호주 빅토리아주에서 생성, 관리되는 전자기록물을 영구보존하기 위한 메타데이터이다. 연구는 ISO 15489, 호주의 VEO, 국내 기록물철 등록부, 기록물 등록 대장의 전자기록물 메타데이터 항목을 비교하고, 국내 메타데이터 항목에서 부족한 부분을 보완하여 기록물을 영구보존하고 활용하기 위한 국내 전자기록물 메타데이터 항목을 재정의하였다.

그러나 이러한 연구들은 전자기록물, 웹 기록물 보존에 관한 메타데이터 연구로써, 사진 기록물의 정보를 저장 할 수 있는 세분화된 메타데이터 항목을 보유하고 있지 않으므로 국내 지자체 사진 기록물에 적용하기에는 어려움이 있다.

공공기관의 시청각 기록물을 위한 메타데이터 관련 연구도 진행되었다(김근형 외, 2013; 신동헌, 정세영, 김선현, 2009). 첫 번째 연구는 2004년 국가표준으로 제정된 교육 정보 메타데이터 표준 KEM(Korea Education Metadata)의 개선을 위해 더블린 코어(Dublin Core) 메타데이터 요소를 활용하여, 학습자원에 대한 기능별 메타데이터 요소를 확장할 수 있도록 교육 정보 메타데이터를 재설계한 연구이다. 해당 연구는 국내·외 교육자료 콘텐츠 현황을 조사하고, 각 콘텐츠 유형별로 채택하고 있는 메타데이터의 특성들을 분석하였다. 더블린코어 메타데이터 표준을 준수하는 ISO/IEC 19788 MLR 표준을 기반으로 <표 1>과 같이 교육, 학습, 훈련 콘텐츠 등 분야별로 필요한 메타데이터 요소를 멀티 파트 형태로 개발하여 확장할 수 있도록 설계하였다.

두 번째 연구는 국방과학연구소에서 보유한 아날로그 형태의 시청각 기록물을 디지털로 변환하여 관리하기 위한 ‘영상기록관리시스템’을 구축하였다. 해당 연구는 디지털로 변환한 시청각 기록물 관리를 위해 기록물 관리법과 다른 공공기관에서 실제 구축하여 운영 중인 시청각 기록물 관리 메타데이터 항목을 분석하였으며, 이를 통해 시청각 기록물을 장기적으로 보존하고 이용자 활용을 효율적으로 하기 위한 메타데이터 항목을 설계하였다. <표 2>는 이 중 사진 기록물에 대한 메타데이터 항목이다.

그러나 이러한 연구들은 국방과 교육이라고 하는 특정 집단과 도메인에 맞추어 메타데이터를 설계하여, 도메인에 특화된 메타데이터 항목을 가지고 있다. 또한, 파일 형태, 크기, 촬영자와 같이 사진 기록물에서 필요로 하는 메타데이터 항목도 포함되어있으나, 지자체 사진 기록물의 경우 사진 속 사건과 사진이 속한 카테고리 특성을 반영할 수 있는 텍스트와 객체 등이 포함되어있는데, 이러한 사진 기록물의 정보들을 저장하고 활용하기에 부족함이 있다.

본 논문은 국외에서 사용되는 미디어 기록물 메타데이터 표준인 IPTC(International Press TelecommunicationsCouncil), 사진 기록물 파일 형식인 EXIF(EXchangable Image File format)의 메타데이터 항목과 국내의 공공기관인 국가기록원에서 활용되는 시청각 기록물 메타데이터 항목을 분석하여, 국내 지자체 사진 기록물에 필요한 메타데이터 항목들을 선택하였다.

먼저 IPTC는 텍스트, 사진, 다른 미디어 타입에 적용할 수 있는 메타데이터 속성의 집합이다(IPTC, 2017). IPTC는 1990년에 사진에 적용할 수 있는 IIM(Infromation Interchange Model) 메타데이터 속성 표준을 정의하였으며, 이후 어도비(Adobe)는 포토샵(Photoshop)에 IIM을 채택하고 IRB(Image Resource Block) 메타데이터 저장 기술을 개발하여 사진 파일에 IIM 메타데이터를 사용하였으며, XML/RDF 기반의 XMP(Extensible Metadata Platform)를 개발하였다. 2004년에 IPTC와 Adobe가 공동으로 XMP 용 IPTC 코어 스키마(IPTC Core Schema for XMP)를 개발하였으며, 2007년 IPTC는 사진 촬영 분야의 필요 속성을 반영한 IPTC 확장 스키마(IPTC Extension Schema)를 개발하고 IPTC 코어 스키마를 수정하였다. 이후, 두 사양 모두 IPTC 사진 메타데이터 표준(IPTC Photo Metadata Standard)이라는 단일 문서로 발표되었다.

IPTC 코어 스키마는 <표 3>과 같이 총 23개의 메타데이터 항목을 가지고 있다. 본 논문은 이 중 국내 지자체에 필요하지 않은 메타데이터 항목을 구분하고 필요한 메타데이터 항목을 선택하였다. 먼저, 코어 스키마 메타데이터 항목에서 ‘City(도시)’, ‘Country(나라)’, ‘Country Code(나라 코드)’, ‘Province or State(지방 혹은 주)’는 사진에 있는 특정 도시, 나라, 지방, 주와 같은 요소들이 입력되는 메타데이터 항목이며, 해당 항목들은 사진의 세부적인 요소들을 설명하기에 적합하나 사진에 보여지는 부분들을 국내 지자체에서 수동으로 파악하여 입력하기에는 어려움이 있을 것으로 판단되어 국내 지자체 메타데이터 항목에서 제외하였다. 또한, ‘Copyright Notice(저작권 고지)’, ‘Creator’s Contact Info(생성자 연락처)’, ‘Creator’s jobtitle(생성자 직책)’, ‘Credit Line(사진 공급자가 요구하는 신용도)’, ‘Description Writer(설명 생성자)’, ‘Instructions(지시 사항)’, ‘Intellectual Genre(지적 장르)’, ‘Job Id(작업 흐름도 식별자)’, ‘Rights Usage Terms(권리 사용 조건)’, ‘Scene Code(장면 코드)’, ‘Subject Code(주제 코드)’는 실제 국내 지자체에서 역할이 세부적으로 구분되지 않아 역할자의 세부 정보 입력이 어렵거나, 지자체에 다루는 정보의 범위를 벗어난다고 판단하여 국내 지자체 메타데이터 항목에서 제외하였다. 본 논문은 IPTC 코어 스키마에서 나머지 ‘Title(제목)’, ‘Creator(촬영자)’, ‘Date Created(촬영일)’, ‘Sublocation(설명 장소)’, ‘Description(설명)’은 지자체가 다루는 사진 기록물의 메타데이터 범위에서 벗어나지 않고 사진에서 필요한 가장 기본적인 메타데이터 항목으로 판단하여 선정하였다. 또한, ‘Keywords(키워드)’는 코어 스키마에서 사진 기록물의 주제, 내용 등을 나타낼 수 있는 일반적인 단어들을 포함하므로, 메타데이터 항목으로 선정하였다. 본 논문에서는 ‘Keywords’ 항목을 OCR 라이브러리를 이용하여 자동으로 추출한 사진의 텍스트를 저장하는 항목으로 활용하며, 이에 대한 자세한 방법은 4장에서 기술할 것이다.

IPTC 확장 스키마는 <표 4>와 같이 총 34개의 메타데이터 항목을 가지며, 많은 항목들은 ‘Additional Model Information(추가 모델 정보)’, ‘Code of Organisation Featured in the Image(사진 조직 코드)’와 같이 지자체 사진기록물에서 보유하지 않아 세부적으로 기술하기 어려운 항목이므로 메타데이터 항목으로 고려하지 않았다. 그러나 ‘Person Shown in the Image(사진 속 사람)’는 사진에 포함된 사람을 저장하는 항목으로, 본 논문에서는 지자체 사진 기록물에 포함된 시장, 국회의원과 같이 특정이 가능한 사람을 저장하기 위한 메타데이터 항목으로써 선정하였으며, 마찬가지로 ‘Artwork/Object in the Image(사진 속 아트워크/객체)’는 사진에 포함된 객체를 저장 하는 항목으로, 책상, 동물, 건물 등 사진의 특성을 반영하는 정보를 나타낼 수 있는 메타데이터 항목으로 선정하였다. ‘Person Shown in the Image’ 항목의 경우 메타데이터 입력 시 사진에 포함된 특정 사람을 수동으로 입력하며, ‘Artwork/Object in the Image’ 항목의 경우 본 논문에서 딥러닝 기반 객체 인식 알고리즘을 사용하여 자동으로 추출한 사진의 객체를 저장하는 항목으로 활용된다. 이에 대한 자세한 방법은 4장에서 기술할 것이다.

또 다른 국외의 메타데이터로 일본 전자산업진흥협회(JEIDA)에 의해 개발된 포맷인 EXIF를 고려하였다(EXIF, 2002). 이 포맷은 디지털카메라로 촬영된 사진 파일을 위한 메타데이터 포맷으로, 촬영한 사진의 정보를 저장하는데 사용된다. 사진을 촬영했을 때 촬영일시, 카메라 정보, 카메라 설정, 저작권 정보, 위치 정보로 구성된 EXIF 메타데이터가 사진과 함께 자동으로 등록된다. 본 논문에서는 사진 기록물의 기본적인 내용과 특징을 나타내는 메타데이터 항목으로써 IPTC를 고려한 것과 달리, 사진 기록물 원본 파일에 대한 정보를 나타내는 메타데이터 항목으로써 EXIF를 고려하였다. EXIF는 <표 5>와 같이 총 31개의 메타데이터 항목을 가진다. 본 논문에서는 이 중 ‘제조사(Manufacturer)’, ‘Model(모델)’, ‘Orientation(방향)’과 같은 세부 정보를 나타내는 메타데이터 항목을 제외하고, ‘Date and Time(촬영일)’, ‘Image Unique ID(사진 고유 ID)’, ‘Pixel X dimension(가로 사이즈)’, ‘Pixel Y dimension(세로 사이즈)’, ‘Compressed Bits Per Pixel(픽셀 당 압축 비트)’, ‘Compression(압축 포맷)’과 같이 지자체에서 파일에 대해 참고적으로 활용할 수 있도록 사진 기록물 파일에 대한 기본적인 정보를 나타내는 메타데이터 항목들을 선정했다.

또한, 국내 공공기관에서 사용 중인 시청각 기록물이 지자체 사진 기록물과 유사한 부분을 가지기 때문에, 본 논문에서는 국가기록원의 시청각 기록물 메타데이터를 분석하였다. 국가기록원은 공공 기록물을 체계적이고 안전하게 보존·관리하기 위해 「공공 기록물 관리에 관한 법률 시행령」 제 3조에 따른 공공기관의 처리과 및 기록관의 관리지침을 발간하였는데, 해당 관리지침은 <표 6>과 같이 총 54개의 국가기록원 시청각 관리 시스템의 기록물 메타데이터 표준을 포함하고 있다(국가기록원, 2018). 그러나 국가기록원의 메타데이터 항목들은 시청각 기록물의 영구보존을 위한 것으로써, ‘건 목록 ID’, ‘테잎번호’, ‘소산위치’, ‘보존기간’, ‘디지털화 요청자’와 같이 기록물 보존을 위한 세부적인 정보를 나타내는 항목을 포함하고 있다. 이와 같은 메타데이터 항목들은 IPTC 메타데이터 항목과 마찬가지로 국내 지자체에서 특정화하기에 어려운 세부적인 내용들을 포함하기 때문에, 본 논문에서는 사진 기록물의 기본 정보를 나타내는 ‘제목’, ‘내용’, 사진을 업로드한 사람을 의미하는 ‘생성자’, 사진 파일의 ‘가로 사이즈’, ‘세로 사이즈’, ‘원본 파일 위치’, ‘원본 파일 사이즈’, ‘사진 압축 포맷’을 메타데이터 항목으로 선정하였다.

본 논문은 국내·외 사진 기록물 메타데이터 표준을 분석하고, 지자체가 보유한 사진 기록물에서 필요한 메타데이터 항목을 분석하기 위해 지자체들의 사진 기록물 메타데이터를 살펴보았다. 국내에는 많은 지자체가 온라인에 사진 기록물을 서비스하고 있는데, 본 논문은 이 중 사진 기록물을 카테고리화하여 보관하고 여러 메타데이터 항목으로 관리하는 수원시 포토 뱅크, 군산시 홍보 포털, 서귀포시 온라인 사진 DB의 사진 기록물을 분석하였다.

수원시 포토 뱅크의 경우 인물, 일반행정, 각종 행사, 문화·예술·체육·관광, 항공사진·지역개발, 농축산업·특산물·산림으로 구성된 상위 카테고리와 상세화된 하위 카테고리로 구성되어있다. 수원시의 사진 기록물은 특정 행사 관련된 사진 기록물이 여러 개일 경우 그룹화되어 저장되며, 대표 사진의 ‘제목’, ‘사진번호(원화 번호)’, ‘촬영일’, ‘촬영자’, ‘촬영장소’, ‘출처’, ‘분류(카테고리)’, ‘설명’과 같은 메타데이터 항목과, 같은 그룹의 사진들을 관련 사진으로 가진다. <그림 1>은 수원시 포토 뱅크의 사진 기록물 메타데이터 예시이며, 해당 사진은 사진 상세정보에 메타데이터들을 가지고, 하위에 동일 행사에서 촬영된 관련 사진들이 같이 나타난다.

군산시 홍보 포털은 시정, 국정, 행사, 관광 등으로 구성된 분야를 가지고 있으며, 각 분야 별로 사진, 동영상, E-BOOK 시청각 기록물을 관리하고 있다. 이 중 사진 기록물은 ‘그룹 사진 제목’, ‘카테고리’, ‘등록 건수’, ‘덧글’, ‘등록일’을 메타데이터 항목으로 가진다. 사진 기록물의 ‘카테고리’는 인물·역사, 행사·축제, 생활·교육, 산업 ·경제, 문화·관광, 복지·체육, 생태·환경, 도시·시설, 여행·음식, 항공사진, 기타·일반으로 구성되어, 각 사진 기록물은 이 중 해당하는 카테고리로 분류된다. 또한, ‘등록 건수’는 해당 사진과 같은 그룹에 함께 등록된 사진의 개수를 의미한다. <그림 2>는 군산시 홍보 포털의 사진 기록물 메타데이터 예시를 보여주는데, 해당 사진 기록물들은 상위 카테고리 ‘시정, 국정’에 속하며, 다른 메타데이터가 같이 기록되어 있다.

서귀포시의 온라인 사진 DB는 사진 기록물을 정치, 경제, 사회·행사, 시정·행정, 관광지·축제, 옛 사진, 아름다운 서귀포, 보건·복지·환경, 체육, 기타로 분류하고 있으며, 각 카테고리는 하위 항목으로 다시 나누어져 있다. 사진 기록물의 메타데이터는 ‘분류’, ‘원화 번호’, ‘촬영자’, ‘촬영일’, ‘촬영장소’로 구성돼있으며, 여기서 ‘분류’ 항목은 상위 카테고리와 하위 카테고리를 의미한다.

언급한 수원시 포토 뱅크, 군산시 홍보 포털, 서귀포시 온라인 사진 DB의 메타데이터 항목들은 해당 지자체들에서 사진 기록물을 관리할 때 필요한 메타데이터 항목으로 판단할 수 있다. 본 논문에서는 이를 기반으로 국내 지자체 사진 기록물 메타데이터 설계에 필요한 항목으로써 ‘제목’, ‘촬영자’, ‘촬영일’, ‘촬영장소’, ‘그룹 사진제목’, ‘원화번호’, ‘등록자’, ‘설명’, ‘분류(카테고리)’를 선정하였다. 군산시 지자체 메타데이터 중 등록일의 경우 사진이 기록물로 등록된 날짜를 의미하는데, 이는 실제 사진이 촬영된 날짜가 중요하다고 판단되어 촬영일로 대체하였다. 또한, 등록 건수와 덧글의 경우 게시판의 기능에 따라 달라질 수 있으므로 제외하였다.

본 논문에서는 국내·외 사진 기록물 메타데이터 표준과 국내 지자체 군산시와 서귀포시의 사진 기록물 메타데이터를 분석하여 필요한 항목들을 추출하였으며, 이를 <표 7>과 같이 매핑함으로써 이 중 국내 지자체 사진 기록물에 필요한 메타데이터 항목들을 선정하였다. 설계한 국내 지자체 사진 기록물의 메타데이터 항목들은 <표 8>에 기술되어있으며, 필수적으로 입력되어야 하는 항목과 옵션으로 입력되는 항목으로 구분된다.

국내 지자체 사진 기록물에 포함된 텍스트는 사진 속 사건을 나타내는 유의미한 정보가 되며, 본 논문은 OCR 라이브러리를 사용하여 사진 기록물에 포함된 전체 텍스트를 추출한다.

OCR은 PDF, 출력된 스캔 문서나 아날로그 자료, 상품 카탈로그 사진, 혹은 사진에서 텍스트가 있는 영역을 인식하고, 이미지 처리(Image Processing), 딥러닝(Deep Learning) 기술을 사용하여 디지털화 가능한 텍스트를 추출 하는 기술이다(Mori, Hirobumi, & Hiromitsu, 1999). OCR은 Tesseract, 구글 OCR, 마이크로소프트 OCR, Abbyy OCR 등 다른 성능을 가진 여러 회사의 라이브러리가 존재한다. 먼저 많이 활용되는 OCR 라이브러리로 Tesseract가 있는데, Tesseract는 아파치(Apache) 라이센스로 릴리즈된 무료 OCR 라이브러리이다. 다른 라이브러리인 구글 OCR은 구글 클라우드 비전 API(Google Cloud Vision API)의 여러 기능 중 OCR 기능을 제공하고 있으며, 무료 API 호출 횟수는 월 1,000건으로 제한되어있다. 또한, 마이크로소프트 OCR은 구글과 마찬가지로 마이크로소프트 컴퓨터 비전 API(Microsoft Computer Vision API)의 여러 기능 중 OCR 기능을 제공하고 있으며, 무료 API 호출 건수는 월 5,000건으로 제한된다. 마지막으로, 사진 혹은 PDF 파일을 편집 가능 문서로 변환하는 OCR 소프트웨 어인 Abbyy OCR이 있다.

언급한 네 개의 OCR 라이브러리 중 마이크로소프트 OCR과 Abbyy OCR 라이브러리는 일반 사진 내 한글 텍스트를 제대로 인식하지 못하므로, 본 논문은 지자체 사진 기록물 텍스트 추출을 위한 라이브러리로 Tesseract와 구글 OCR 라이브러리를 고려하였다. 각 라이브러리를 사용하여 실제 지자체 사진 기록물의 텍스트를 추출한 결과, Tesseract의 경우 사진 기록물 종류와 상태에 따라 한글 텍스트 인식률 변화가 심하여 실제 활용성이 떨어지는 문제점을 가지고 있었다. 반면에 구글 OCR의 경우 테스트한 사진 기록물들에서 모두 높은 한글 텍스트 인식률을 보여주었기 때문에, 본 논문은 지자체 사진 기록물의 텍스트 추출을 위해 구글 OCR 라이브러리를 사용하였다.

구글에서 제공하는 OCR 라이브러리는 사진이 입력되었을 때, 사진의 픽셀을 그룹핑하는 과정에서 텍스트로 추정되는 영역을 바운딩 박스(Bounding Box)로 설정하고 텍스트를 감지하여 추출하며, 이렇게 추출된 텍스트는 JSON 형태로 반환된다. <그림 3>은 텍스트 추출을 실행한 결과이며, 수원시 포토 뱅크의 사진 기록물에서 구글 OCR 라이브러리를 사용하여 우측과 같이 텍스트를 추출하였다.

텍스트는 띄어쓰기가 된 단어 단위로 추출되는데, 텍스트를 그대로 인식하여 정상 단어로 구성할 수 없는 글자들도 포함되어있다. 이러한 텍스트들은 메타데이터로 바로 저장하여 활용하기에는 어려움이 있기에, 형태소 분석 라이브러리를 사용하여 OCR 라이브러리에 의해 추출된 텍스트에서 명사 단위의 단어들을 다시 추출하는 과정을 수행한다. 이렇게 추출된 단어들은 사진 기록물의 메타데이터로 저장되는데, 사진 기록물 검색 시 해당 단어들을 활용하기 위해서, 3장에서 설계한 지자체 사진 기록물 메타데이터 항목 중 ‘키워드(Keywords)’ 항목에 추출한 단어들을 저장한다. <그림 4>는 <그림 3>에서 인식한 텍스트를 명사 단위의 단어로 추출하여 ‘키워드’에 저장하는 예시이다.

국내 지자체 사진 기록물에 포함된 객체는 사진 기록물이 속한 카테고리의 특성을 나타내는 유의미한 정보가 되며, 본 논문은 딥러닝 기반 객체 인식 알고리즘을 사용하여 사진 기록물에 포함된 객체들을 추출한다.

객체 인식은 디지털 사진과 영상에서 특정 클래스의 의미 객체 인스턴스를 감지하는 컴퓨터 비전 및 이미지 처리와 관련된 기술로써, 딥러닝 알고리즘을 사용한 여러 객체 인식 알고리즘들이 활용되고 있다. 본 논문에서는 지자체 사진 기록물의 객체 인식을 위해 특히 많이 활용되는 딥러닝 기반 객체 인식 알고리즘인 Faster R-CNN(Regions-CNN), YOLO(You Only Look Once), SSD(Single Shot Detector)를 고려하였다.

Faster R-CNN(Regions-CNN)은 슬라이딩 윈도우(Sliding Window) 방식을 사용하여 특징(Feature)을 추출하는 RPN(Region Proposal Network)으로 사진 파일을 변형하여 객체를 인식하는 알고리즘이다(Ren et al., 2015). 하나의 사진을 여러 샘플로 분할하고, 분할한 각 샘플을 네트워크에 입력하여 검출하기 때문에 낮은 인식 속도를 가지며, 높은 인식 정확도를 가진다. 다른 객체 인식 알고리즘인 YOLO(You Only Look Once)는 단일 컨볼루션 네트워크(Single Convolutional Network)를 사용하여 여러 바운딩 박스에 대한 클래스 분류 가능성(Class Probability)을 계산하는 방식을 사용한다(Redmon et al., 2016). 바운딩 박스의 예측 분류 점수와 바운딩 박스에 실제 객체의 포함을 나타내는 신뢰도, 두 개의 출력 값을 결합하여 바운딩 박스 안에 객체가 있을 확률을 계산한다. YOLO는 전체 사진을 고려하여 클래스를 예측하기 때문에 거짓 양성(False Positive) 오류를 피할 수 있지만, 작은 객체에 대해 인식 정확도가 떨어지는 문제점을 가진다. 마지막으로, 또 다른 객체 인식 알고리즘 SSD(Single Shot Detector)는 사진의 변형 없이 입력 사진에 대해 CNN을 실행하고 특징 맵(Feature Map)을 계산한다(Liu et al., 2016). YOLO의 문제점을 개선하기 위해 멀티스케일 특징 맵(Multi-scale Feature Map)이라는 보조 수단을 사용하는데, 특징 맵을 여러 크기로 나누어 큰 맵에서는 작은 객체를, 작은 맵에서는 큰 객체를 인식할 수 있도록 한다.

본 논문에서는 여러 사진 프레임이 빠르게 변환되는 영상이 아닌 사진 기록물을 대상으로 하므로, 객체 인식 속도보다 인식 정확도를 기준으로 사용 모델을 선정하였다. 언급한 세 개의 객체 인식 알고리즘은 인식 속도와 정확도에서 차이를 보이는데, 객체 인식 속도의 경우 YOLO가 가장 빠른 인식 속도를 가지고 있으며, Faster R-CNN는 가장 느린 인식 속도를 보인다(Huang et al., 2017). 그러나 <그림 5>와 같이 객체 인식 정확도는 Faster R-CNN이 가장 높은 인식 정확도를 보이며, SSD와 YOLO는 Faster R-CNN에 비하여 작은 크기의 객체에 대해 낮은 인식 정확도를 가지므로, Faster R-CNN을 사진 기록물 객체 인식을 위한 모델로 선정하였다.

또한, 본 논문은 지자체 사진 기록물에서 특정화된 객체 인스턴스를 인식하는 것이 아닌, ‘사람’, ‘책상’과 같은 일반적인 객체를 정확하게 인식하는 것이 목적이므로, 사전에 COCO(Common Objects in Context) 데이터 셋으로 학습된 Faster R-CNN 모델을 사용하였다. COCO 데이터 셋은 총 122,218장의 사진에서 80개의 객체 클래스로 구성 되어있는 학습 데이터이다. COCO 데이터 셋의 객체 클래스는 사람, 물품(Accessory), 동물(Animal), 탈것(Vehicle), 음식(Food), 가구(Furniture), 가전제품(Appliance)과 같은 상위 카테고리 밑에 다양한 클래스로 구성되어 지자체 사진 기록물에 포함된 객체를 인식하기에 적합하였다.

본 논문은 사진 기록물에서 명확한 객체만을 추출하기 위해 모델의 인식 임계값을 0.99로 설정하였으며, Faster R-CNN 모델을 사용하여 사진 기록물에서 객체들을 전부 추출하였다. 이렇게 추출된 객체들은 사진 기록물의 메타데이터로 저장되는데, 사진 기록물 검색 시 해당 객체들을 활용하기 위해서 본 논문은 3장에서 설계한 지자체 사진 기록물 메타데이터 항목 중 ‘사진 속 객체(Object in the Image)’ 항목에 추출한 객체들을 저장한다. <그림 6>은 수원시 포토 뱅크 사진 기록물에 포함된 객체를 자동 인덱싱하는 과정을 보여준다. 수원시 사진 기록물에서 학습된 Faster R-CNN 모델을 통해 인식된 객체는 ‘사람’ 13명과 ‘넥타이’ 2개이며, 인식된 객체는 ‘사진 속 객체’ 항목에 저장된다.

본 논문에서는 OCR 라이브러리와 딥러닝 기반 객체 인식 알고리즘을 사용하여 국내 지자체 사진 기록물에서 텍스트와 객체를 추출하고, 추출한 내용과 기본 사진 정보를 본 논문에서 설계한 지자체 사진 기록물 메타데이터 항목으로 구성된 데이터베이스 테이블에 저장하는 프로그램을 구현하였다.

<그림 7>은 본 논문에서 구현한 프로그램에 수원시 포토 뱅크의 사진 기록물을 입력하여 저장하는 화면을 보여준다. 사진 기록물 저장 시, 메타데이터는 필수 입력 항목과 옵션 입력 항목으로 나누어지며, 흰색으로 표시된 항목은 사용자가 수동으로 입력하는 항목, 회색으로 표시된 항목은 프로그램에서 자동으로 입력되는 항목을 의미한다. 파일을 찾아 오픈하면, 사진 기록물 파일에 기본으로 저장된 촬영일, 가로·세로 사이즈, 파일 사이즈, 사진 압축 포맷 등은 자동으로 저장된다. 그와 동시에 구글 OCR 라이브러리로 사진 기록물에서 텍스트를 추출하여 ‘키워드’ 항목으로 저장하고, 딥러닝 기반 객체 인식 알고리즘으로 객체를 추출하여 ‘사진 속 객체’ 항목에 저장한다.