Journal of the Korean Biblia Society for Library and Information Science 2023 KCI Impact Factor : 0.82
-
pISSN : 1229-2435 / eISSN : 2799-4767
- https://journal.kci.go.kr/kbiblia
pISSN : 1229-2435 / eISSN : 2799-4767
A Systematic Review on Concept-based Image Retrieval Research
1이화여자대학교
이미지를 색인하고 검색하여 이용하는 이미지 검색 분야는 문헌정보학의 주된 연구 분야 이다. 최근에는 디지털 기술과 인터넷의 발전 으로 인해 이미지의 생산과 접근 및 이용이 네트워크상에서 활발해 졌으며, 그 속도는 점차 가속화되어 가고 있다. 그러나 이미지 검색 분야 연구는 이미지가 텍스트와 달리 다층적 속성을 지님으로써 본질적인 어려움을 포함한다. 또한 이미지 검색 분야는 내용기반 이미지 검색 (Content-Based Image Retrieval)과 의미기반 이미지 검색(Concept/Semantic-Based Image Retrieval)으로 크게 양분되어 연구가 수행되었다. 내용기반 이미지 검색은 이미지의 하위 수준 속성인 색상, 형태, 질감 등을 주된 분석 대상으로 한다. 반면에 의미기반 이미지 검색은 이미 지가 지니고 있는 추상적이고 형이상학적인 개념 기반의 이미지 검색을 수행하고자 하는 연구 분야이다. 전통적으로 문헌정보학은 이용자가 인지하는 상위개념으로 이미지를 색인하고 접근 하게 하는 의미기반 이미지 검색을 주로 연구해 왔으며, 컴퓨터 공학은 이미지의 하위 속성인 색상, 질감, 선 등을 활용하여 이미지를 색인하고 접근하는 영역을 담당해 왔다. 최근 이용자는 이미지가 지니는 추상적이고 고차원적인 의미적 개념으로 접근하는 이용 행태에 보이는 반면에 이미지의 하위 속성 중심으로 색인이 이루어지는 데서 기인한 의미의 간극(semantic gap) 문제가 제기되어
본 연구와 관련하여 이미지 검색 분야를 고찰한 선행 연구는 크게 세 가지 방식으로 구분 될 수 있다. 첫째, 이미지검색 분야의 대표적인 연구자들에 의해서 수행된 선택적 리뷰 연구
본 연구는 이러한 선행연구가 지니는 한계를 보완하여, 이미지검색 분야 연구 전반에 대한 분석적 고찰을 제시하고자 한다. 이를 위해서
이미지 검색 분야의 연구는 디지털 기술과 인터넷 환경의 발달로 인해 지속적으로 성장해 오고 있다. 이미지를 생산하는 이용자의 증가와 함께 소셜 미디어와 같은 다양한 채널로 메시지를 전달하기 위한 이용도 증가하고 있다. 이러한 추세에 따라 이미지 검색 분야의 연구도 여러 관점에서 활발하게 수행되고 있다. 본 연구와 관련된 선행 연구는 크게 세 그룹으로 분류될 수 있다. 첫 번째 연구 그룹은 이미지 검색 분야의 선두적인 학자들이 선정한 문헌 중심의 선택적인 리뷰로서 깊이 있는 통찰을 제공한다. 주로 거시적인 관점에서 리뷰를 구성하고 있으며, 개괄적인 분석을 수행하였다. 두 번째 연구 그룹은 인용분석 등의 양적/통계적 분석 기법을 주로 사용하여 분석결과를 제시하였다. 세 번째 연구 그룹은 특정 분야 혹은 이미지 컬렉션, 특정 검색 단계 등을 중심으로 분석하여 결과를 제시하였다.
첫 번째 연구 그룹에서 초창기 이미지 검색 분야의 선두주자라고 할 수 있는
두 번째 연구 그룹은 이미지 분야의 고찰이 인용 분석기법을 통해 수행되었다.
세 번째 그룹은 특정 분야나 특정 이미지 컬렉션에 한정하여 분석하거나 특정 검색 단계에 한정한 연구들이다. 우선
지금까지 살펴본 바와 같이 관련 선행연구들은 이미지 검색 분야를 전체적으로 조망하고 통찰하는 거시적 관점이나 특정 분야나 이미지 컬렉션에 한정된 분석결과를 제시하였다는데 그 의의가 있다고 볼 수 있다. 그러나 문헌정보학 관점에서 이미지 검색 연구 집적에 대해서 포괄 적이면서도 심도 깊은 분석을 통해 새롭고 발전 적인 연구 분야 제시를 논의할 수 있는 분석결과는 미비한 상황이다. 급격하게 발전하고 있는 이미지 검색 분야에 대하여 문헌정보학 관점에서 연구의 흐름을 통찰하고, 향후 발전 방향에 대한 기반 연구가 필요하다. 따라서 본 연구는 체계적인 분석기법을 활용하여 의미기반 이미지 검색 분야 연구에 대한 포괄적이면서 구체적인 분석을 제시하고자 한다.
이미지 검색 분야의 논문을 수집하기 위해서 Web of Science 데이터베이스를 사용하였다. 검색과 수집은 2014년 9월 6일에 이루어졌다. 검색에 사용한 주제어는 “image retrieval”이며, 문서의 형태는 학술논문과 학회발표논문으로 제한하여 총 13,489건이 검색되었다. 문헌정보학 관점의 이미지 검색 분야를 살펴보기 위해서 WoS 주제 분류 항목인 정보학/도서관학 (Information science/Library science)으로 한정하여 최종적으로 282건의 논문을 검색하였다. 282건의 논문을 대상으로 서지사항(제목, 저널명, 저자명, 저자사항, 참고문헌)과 키워드, 초록, 전문이 수집되었다. 국내 이미지 검색 분야의 연구 현황 비교하기 위해서 Dbpia 데이터베이스를 이용하여 문헌정보학 분야의 이미지 검색 분야 논문을 검색하였다. “이미지 검색” 키워드를 사용하여 검색하였으며, 사회과학 분야 하위에 문헌정보학에서 총 47건이 검색되었다. 47건의 검색 결과를 살펴본 결과, 이미지 검색 분야에 관련이 없는 논문, 예를 들면, “원문 이미지”, “자아상 이미지”, 등을 제외하고 이미지 검색 분야에 해당하는 논문 35건을 선정하였다. 35건의 논문에 대해서 제목, 학술지명, 발간일, 초록, 키워드, 본문을 추출하였다.
데이터 분석을 위하여 본 연구는 세 단계 분석과정을 설계하였다. 첫 번째 단계는 서지사항 분석이다. 이미지 검색 분야의 개괄적인 특성을 살펴보기 위한 단계이며, 출판년도, 출판 저널 명이나 학술대회지명, 저자명, 저자 소속 기관 및 국가 사항을 분석한다. 두 번째 분석 단계는 연구 분야를 분석하기 위해서
총 282건의 논문은 <
이러한 이미지 검색 분야는 2001년에 수행된 Chu의 연구결과와 비교할 때 양적 증가세를 보인다고 볼 수 있다.
저자사항의 분석 결과를 살펴보면, 총 4회 이상의 논문을 저술한 저자 11명은
282건의 이미지 검색 분야의 논문이 인용한 논문의 특성을 살펴보았다. 우선 인용된 저자를 분석한 결과를 보면
인용된 저널명을 대상으로 살펴보면,
인용된 논문의 연도별 분포를 살펴보면
총 282건의 이미지 검색분야의 연구 분야를 살펴보면,
이 중에서 내용기반 이미지 검색은 총 79건으로 집계되었는데, 전통적인 내용기반 이미지 검색의 연구분야인 이미지 하위 속성인 모양, 질감, 색상 등을 기반으로 하여 이미지 기반 질의 (Query by Example)이나 유사 이미지 검색 관련한 연구가 주를 이룬다
총 168건의 의미기반 이미지 검색 분야 연구는 이미지 색인과 기술에 관한 연구가 91건 (33%)으로 가장 큰 비중을 차지하고 있으며 뒤를 이어 이용자의 이미지 요구와 검색행태에 관한 연구가 43건(15%)을 차지하는 것으로 나타났다. 이미지 검색과 브라우징은 18건(6%)이며, 이미지 검색과 브라우징 분야는 8건(3%), 이미지 검색과 이용 분야도 8건(3%)로 나타났다.
이미지 색인과 기술 분야가 가장 큰 비중을 차지하는 이유는 이미지 정보의 고유한 특성에 기인한다. 이미지는 키워드 기반의 텍스트 정보와 달리 이미지 자체에서 이미지를 의미기반으로 표현할 만한 특성을 추출하는 것이 복잡 하기 때문에 이미지를 색인하고 기술하는 것이 중요한 연구 분야이다. 이미지 색인과 기술 연구 분야는 다양한 세부 연구 분야로 구성되어 있어서 큰 연구의 흐름을 파악하는데 한계가 있다. 따라서 다양한 세부 연구 분야를 조금 더 면밀하게 살펴보면,
첫째, 내용기반 이미지 검색 연구 분야와 유 사하게 하이브리드 이미지 검색 연구 분야의 약진을 찾아볼 수 있다. 이미지 색인 시에 이미지의 시각적 요소인 하위수준의 속성과 텍스트 기반의 키워드를 연계하여 의미적 간극을 최소화하려는 연구 경향을 살펴볼 수 있다
한편 이미지 요구와 검색행태에 관한 연구는 총 43건 나타났으며, 이를 보다 구체적으로 살펴보면,
이미지 검색과 브라우징은 총 18건의 연구로 집계되었는데, 다양한 연구 중에서 주된 연구 경향으로는 브라우징 인터페이스와 브라우징 셋(browsing set) 구성에 관한 연구들로 찾아볼 수 있다. 브라우징 인터페이스에 관한 연구에서 특기할 만한 사항으로는 다른 세부 분야 연구에 서와 마찬가지로 다언어/다문화 기반의 브라우징 인터페이스에 관한 고찰을 찾아볼 수 있다. 또한 특정 이용자 그룹으로서 노인 대상의 이용자 그룹의 브라우징 인터페이스에 대한 연구를 찾아볼 수 있다
총 282건의 논문 중에서 직접적으로 이용자를 대상으로 이미지 검색 연구를 수행한 비율은 57건(20%)에 해당한다. 57건의 연구를
한편 연구 대상 이용자 그룹의 특성과 밀접 하게 관련되어 있는 연구 대상 이미지 컬렉션의 특성을
한편 연구 대상 이용자의 수는 최대 776명에서 최소 3명으로 나타났다.
이러한 연구 대상 이용자의 수는 데이터 수집 방법과 밀접한 관계를 지닌다. 연구 대상 이용자의 수가 많을수록 설문지 등을 활용하며, 적은 연구 대상 이용자 수의 경우는 질적 연구 방법으로써 인터뷰, 직접관찰, 과제 수행 등이 주된 방식이다.
과제 수행은 다시 세부 과제로 나누어 볼 수 있는데,
총 35건의 국내 문헌정보학 분야의 이미지 검색 연구를 분석하였다. 이미지 검색 분야의 논문이 발간된 학술지를 살펴보면, 4개 학회에서 발간되는 학술지와 학술대회 논문집에 게재 되었다. 그 중에서
국내 이미지 검색 논문의 발간 연도별 분포를
국내 이미지 검색 분야의 연구 분야 특성을 살펴보기 위해서
이미지는 발전된 디지털 기술과 네트워크로 인해 이용자가 가장 대중적으로 생산하며, 검색하고, 이용하는 멀티미디어의 하나이다. 그러나 이미지 검색 분야는 이미지가 지니는 시각 정보의 속성상 텍스트 검색에 비하여 상대적으로 발전이 더딘 상황이다. 이를 해결하기 위한 다양한 연구가 수행되어 왔으며, 특히 디지털 기술과 인터넷 네트워크의 발달로 인해 이미지 검색과 이용이 증가하는 추세에 따라 이미지검색 분야 연구도 최근 활발해지고 있다. 본 연구는 이미지 검색 분야에 대한 연구 집적을 내용 분석 기법의 일종인 체계적 분석 기법을 이용 하여 분석하고 고찰하였다.
본 연구의 연구 결과는 크게 두 가지 측면에서 논의될 수 있다. 첫째는 의미기반 이미지 검색 연구의 세부 연구 경향에서 도출된 연구의 새롭게 출현한 연구 흐름이다. 이미지가 지니는 시각 정보의 속성으로 인해 이미지의 색인과 기술은 전통적으로 많이 연구되었으며, 이미지 속성 기반의 색인에 관한 연구들이 주를 이루어왔다. 이미지 색인과 기술 분야에서 새로운 연구 흐름으로 도출된 세부 분야는 집합적 색인, 다언어와 다문화 색인, 그리고 감정색인 분야이다. 우선 집합적 색인 연구의 등장은 최근의 소셜 네트워크 서비스의 발달과 이용의 확대 인해 일반 이용자가 직접 참여하는 대중화된 태킹 현상과 관련이 깊다. 이미지 색인 분야에서도 이용자가 직접 이미지에 태깅하는 소셜 네트 워크 서비스들이 등장하기 시작하였으며, 이를 색인에 접목시키고자 하는 관점에서 논의하는 연구들이 나타나기 시작했다
두 번째 관점은 이용자 중심의 이미지 검색 연구의 흐름이다. 이미지 검색 연구 중에서 직 접적으로 이용자를 대상으로 연구를 수행한 비중은 57건(약 20%)으로 나타났다. 이용자 중심의 이미지검색 연구에서 연구 대상이 되는 이용 자를 특정 그룹의 이용자와 일반 이용자로 구분 하여 살펴볼 수 있다. 일반 이용자들 대상으로 한 연구 보다는 특정 이용자 그룹을 선정하여 연구의 대상으로 삼은 연구의 비중이 높은 것으로 나타났다. 그 중에서 가장 큰 비중을 차지하는 연구 대상 이용자 그룹은 대학생/대학원생 이다. 다른 특정 이용자 그룹은 상당히 여러 직업군으로 다양하게 분포되어 있으나, 이미지를 직업적인 업무에 사용하는 이용자 그룹의 비중이 높다. 최근에는 일반 이용자 중에서도 특정 어린이나 노인과 같은 특정 연령층을 대상으로 하는 연구를 찾아볼 수 있으며, 이러한 경향은 일상생활 맥락에서 정보 요구와 행태를 탐구하는 최근의 연구 경향과 일치한다고 볼 수 있다
이러한 연구결과는 국내의 이미지 검색 연구 분야 분포와 비교할 때 전체적으로 유사한 분포를 보인다. 연구의 양적인 측면에서 상당한 차이가 있다는 점을 제외하면, 연구의 세부 분야 분포 면에서 의미기반 중심의 이미지 검색 연구가 주종을 이루며, 이미지 색인과 기술, 이미지 요구와 검색행태의 세부 연구 분야가 주된 분야로 나타났다. 또한 2010년 이후 이미지 검색 연구의 양적인 증가세도 유사하게 찾아볼 수 있다.
본 연구는 기존의 이미지 검색 분야의 연구를 체계적으로 분석하여 조명하였으며, 그 중에서 새롭게 등장하는 연구의 흐름으로 이용자가 참여하는 태깅 기반의 색인과 기술 활용, 다문화와 다언어 환경의 이미지 검색, 감성기술의 기반이 되는 이미지 감정 색인과 이용, 일상 생활 기반의 이미지 검색 분야를 찾아볼 수 있다. 이러한 결과는 향후 이미지 검색 분야의 나아갈 방향으로써 의미 있는 길잡이 역할 수행할 수 있을 것으로 기대한다.
1.
[journal]
Cawkell, A. E..
1992
“Selected Aspects of Image Processing and Management: Review and Future Prospects.”
2.
[journal]
Chen, H. L..
2001
“An Analysis of Image Retrieval Tasks in the Field of Art History.”
3.
[journal]
Chu, H..
2001
“Research in Image Indexing and Retrieval as Reflected in the Literature.”
4.
[journal]
Chung, E., Yoon, J..
2009
“Categorical and Specificity Differences between User-Supplied Tags and Search Query Terms for Images: An Analysis of “Flickr" Tags and Web Image Search Queries.”
5.
[book]
Cooper, H., Hedges, L. V..
1994
6.
[journal]
Enser, P..
2000
“Visual Image Retrieval: Seeking the Alliance of Concept-Based and ContentBased Paradigms.”
7.
[journal]
Enser, P..
2008
“The Evolution of Visual Information Retrieval.”
8.
[journal]
Given, L. M., Ruecker, S., Simpson, H., Sadler, E. B., Ruskin, A..
2007
“Inclusive Interface Design for Seniors: Image Browsing for a Health Information Context.”
9.
[journal]
Goodrum, A. A..
2000
“Image Information Retrieval: An Overview of Current Research.”
10.
[journal]
Joho, H., Jose, J. M..
2008
“Effectiveness of Additional Representations for the Search Result Presentation on the Web.”
11.
[journal]
Jorgensen, C..
2007
“Image Access, the Semantic Gap, and Social Tagging as a Paradigm Shift.”
12.
[journal]
Kelly, D., Sugimoto, C. R..
2013
“A Systematic Review of Interactive Information Retrieval Evaluation Studies, 1967-2006.”
13.
[journal]
Lee, H. J., Neal, D..
2010
“A New Model for Semantic Photograph Description Combining Basic Levels and User-Assigned Descriptors.”
14.
[journal]
Liu, Y., Zhang, D., Lu, G., Ma, W. Y..
2007
“A Survey of Content-Based Image Retrieval with High-Level Semantics.”
15.
[journal]
Mehtre, B. M., Kankanhalli, M. S., Lee, W. F..
1998
“Content-Based Image Retrieval Using a Composite Color-Shape Approach.”
16.
[journal]
Ménard, E..
2010
“Ordinary Image Retrieval in a Multilingual Context: A Comparison of Two Indexing Vocabularies.”
17.
[journal]
Ménard, E..
2011
“Indexing and Retrieving Images in a Multilingual World.”
18.
[journal]
Ménard, E..
2012
“Digital Image Description: A Review of Best Practices in Cultural Heritage Institutions.”
19.
[journal]
Persson, O..
2000
“Image Indexing - A First Author Co-Citation: A Longitudinal Journal Co-Citation Analysis of An Emerging Interdisciplinary Field.”
20.
[journal]
Petrelli, D., Clough, P..
2012
“Analysing User's Queries for Cross-Language Image Retrieval from Digital Library Collections.”
21.
[book]
Petticrew, M., Roberts, H..
2008
22.
[journal]
Pu, H. T..
2005
“A Comparative Analysis of Web Image and Textual Queries.”
23.
[journal]
Rasmussen, E..
1997
“Indexing Images.”
24.
[book]
Rieh, S. Y., Hilligoss, B..
2008
“College Students’ Credibility Judgments in the InformationSeeking Process."
25.
[journal]
Savolainen, R..
1995
“Everyday Life Information Seeking: Approaching Information Seeking in the Context of “Way of Life”.”
26.
[journal]
Sun, A., Bhowmick, S. S., Nguyen, N., Tran, K., Bai, G..
2011
“Tag‐Based Social Image Retrieval: An Empirical Evaluation.”
27.
[journal]
Tsai, C. F..
2003
“Stacked Generalisation: A Novel Solution to Bridge the Semantic Gap for Content-Based Image Retrieval.”
28.
[journal]
Tsai, C-F..
2007
“A Review of Image Retrieval Methods for Digital Cultural Heritage Resources.”
29.
[journal]
Yang, C. C..
2004
“Content-Based Image Retrieval: A Comparison between Query by Example and Image Browsing Map Approaches.”
30.
[journal]
Yoon, J..
2008
“Searching for An Image Conveying Connotative Meanings: An Exploratory Cross-Cultural Study.”
31.
[journal]
Yoon, J..
2011
“A Comparative Study of Methods to Explore Searchers' Affective Perceptions of Images.”
32.
[journal]
Zachary, J., Iyengar, S. S..
2001
“Information Theoretic Similarity Measures for Content Based Image Retrieval.”