1990년대 팀 버너스 리가 월드 와이드 웹(World Wide Web)을 제안한 이후 웹은 인터넷의 대표적인 정보 공유 서비스로 자리 잡았다. 현재 전 세계 웹 사이트 수는 18억 개를 넘어섰고[1], 이런 방대한 웹 공간에서 정보를 효과적으로 검색하기 위해 사람들은 검색 엔진(Search engine)을 이용한다.

검색 엔진은 사용자의 검색 질의에 빠른 응답을 위해 웹 크롤러(혹은 스파이더, 에이전트, 로봇)을 이용해서 미리 대량의 데이터를 수집하고 엄청난 양의 웹 페이지를 색인화 해두고 있다. 예를 들어서 구글의 경우 검색 색인은 수십억 개의 웹페이지를 포함하고 있으며 그 크기는 100페타바이트를 넘어서고 있다[2]. 그런데도 검색 엔진이 최신의 웹 상황을 반영하기에는 한계점이 있는데 그 이유는 웹을 통해 공개되는 웹 페이지의 수와 크기는 급 속도로 증가하고 그 내용 또한 매우 동적으로 변하기 때문이다[3].

검색 엔진이 최신의 웹 상황을 유지하기 위해서는 웹 크롤러를 이용해서 자주 웹 크롤링을 해주어야 한다. 하지만 검색 엔진에서 사용하는 일반적인 웹 크롤러는 네트워크 대역폭, 시간, 그리고 저 장소 등의 제약으로 인해 웹상의 모든 페이지를 자주 내려받을 수는 없다. 이런 문제를 극복하기 위해 1999년 S. Chakrabati는 집중 웹 크롤러(Focused web crawler)를 제안했다[4].

웹 공간 전반을 대상으로 검색된 정보의 색인을 구축하는 일반적인 웹 크롤러와 달리 집중 웹 크롤러는 웹에서 특정 영역의 주제를 검색하거나 사용자가 관심 있어 하는 정보만을 수집 및 관리한다. 따라서 집중 웹 크롤러는 일반 웹 크롤러보다 훨씬 적은 자원을 사용하며 실시간적인 검색 정보를 제공해 준다는 장점으로 인해 정보 추출, 디지털 도서관, 그리고 텍스트 분류 등의 응용에 활용된다[5].

집중 웹 크롤러는 획득한 문서를 분석, 주제와 관련성이 없는 링크(URL)는 배제하고, 관련성이 높은 링크는 추출 및 방문함으로써 효과적인 정보 검색 및 성능 향상을 목표로 한다[6,7]. 그리고 이 목표의 달성을 위해 웹 문서와 주제의 연관성 측정, 웹 문서로부터의 텍스트 및 링크 추출, 주제와 링크에 연결된 문서의 연관도 예측, 링크들의 방문 알고리즘 등 다양한 연구가 수행되었다.

본 논문에서는 집중 웹 크롤러의 성능 향상을 위해 웹 페이지를 링크 중심의 문단으로 추출하고, 사용자가 입력한 주제와 링크의 앵커 텍스트 및 문단과의 의미적 유사성을 측정, 방문할 링크의 우선 순위를 결정하는 의미 활용 문단 기반 집중 웹크롤러를 소개한다. 실험을 통해 본 논문에서 제시하는 웹 크롤링 방식이 기존의 웹 크롤링 방식보다 나은 성능을 보였다.

본 논문의 구성은 다음과 같다. 제2장에서는 웹크롤러 구축을 위해 사용된 기존의 기법들에 관해서 설명한다. 제3장에서는 링크 중심 웹 문서의 문단화, 링크의 중요도 측정 그리고 이를 이용한 의미 활용 문단 기반 집중 웹 크롤러 구축에 대해서 살펴본다. 그리고 제4장에서는 실험을 통해 제안한 시스템의 성능을 알아보고 마지막으로 제5장에서는 결론을 맺는다.

본 논문에서 제안하는 링크의 의미 중요성을 이용하는 문단 기반 집중 웹 크롤러는 2.1절에서 언급했던 기존의 집중 웹 크롤러에 비해 웹 페이지의 문단 단위 텍스트 추출, 링크의 중요도 측정 및 주제와 문단 관련성 기반 링크 방문 등에서 차이가 있다.

제안하는 의미 활용 문단 기반 집중 크롤러는 다음과 같은 구조를 가진다.

1. 사용자가 질의어 혹은 주제를 입력하면 초기검색 URL 생성기(일반적으로 검색 엔진)는 검색 URL을 생성하여 URL 관리자에 초기 방문 링크(URL)을 입력한다. 초기 방문 URL의 중요도는 최대값을 가진다.

2. URL 관리자로부터 가장 중요도가 높은 링크를 가져와서 해당하는 웹 문서를 인터넷으로부터 다운로드 한다.

3. 다운 받은 웹 문서로부터 모든 링크들을 추출한다. 그리고 추출된 링크를 중심으로 웹 페이지의 문단화를 수행한다. 이에 대해서는 3.1절에서 설명한다.

4. 사용자가 입력한 질의어 혹은 주제와 문단화 된 텍스트 및 링크 앵커 텍스트 사이의 의미적 유사도 측정을 통해 링크의 중요도를 계산한다.이에 대해서는 3.2절에서 설명한다.

5. 크롤러는 주제와 관련성이 높게 측정된 링크들을 URL 관리자에 입력하고 해당 페이지를 관련 페이지 DB에 저장한다. 이때 URL 관리자는 링크들을 중요도를 바탕으로 새롭게 정렬한다. 이에 대해서는 3.3절에서 설명한다.

6. 2-5를 반복하여 수행하며 관리하는 링크들이 더 이상 없거나 정해진 검색 결과 리스트가 만족되면 수행을 멈춘다.

주제와 문단간의 의미 비교를 이용하는 문단 기반 집중 웹 크롤러의 성능을 검증하기 위해 실험을 수행했다. 실험에서는 [5]에서 사용했던 검색 주제 중 일부를 이용했으며 그 대상은 다음과 같다.

본 논문에서 제안하는 시스템(SPFC)과 [5]에서 제안하는 Cosine 유사도를 활용한 문단 기반 집중 웹 크롤러(PFC) 그리고 넓이 우선 탐색을 수행하는 기존의 집중 웹 크롤러(FC) 간의 성능 비교를 실시했다. 시스템들은 각 주제에 대해 20, 30, 40, 50개의 웹 페이지를 검색하고 각 페이지에서 해당 주제에 대한 단어 빈도수를 측정했다.

<그림 3>은 주제어 Computer에 대해 시스템들이 웹 크롤링한 결과의 단어 빈도수를 구한 것이다.

<그림 4>와 <그림 5>은 주제어 Military와 Basketball에 대해 시스템들이 웹 크롤링한 결과의 단어 빈도수를 구한 것이다.

위의 실험들에서 보듯이 의미 활용 문단 기반 집중 웹 크롤러가 다른 시스템들에 비해 좋은 단어 빈도수 결과를 산출했다.

집중 웹 크롤러의 성능을 향상하기 위해 의미 활용 문단 기반 집중 웹 크롤러를 설계 및 구현했다. 제안된 시스템은 획득한 웹 페이지로부터 주제와 관련성 있는 링크를 추출하고 링크와 주제와의 유사도를 중심으로 웹 페이지를 방문함으로써 주제와 관련성이 높은 페이지를 효과적으로 확보했다. 주제와 링크의 관련성을 계산하기 위해 WordNet을 이용, 주제와 링크의 데이터 간에 유사도를 측정했다. 측정된 유사도는 링크의 중요도로 활용되어 웹 크롤러가 방문할 우선순위를 정하는데 사용, 웹 크롤러의 성능을 향상시켰다. 몇몇 주제를 집중 크롤링하는 것으로 실험을 하였고, 실험 결과에서는 의미 활용 문단 기반 집중 웹 크롤러가 단어 빈도수 측면에서 좋은 결과를 보였다.

본 시스템의 성능 향상을 위해 향후 다음 연구를 수행할 것이다. 첫째 특정 주제에 특화된 집중크롤러 구축을 위해 온톨로지의 도입[15-17]을 시도한다. 온톨로지는 특정 영역의 개념이나 지식을 표현하기 위해 사용된다. 본 연구에서 문단이나 주제의 의미적 유사성 파악을 위해 WordNet을 활용했다. 하지만, 집중 웹 크롤러가 특정 분야의 온톨로지를 활용한다면 보다 나은 검색 결과를 산출할 것이다. 둘째 링크의 중요도 판단에 기계 학습의 도입을 시도한다. 집중 웹 크롤러는 시작 URL부터 다양한 웹 페이지를 획득하고 분석하며 링크의 중요도를 계산한다. 이러한 과정을 통해 문단에 사용된 단어의 패턴을 학습하고 활용한다면 보다 효율적인 집중 웹 크롤러의 구축이 가능할 것이다.