KJCKorea
Journal Central

최근 오픈엑세스 문화에 의해, 다양한 분야의 논문을 저장하고 배포할 수 있는 OA(Open Access) 레포지토리가 활성화되면서, Impact Factor 방식의 저널 단위 평가가 아닌 아티클단위의 평가나 영향력 측정이 중요한 과제가 되어가고 있다. 이와 더불어 연구를 평가하는데 있어서도 기존과 같이 후속 연구에 의해 얼마나 피인용되었는가를 넘어서, 얼마나 사회 전반에 영향을 미치고 있는지도 관심의 대상이 되고 있다.

한편, 연구자들의 학술커뮤니케이션 방식도 다원화되고 있다. 최근에는 Twitter, Facebook, Blog 등 소셜네트워크미디어를 활용하기도 하며, 클라우드 방식의 소셜 북마크를 사용해 다른 연구자들과 서지정보를 공유하거나 추천, 토론 등의 상호작용을 수행하기도 한다. 이렇게 웹상에 다양한 방식으로 학술커뮤니케이션이 이루어지면서 연구자들은 흔적을 남기게 되었는데, 이러한 흔적을 추적해 연구의 영향을 다면적으로 측정하는 새로운 시도로 Altmetrics가 등장하게 되었다.

Altmetrics는 논문 및 데이터 집합과 같은 각종 연구성과물의 영향을 즉각적이고 다차원적으로 측정하는 방법을 의미한다. 또한 해당 방법을 사용하여 새로운 연구의 영향을 측정하는 끊임없는 활동을 가리키기도 한다. 좀 더 구체적으로 말하면, Blog, Twitter와 같은 소셜 미디어, 뉴스 및 언론 보도 , 참고문헌관리도구 등에서 다양한 데이터를 추출·조합하여, 연구가 가진 사회적 영향력을 다면적·복합적으로 측정하는 새로운 패러다임이라고 말할 수 있겠다.

본 연구는 온라인상에서의 영향력을 추적하여 측정할 수 있는 새로운 기술과 트랜드에 대해 고찰하고 또한 국제 학술지에 게재된 디지털 도서관 관련 연구 결과의 평가에 응용해 보고자 한다. 좀 더 구체적으로 연구의 목적을 기술하면 다음과 같다. 첫 번째, 새로운 학술연구의 영향력 측정 움직임인 Altmetrics의 등장 배경, 응용 현황과 장단점에 대해 개관한다. 두 번째, 실제 오픈소스 기반의 Altmetrics 측정 도구인 ImpactStory(impactstory.org)를 활용하여 국제 학술지에 출판된 한중일의 디지털 도서관 관련 연구의 영향도를 측정하고 비교 분석해 본다. 세 번째, Altmetrics 기반의 연구 영향도 측정 결과가 피인용도 기반의 영향도 측정 결과와 어떠한 상관성을 보이는지 분석함으로써, 영향력 평가 도구로써 기존 체계를 보완할 수 있는지 확인해 본다.

1. Almetircs의 등장과 발전

지금까지의 학술연구 성과 평가는 특정 잡지에 게재된 논문이 얼마나 자주 인용되었는지를 나타내는 저널 영향력 지수에 의존해 왔다. 연구 성과를 측정하기 위해 그동안 주로 사용되어왔던 주요 도구들을 정리해 보면 다음과 같이 요약해 볼 수 있겠다(Roemer and Borchardt 2012). 먼저, 톰슨로이터의 Web of Knowledge를 들 수 있겠다. Web of Knowledge는 연구자의 생산성과 영향력을 알아보기 위한 H-index, 단위 기간 동안 저널에서 낸 총 논문 수 대비 인용 횟수를 나타내는 Impact Factor, 저널의 권위와 인용의 영향력을 평가하는 Eigenfactor 등을 제공하고 있다. 두 번째로 언어별로 상위 100개의 출판물을 5년간의 H-index와 H-median Metrics순으로 제공하고 있는 Google Scholar Metrics와 I10- index 등을 제공하고 있는 Google Scholar Citataion, 마지막으로 명성도에 기초하여 저널 레벨을 평가하는 SJR(SCImago Journal Ranking)을 제공하고 있는 Scopus가 주요 도구로 사용되어져왔다.

최근에는 전 세계적으로 연구 자금 증가와 더불어 연구 개발 경쟁이 가중되고 있어, 연구성과 평가에 대한 관심이 높아지고 있다. 그러나 피인용 지수 기반의 Bibliometrics는 논문이 출판된 후, 일정 기간이 경과된 후에야 평가에 반영되어, 그 이전의 영향력은 측정하기 어려운 점과, 하나의 저널에 수록된 논문이 각기 다른 다양한 성격을 가지고 있어, Impact Factor 를 이용해서는 개별 논문을 직접 평가하기 어렵다는 점 등 때문에 지속적으로 개선의 필요성이 제기되어져 왔다(林和弘 2013).

한편 소셜미디어가 활성화되기 시작하면서, 다양한 방식의 학술커뮤니케이션이 등장하게 되었다. Blog, Twitter 등을 통해 추천, 평가 등의 상호작용을 수행할 뿐 아니라, 클라우드 방식으로 제공되는 참고문헌관리도구를 통해 연구 과정 전반에 읽거나 참조한 정보가 연구자들간에 상호 공유되기 시작한 것이다. 더불어 이러한 기록이 플렛폼에 차곡차곡 누적되면서 학술커뮤니케이션의 흔적을 추적하여 연구의 영향력을 다면적으로 평가할 수 있는 기반 구축이 가능해졌다. 이러한 경향은 기존 체계의 한계에 대한 성찰과 날실과 씨실처럼 엮이면서 Altmetrics의 등장 배경이 되었다.

Altmetrics는 ‘Alternative’와 ‘Metrics’ ,합성어이며 Web에서 학술 연구 논문이나 연구데이터가 소셜미디어에 반응하는 정도를 측정하는 방법과 이러한 측정 방법을 이용하면서 새로운 연구의 영향을 측정하는 활동을 총칭한다. 이러한 Altmetrics의 철학을 실천하기 위한 다양한 응용 프로그램이 출시되고 있는데, 일반적으로 소셜미디어에서 논문 기사 및 연구데이터가 얼마나 주목 받았는지를 그림으로 시각화하거나 점수로 산출하여 Web 상에 표시하고 있다. Altmetrics 점수는 일반적으로 화려한 도너츠 모양으로 나타내는데, 중심에 점수가 숫자로 표시되어 있어 그 수치가 클수록 다양한 소셜미디어에서 많이 인용, 참조되고 있음을 나타내고 있다(Altmetirc.com 2014).

Altmetrics의 발전은 오픈 가능한 데이터량의 증가가 전제되어야 하는데, 특히 연구 성과평가에 있어서는 참고문헌관리도구인 Mendeley(www.mendeley.com)의 등장이 가장 큰 발전 동력으로 평가받고 있다. Mendeley는 2013년에 이미 250만 명이 넘는 사용자가 참여하여 자신의 연구에 활용된 참고 서지 정보를 업로드하고 있는데, 이 작업이 클라우드 상에서 많은 이용자들과 공유되면서, 엄청난 집단 지성을 창출하고 있다. 누적된 데이터수가 Thomson Reuters나 Elsevier의 서지데이터수를 초과하고 단순한 문헌 관리 툴을 넘어서 SNS 기능까지 제공하면서, 사이테이션 매니저와 소셜 네트워크를 결합한 리서치 포털 서비스로 자리매김하고 있다(林和弘 2013). Mendeley는 다양한 Altmetrics 평가 도구에 정보원으로 활용되면서, 연구자가 연구 과정 전반에 읽거나 참조한 정보를 공급하고 있는데,Bornmann(2014)의 연구에 의하면 전통적인 피인용도와도 강한 상관성을 보여, 기존 피인용도 방식을 보완할 수 있는 평가 도구로서의 가능성을 보여주고 있다고 한다. 그는 Twitter, Blog, CiteULike, Mendeley와 전통적 피인용도간의 상관성을 분석한 연구에서, 피인용도와 Twitter, Blog는 각각 상관성이 없거나 (r = 0.003), 약한 상관관계가 있는 (r = 0.12) 정도로 나타났지만, 참고문헌관리도구와는 강한 상관관계를 나타냈다고 보고하고 있다 (CiteULiker = 0.23; Mendeley r = 0.51).

한편, 참고문헌관리도구 뿐 아니라 , 엄청난 규모로 성장하고 있는 오픈 엑세스 문화도 Altmetrics의 발전 동력이 되고 있다. OA로 신속하고 개방적인 교류를 수행하고 사후에 Altmetrics를 활용하여 아티클 단위로 평가함으로써 학술커뮤니케이션의 시너지를 극대화하고 있는 것이다. 또한 최근에는 연구 성과를 유투브로 공개하여 동영상 조회수를 영향력 평가지표로 활용하기도 하며, FigShare 같은 사이트를 통해 연구데이터를 공유하고 그 영향도가 측정되기도 하는데, 이러한 조류는 연구의 영향력을 평가하는데 있어, 기존의 단편적인 방식에서 벗어나, 새로운 패러다임을 찾아가는 탐구 방식을 요구하고 있다.

이에 따라 최근 영미권을 중심으로 Altmetircs에 관한 다양한 측면의 연구도 시작되고 있다. 영향력 평가 체계의 진화 측면에서 Altmetrics를 바라본 연구(Neylon and Wu 2009;Galligan and Dyas-Correia 2013; Roemer and Borchardt 2012), 오픈엑세스 관점에서 Altmetrics를 논의한 연구(Konkiel and Scherer 2013; Mounce 2013)가 수행되었을 뿐 아니라, 실증 분석을 통해 기존 Bibliometrics를 보완할 수 있는지 검증하기 위한 연구도 수행되고 있다. Eysebach(2011)는 Tweets과 피인용도간의 상관성을 밝혀 과연 Tweets이 피인용도를 예측할 수 있는지 탐구하였으며, Zahedi(2014)등은 Mendeley와 피인용도간에 0.45의 양의 상관성이 존재해, Altmetrics가 기존 Bibliometrics를 보완할 수 있음을 보고한 바 있다.

2. Almetircs의 작동 원리와 응용 현황

Altmetrics 측정은 대상으로 하는 정보원의 망라성과 신뢰성을 근간으로 한다. 측정하는 도구에 따라 조금씩 차이는 있으나 대부분 유사한 정보원을 사용하고 있다. ImpactStory (impactstory.org)는 Blogs, Facebook Google+, Twitter, CiteULike Delicious, dryad, Figshare, Mendeley, Slideshare 등을 사용하고 있으며, Altmetric(altmetric.com)은 ImpactStory의 정보원과 대부분 유사하지만, Figshare, dryad 보다는 F1000 리뷰 등에 의존하고 있다(altmetric.com). 한편, 일반적으로 많은 사람들이 언급할수록 점수가 증가하지만, 각각의 카테고리에 가중치를 부여할 수 있으며 , 언급한 자가 얼마나 자주 학술 논문에 대해 언급하고 있는 지를 관찰하여 이를 평가에 반영할 수도 있다. 예를 들어 altmetric (altmetric.com)은 먼저 포스트를 작성한 사람의 프로파일을 모아 특정 출판사와 저널 또는 특정 사람을 편향적으로 팔로우하고 있는지 여부를 확인한다. 그 다음 각 소스별로 가중치를 부여하여 다음과 같이 계산한다. 만약 신문기사에 8점, Blog에 5점, Twitter에 1점, Facebook에 0.25점이 부여되어 있다면, 신문 기사로 1회 다루어진 후, 3회 트윗된 경우는 (8 × 1 회) + (1 × 3 회)로 총 11점으로 계산하며, Blog 및 Facebook에 1 회씩 다루어진 논문의 경우는 (5 × 1회) + (0.25 × 1회)로 총 5.25점으로 계산한다.

한편, Altmetrics를 이용해 영향력을 계산하는 다양한 온라인 도구가 개발되고 있는데, 주목할 만한 도구들은 다음과 같이 정리해 볼 수 있겠다.

첫 번째, 앞에서 언급한 Altmetric(altmetric.com)은 2011년 Euan Adie에 의해 개발된 Altmetrics 측정 도구로, 소셜미디어에서 논문 기사 및 연구데이터가 얼마나 주목받고 있는지를 그림으로 시각화하거나 점수로 산출하여 표시하고 있다. Altmetric Bookmarklet을 제공하고 있어, 브라우징 중에 고유식별자를 이용해 아티클의 Altmetrics 지수를 확인할 수 있도록 서비스하고 있으며, 저널 플렛폼에 설치할 수 있는 API도 제공하고 있다(ImpactStory blog 2014). 최근 Elsvier가 Scopus와 ScienceDirect 등에 Altmetric의 API를 설치하고 있어 주목되고 있다.

두 번째, ImpactStory는 Total Impact로 알려져 있다가 새로운 이름으로 다시 개시된 서비스로 오픈소스 기반의 평가 도구이다. Google Scholar Profiles, DOIs, 그리고 PubMed IDs와 같은 온라인 식별자를 통해 콜력센을 구성한 후 웹상에서 로딩된 데이터의 점수를 바로 산출할 수 있다(Lapinski et al 2013). ImpactStory는 Twitter, Mendeley등 뿐 아니라, 연구데이터의 사용량을 측정하는 Figshare의 API를 사용함으로써 연구데이터의 영향력도 표시하고 있다.

세 번째, PlumX는 Plum Analytics사가 개발한 웹 응용 프로그램으로 기관 차원의 구독에 의해 주로 사용되고 있다. 미국 피츠버그 대학 도서관이 처음 도입하였는데, 레포지토리 내에서 아티클 수준의 통계를 보여줄 때 사용하면 유용하다고 평가받고 있다. 소셜네트워크미디어와 다양한 학술커뮤니케이션 채널로부터 정보를 수집해, 연구의 영향력을 지표로 나타내고 있을 뿐 아니라, Worldcat Holding 숫자와 EBSCO 데이터베이스 다운로드 및 페이지뷰 횟수도 표시하고 있다(國立國會圖書館 2014).

네 번째, PLoS Article Level Metrics는 OA 레포지토리인 Public Library of Science (PLoS)에 아티클 레벨 매트릭스를 제시하는 도구이다. 다운로드 숫자와 Blog 등 소셜미디어의 언급 수를 기반으로 아티클 단위의 영향력을 추적하는 기능을 수행한다.

그 밖에도 아래 <표 1>과 같이 ReaderMeter, ScienceCard, PaperCritic, Crowdometer등이 활용되고 있다.

<표 1>. 주요 Altmetrics 측정 도구

한편, Altmetrics를 이미 적용하고 있는 전자저널과 기사색인 데이타베이스도 다수 존재한다. 위에서 언급한 Elsvier의 ScienceDirect와 Scopus 이외에도 Ex Libris는 검색 서비스인 Primo에 Altmetric.com 서비스를 이용하여 영향력을 표시하고 있으며(Ex librisInitiative blog 2012), Web of Knowledge 등에서도 이미 적용되고 있다. Altmetrics를 시범 적용한 Wiley(2013)는 설문조사를 통해, 연구자들의 77%가 Altmetrics가 저널의 가치를 높이고 있다고 응답했으며, 50%는 앞으로 Altmetrics를 제공하는 저널에 논문을 출판하겠다고 응답했다면서, Altmetrics를 지지하고 있다(Warne 2014). 위에서 언급한 전자저널 뿐 아니라, 다수의 기관 레포지토리에서도 Altmetrics가 적용되고 있으며, ePrint의 다음 버전에는 Altmetrics가 디폴트로 설치된다고 밝혀진 바도 있다(Liu 2014).

비영어권 국가의 사례로는 일본에서는 추진되고 있는 Ceek.jp(Ceek.jp)를 주목할 만하다. 일본의 학술 논문을 대상으로 Altmetrics를 측정하는 이 서비스는 CiNii, J-STAGE, JAIRO, JAIRO Cloud 정보학 광장, 국립국회도서관 디지털 자료, 레퍼런스협동데이터베이스, Facebook, Google 북마크, Twitter, Wikipedia 등을 정보원으로 연구의 영향력을 측정하고 있다.

3. Almetircs의 장점과 단점

Altmetrics는 단기적으로는 다면적·복합적인 정량평가의 가능성을 확대하고 장기적으로는 개별 아티클 단위로 영향력을 측정함으로써, 기존의 저널 단위 평가에서 아티클 단위로 연구 평가의 무게 중심을 변화시킬 수 있다. 주요 장점을 요약하면 다음과 같다(林和弘 2013).

첫 번째, 광범위한 전문가에 의한 영향력 측정이 가능하다. 과거에 측정이 어려웠던 논문의 사회적 영향력을 측정함으로써, 피인용 지수에서는, 나오지 않았던 실무자 , 임상가, 교육자일반인 등 다양한 집단에 의한 영향도를 파악할 수 있다. 두 번째, 기존 피인용도 중심의 평가방식을 보완할 수 있다. 보이지 않는 연구자의 행동, 가령 검색, 읽기, 보존 등을 통해 포괄적인 연구의 영향력을 측정할 수 있어, 피인용도로 평가하기 어려운 학문 분야에도 적용 가능하다. 이와 관련해 Hammarfelt(2014)는 Altmetrics 분석을 통해 그동안 피인용되지 않았던 다수의 인문학 분야 논문과 도서가 연구의 초기 단계나 기타 전문가적 활동에 활용되고 있음을 밝혔으며, Mohammadi와 Thelwall(2014)도 기존에 Bibliometrics로 나타나지 않았던 사회과학분야와 인문학분야 논문의 영향력을 Altmetrics로 밝혀냈다. 세 번째, 논문 공개 직후부터의 영향력을 정량적으로 측정할 뿐 아니라 향후 예측도 가능하다. Altmetrics는 Web에서의 반응을 지표로 하고 있기 때문에 참조할 때까지의 시간 갭이 작다. 또한 소셜미디어의 초기 언급수를 관측하면 어느 정도 피인용수를 예측할 수 있어, 연구 트랜드를 파악하고 향후 과학기술 동향 예측에도 도움이 될 수 있다. 네 번째, 데이터 세트, 소프트웨어, 비디오 등 학술 자료 이외의 영향도를 파악할 수 있다. 최근 오픈데이터 문화에 의해 각국에서는 연구데이타의 공개 및 재사용을 위한 다양한 정책이 펼쳐지고 있는데, 연구데이터 인용도 평가에 Altmetrics를 적용함으로써 생산자에게 적절한 크레딧이 돌아갈 수 있도록 할 수 있을 뿐 아니라, 그동안 침체되었던 연구 부속물의 공유 문화도 촉진시킬 수 있다.

한편, Altmetrics의 장점을 학술 연구를 둘러싼 관계자들의 입장에서도 살펴볼 수 있겠다. 먼저, 사서의 입장에서 살펴 보면, Altmetrics를 통해 교수와 연구자의 연구 영향력 측정을 위한 풍부한 데이터를 제공할 수 있으며, 기관 레포지토리의 가치를 높일 수 있다. 연구지원 기관 입장에서는 지원한 연구의 영향력이나 활용도를 모니터할 수 있으며, 기관의 성과를 외부에 최대한 홍보할 수 있겠다. 마지막으로 연구자 입장에서는 관심 있는 학술 성과물의 영향력을 다양한 시각에서 확인할 수 있을 뿐 더러, 자신의 연구 성과물에 대한 영향력을 이력서나 펀딩 지원서에 제시하고 진행 중인 연구를 어디에 출판할지 결정할 때 도움을 받을 수 있겠다(Liu 2014).

그러나 Altmetrics는 소셜미디어가 지표가 되기 때문에 온라인으로 접근이 용이한 연구 성과에 있어서만 높은 반응을 나타낼 수 있다. 따라서 간혹 학술적 가치와 무관한 평가가 이루어질 가능성이 존재한다. 또한 국가와 언어에 따라 측정 결과가 다르게 나타날 수 있으며, Altmetrics 측정 도구 간에도 결과가 다르게 나타날 수 있다. 따라서 미국 정보 표준화기구 NISO(2014)는 연구자, 사서, 연구지원기관, 출판계 관계자들의 의견을 수렴해 Altmetrics 표준화을 위한 향후 과제에 대하여 다음과 같이 발표하였다. 그 중 몇 가지를 정리하면 아래와 같다.

첫 번째, Altmetric의 분석 목적이 연구 성과를 평가하기 위한 것인지, 또는 후속 논문에 의해 아직 인용되지 않은 우수한 연구 성과를 미리 찾아내기 위한 것인지에 따라 접근 방법이 달라져야 한다. 두 번째, 소셜미디어는 데이터 조작 가능성이 크며, 신뢰성과 유효성이 검증되지 않았으므로 신중하게 사용되어져야 한다. 세 번째, 최근 오픈 엑세스가 활성화되면서, 같은 논문의 다양한 버전이 복수의 저장소에 분산 저장되어 있을 가능성이 크다. 따라서 동일한 연구 성과를 그룹화하거나 통합하기 위한 모형이 제시되어야 한다. 네 번째, 분야와 국가에 따라 소셜미디어의 이용 경향이 매우 다르므로, 각 분야나 국가의 사정과 차이를 고려한 전략이 필요하다.

앞에서는 Altmetrics의 등장 배경과 정의, 작동 원리와 응용 현황 등을 살펴보았다. 여기에서는 Altmetrics를 사용하여 국제 학술지에 게재된 한중일 디지털도서관 관련 연구 논문의 영향력을 분석해 보며, 피인용도와의 상관성을 살펴본다. 또한 최신 연구 결과물이 Altmetrics와 피인용도 사이에서 어떻게 반응하는지, 그리고 Altmetrics 분석 결과가 한중일간에 어떠한 차이를 보이는지도 분석해 본다. 디지털도서관은 문헌정보학 분야에서 근래 연구 주제로 다수 다루어졌을 뿐 아니라, 구축 및 운영, 활용 사례가 실제 현장에서 실무자들과 이용자들 사이에서 다수 논의되고 있어, 후속연구에 의한 인용 뿐 아니라 , 다각도에서 사회적 영향력을 파악 해 보는 것이 의미 있다고 간주되어 선택하였다. 구체적인 연구의 방법을 기술하면 다음과 같다.

1. 데이터 수집

국제 학술지에 게재된 한중일 디지털도서관 관련 연구의 서지 사항과 고유식별자를 다음과 같은 방식으로 추출하였다. 먼저, Scopus를 통하여 2015년 2월을 기준으로 “Digital Library”라는 키워드로 검색을 수행한 후, 사회과학분야로 제한 검색을 수행하였다. 더불어 연구 수행 국가를 한국, 중국, 일본 으로 제한하여, 각각 45건, 163건, 67건의 검색 결과를 얻었다. 두 번째, 메타데이터를 반출하고 그 중에서 DOI를 추출하였는데, 추출 과정 중, DOI가 존재하지 않는 데이터를 제외하여, 한국 38건, 중국 142건, 일본 40건, 총 219건을 최종분석 대상으로 선정하였다.

2. 데이터 처리 및 분석

최종 선정된 220건의 데이터는 다음과 같은 방식으로 처리하여 분석되었다.

첫 번째, 메타데이타에서 DOI를 추출한 후 ImpactStory에 로딩 하였다. Altmetrics를 측정하는 다양한 도구 중 본 연구에서 ImpactStory를 선택한 이유는 <표 2>와 같이 다양한 정보원을 대상으로 하고 있으며, 분석 대상 자료의 DOI를 사용하여, 개인이 비교적 편리하게 Altmetrics 평가 결과를 추출하고 SPSS와 같은 분석 도구로 반입하여 처리하는 것도 용이하기 때문이다. 또 한 ImpactStory는 Altmetrics와 피인용도간의 상관성을 측정한 Zahedi 등(2014)의 연구에서도 이미 활용되어 그 유효성이 검증된 바 있으므로 본 연구에서도 채택하게 되었다.

<표 2>. ImpactStory에 사용된 정보원

두 번째, ImpactStory를 통해 연구 논문에 대한 Altmetrics 정보를 추출하고 추출된 정보를 <표 3>과 같이 ‘disscussed’, ‘saved’, ‘metioned’의 3가지 범주와 피인용도인 ‘cited’로 구분하였다. ‘disscussed’는 Twitter, Blog 등 소셜네트워크미디어에 노출된 정도를 의미해, 연구의 사회적 영향도를 설명한다. ‘saved’는 참고문헌관리도구에 저장되어, 각종 전문가적 활동이나 연구 사이클의 다양한 시점에 읽히거나 참고된 횟수를 설명하며, ‘mentioned’는 Wikipedia에 언급된 정도를 의미한다. ‘cited’는 후속 연구에 의해 피인용된 정도를 의미하는데 여기에서는 Scopus의 피인용 정보가 산출되었다. 한편, Altmetrics 평가를 통해 도출될 수 있는 ‘viewed’, ‘recommended’ 등 기타 지표값들은 분석 대상이 된 논문의 평가 결과에서는 나타나지 않았음을 밝힌다.

<표 3>. 도출된 Altmetrics 지표

세 번째, SSPS 21을 사용해 각 영향도 간의 상관성을 피어슨 상관계수(Pearson Correlation Coefficient)로 나타내, 이를 통해 Altmetrics의 각 지수 간에, 그리고 Altmetrics 지수와 피인용도간에 어떠한 상관성이 나타나는지 분석해 보았다. 또한 출판년도에 따라 ‘saved’와 ‘cited’간의 관계가 어떻게 달라지는 지 분석함으로써, 최신 연구 결과에 대한 반응 정도의 차이도 살펴보았다.

마지막으로 한중일을 각각 분리하여 ‘discussed’, ‘saved’, ‘metioned’, ‘cited’ 정도가 어떠한 유사성 또는 차이를 보이는지 비교 분석해 보았다.

1. Altmetrics로 본 연구 영향력 분석

가. Altmetrics 분석 결과

분석 대상이된 연구 논문의 영향력을 Altmetrics로 평가한 결과는 다음의 표와 같이 산출되었다.

<표 4>. 분석 대상 연구의 Altmetrics 측정 결과

분석 대상이된 연구는 Blog에 1회, Twitter에 65회 언급되어 ‘discussed’는 총 66회로 집계되었으며, Wikipedia에 언급된 횟수(mentioned)는 1회로 나타났다. 한편, Mendeley에는 1,48회 저장된 것으로 집계되었다. 평균으로 설명하자면, 편당 0.30회 소셜미디어에 언급되었으나, 참고문헌관리도구에 저장된 정도는 6.79회로 상대적으로 높은 수치를 보였다. 피인용도 평균이 편당 3.25회인 것에 비하면, 참고문헌관리도구에 저장된 정도는 2.08배나 높은 것이다. 이를 통해 분석 대상이 된 연구 중에는 후속 연구에 의해 피인용되지는 않았지만, 참고문헌관리도구에 저장되어 연구 초기 단계나 각종 전문가적 활동에 활용된 사례가 다수 존재함을 파악할 수 있었다.

나. 각 지표 간의 상관성

1회 출현한 ‘mentioned’를 제외하고 나머지 영향도간의 상관성을 측정한 결과는 다음 <표 5>와 같이 산출되었다. 대부분 영향도간에는 상관성이 없는 것으로 나타났으나, ‘cited’와 ‘saved’간에는 0.718의 양의 상관성이 있는 것으로 나타났다. <그림 1>의 산점도에서도 제시하고 있는 바와 같이, 후속 연구에 의해 인용된 논문이 참고문헌관리도구에도 저장되어있을 가능성이 높은 것으로 입증된 것이다. 이는 Mendeley와 피인용도간에 0.51의 상관성이 나타났다고 보고한 Bornmann(2014)의 연구 결과와 0.45의 상관성이 나타났다고 보고한 Zahedi(2014)의 연구 결과와도 비슷한 수치를 나타내, 참고문헌관리도구가 영향력 평가 도구로써 장차 피인용도를 보완할 가능성이 있음을 다시 한 번 확인할 수 있었다.

<표 5>. 각 영향도간의 상관성 측정 결과 ** 상관계수는 0.01 수준(양쪽)에서 유의

<그림 1>. ‘cited’와 ‘saved’간의 산점도1)

다. 출판년도에 따른 ‘saved’와 ‘cited’의 차이

‘saved’와 ‘cited’ 중 어떠한 지표가 최신 연구 결과물의 영향도를 더욱 잘 반영하고 있는지 살펴보기 위하여, 출판년도에 따라 a에서 e까지의 구룹을 설정하고 각각의 영향도별로 그룹간 평균 분석을 수행하였다. 먼저, a는 2013/14년, b는 2011/12년, c는 2009/10년, d는 2007/8년, e는 2007년 미만으로 설정하고 해당 그룹에 출판된 논문이 ‘cited’된 정도의 평균을 살펴보았다. 그 결과, <표 6>에서 나타나고 있는 바와 마찬가지로 2007년 이전에 출판된 e 그룹의 평균 인용도가 9.56회로 가장 높은 수치를 보였다. 나머지는 그룹은 대부분 1.5에서 2.3정도의 평균 인용도를 보이고 있으며, 가장 최근 출판된 a 그룹의 인용도는 0.90로 가장 낮은 수치를 보였다.

<표 6>. 피인용된 논문의 출판 시기

한편, <표 7>과 같이 ‘saved’의 경우를 보면, 가장 최근 출판된 a그룹의 저장정도(3.35)가 상대적으로 낮긴 하지만, ‘cited’와는 상이한 양상을 보이고 있었다. 비교적 최근 출판된 그룹인 b (2011/2012)가 10.90회로 가장 높은 저장정도를 나타내고 있는 것이다. 그래프로 살펴봐도 <표 6>의 ‘cited’ 경우 출판된 지 8년 이상이 경과한 2007년 이전 논문의 인용도가 가장 높고 최신 논문으로 갈수록 피인용도가 급격히 떨어지는 경향을 보이는 반면, <표 7>의 참고문헌관리도구에 있어서는 출판된 지 2-3년 정도 경과한 논문의 저장정도가 가장 높게 나타나고 있음을 확인할 수 있다.

이는 비교적 최근 연구 결과물의 영향도를 참고문헌관리도구가 피인용도에 비해 더욱 잘 반영하고 있음을 나타내고 있다. 다시 말해 출판 후 일정 기간 경과가 필요한 피인용도 방식에 비해 Altmetrics가 최신 연구의 영향력을 더욱 잘 반영하고 있다고 설명할 수 있겠다.

<표 7>. 참고문헌관리도구에 저장된 논문의 출판 시기

2. Altmetrics로 본 분석 대상 한중일 연구 논문의 영향력 비교

<표 8>에서는 한중일 디지털도서관 관련 연구 논문의 영향력을 Altmetrics로 분석한 결과를 비교해 보았다.

<표 8>. Altmetrics 분석 결과의 한중일 비교

먼저, ‘discussed’의 평균을 살펴 보면, 일본이 0.72회, 한국이 0.52회, 중국이 0.12회로 나타나 모두 1회 미만의 저조한 수치를 보였다. Wikipedia에 언급된 정도를 나타내는 ‘mentioned’의 경우도 마찬가지이다. 한국의 경우에만 2008년 ‘The Electronic Library’에 게재된 논문이 Wikipedia에 1회 언급된 것으로 나타났을 뿐, 중국과 일본의 연구는 언급된 경우가 부재한 것으로 나타났다. 또한 피인용도(cited) 평균을 살펴보면, 일본이 7.67회, 한국이 3.55회, 중국이 1.90회로 나타나, 일본이 압도적으로 높은 수치를 나타냈다. 2000년도에 ‘International Journal on Digital Libraries’에 게재된 한편의 논문이 209회 SCOPUS에 피인용되어 일본 논문 전체의 피인용도 평균을 높인 것으로 보여진다. 한편, 참고문헌관리도구 저장(saved) 평균을 살펴보면, 각각 5.64회, 7.72회로 나타난 중국과 일본에 비해, 한국이 9.94회로 가장 높은 수치를 나타냈다. 2008년 ‘Journal of Information Science’에 게재된 한편의 논문이 42회나 Mendeley에 저장되었으며, 그밖에도 16편의 한국 논문이 10회 이상 저장된 것으로 나타났기 때문이다.

정리해 보자면, 국제 학술지에 게재된 한국의 디지털도서관 관련 논문은 피인용도와 소셜네트워크미디어에 노출된 정도는 상대적으로 일본에 비해 저조하였으나 중국에 비해서는 높은 수치를 나타냈고, 참고문헌관리도구에 저장된 정도는 3개국 중에 가장 높은 수치를 보였다.

1) 산점도 산출을 위해 최고값을 제외하고 처리 (X축 120회, Y축 290회)

학술커뮤니케이션 방식이 다양화되면서 필연적으로 등장한 Altmetrics는 기존 저널 단위 평가 방식이 여러가지 환경 변화에 의해 한계에 맞닿게 되면서, 대체제 또는 보완제로서 수면에 드러나게 되었다. 이는 피인용도로 연구의 영향력을 바라봤던 기존 시각에서 벗어나 좀 더 다원적 시각에서 연구 결과가 어떠한 영향력을 미치는지 평가하려는 시도로, 각계에서 주목받게 되었다.

한편 도서관계는 연구자와 연구비지원기관, 연구업적평가 기관 사이에서 연결고리 역할을 수행하고 있다. 따라서 기존의 평가 체계에 Altmetrics의 통합이 시도됨에 있어, 영향력을 추적할 수 있는 풍부한 정보원을 확보하고, 데이터의 신뢰성과 유효성을 판단하며 , 동일한 연구 성과를 식별하고 통합하는 등 다각적 측면에서 이들을 지원할 수 있어야 할 것이다.

본 연구는 Altmetrics의 개념과 응용 현황 등을 살펴 보고, 국제 학술지에 게재된 디지털도서관 관련 연구의 영향력을 측정하는데 적용해 보았다. 또한 기존 Bibliometrics 기반의 평가 결과와 어떠한 차이를 보이는지를 비교 분석해 보았다. 그 결과를 요약하면 다음과 같다.

첫 번째, 분석 대상이 된 연구는 소셜네트워크미디어에 노출된 경우 또는 Wikipedia에 언급된 경우는 많지 않았으나, 참고문헌관리도구에 ‘saved’된 정도는 ‘cited’된 경우보다 1.85배 높게 나타났다.

두 번째, 영향도간의 상관성 분석 결과에서는 기존의 선행 연구 결과에서와 마찬가지로 ‘saved’와 ‘cited’간에 양의 상관성(r=0.718)이 존재하는 것으로 나타났다. 따라서 참고문헌 관리도구가 장차 피인용도 기반의 연구 영향력 평가 체계를 보완할 가능성이 있음을 확인할 수 있었다.

세 번째, 최신 논문은 피인용 (cited)된 경우보다 참고문헌관리도구에 저장(saved)되어 있는 경우가 더 많았다. 따라서 참고문헌관리도구는 비교적 근래에 이루어진 연구의 영향력 평가 도구로서 피인용도 평가 도구를 보완할 가능성이 있음을 유추할 수 있었다.

마지막으로 분석 대상이 된 연구 논문을 한중일로 구분하여 비교 분석한 결과, 한국의 연구는 일본에 비해 피인용되거나 소셜네트워크미디어에 노출된 수치가 낮게 나타났으나 중국의 경우 보다는 높게 나타났으며, 참고문헌관리도구의 저장 평균은 3개국 중에 가장 높게 나타났다.

Altmetrics는 새로운 시각으로 연구의 영향력을 평가하는 지표이지만, 소셜 미디어의 조작 가능성, 논문의 분산 저장 가능성 , 국가별 소셜 미디어의 이용 경향 차이가 존재하므로 본 연구의 분석 결과도 이러한 한계점에서 자유롭지 못함을 밝힌다. 향후, Altmetrics의 신뢰성을 검증하고 유효성을 제고하기 다각적 측면의 장치와 후속 연구가 필요하겠다.