최근 기록관, 도서관, 박물관의 다양한 지식정보자산 및 문화유산의 디지털화가 적극적으로 확대되고 있는 가운데, 이용자의 정보 수요 또한 융합 및 통합되고 있으며, 이를 수용하기 위한 자원과 서비스의 효율적 통합화에 대한 요구가 강조되고 있다(이시카와 데쓰야, 네모토 아키라, 요시미 슌야, 2021). 도서관, 기록관, 박물관 등 기관에 상관없이 하나로 통합된 기관에서 다양한 정보를 제공받기 원하는 이용자들의 요구에 따라 2008년부터 기록관, 도서관, 박물관의 기능과 서비스를 통합적으로 갖춘 복합시설 및 공간으로서 ‘라키비움(Larchiveum)’ 개념이 제시되었고, 다양한 연구가 지속되어 오고 있다. 국내에서도 도서관 계열뿐만 아니라 문학관과 기록관 등에서 여러 이론적 접근과 절차를 통해 라키비움 구축에 관한 논의가 계속되고 있으며(곽승진, 이정미, 2018), 공간 및 인식 관련 연구는 꾸준히 계속되어왔지만, 서비스, 그중에서도 웹사이트를 중심으로 한 라키비움의 서비스에 대한 논의는 부족한 실정이다.

웹사이트는 언제 어디서나 편리하게 온라인으로 전시 서비스 및 다양한 부가가치서비스를 이용해볼 수 있다는 이점을 가진다(한철웅성, 2018). 또한 이용자가 원하는 정보만을 빠르게 탐색할 수 있으며 채팅 서비스 및 온라인 이용자 교육, 협력 네트워크 제공, 검색 도움말 제공 등 오프라인에서는 다소 제한된 영역에 대한 새로운 서비스를 다방면으로 지원하고 있다. 기록 분야에서도 전통적인 방식으로 제공되었던 다양한 기록정보서비스들이 기록관의 홈페이지를 통해 온라인으로 제공되고 있으며, 진보하는 기술을 도입한 혁신적인 서비스가 점점 확대되고, 전 세계의 주요 국립 도서관과 기록관, 박물관에서도 소장한 자료들을 디지털화하여 온라인 정보서비스의 형태로 활발하게 제공하고 있다(김현지, 이해영, 2009).

이 연구에서는 이용자에게 보다 더 다양한 유형의 정보를 제공하는 복합문화정보기관 라키비움의 웹사이트를 통한 정보서비스에 대해 자세히 살펴본다. 구체적으로, 실제로 운영되고 있는 라키비움은 웹사이트 상에서 어떤 서비스를 어떻게 진행하고 있는지 분석해보고, 라키비움 사이트만이 제공할 수 있는 서비스의 특징을 잘 반영해서 서비스하고 있는지 살펴본다. 그리고 이를 위해 기존의 웹 서비스 평가에 관한 다양한 이론 및 지표들을 기반으로 하여, 일반 기록관, 도서관, 박물관의 웹 서비스와는 다른 특징을 가진 라키비움만의 웹을 통한 정보서비스에 대한 평가지표를 직접 개발해 라키비움의 웹 정보서비스를 평가해보고자 하였다.

기록관, 도서관의 웹 서비스와 평가지표에 관한 연구들은 꾸준히 진행되어왔지만, 라키비움 웹사이트 정보서비스에 관한 이론과 평가에 관련된 연구는 미비한 상황이다. 기록관, 도서관, 박물관의 기능과 서비스를 통합하여 제공하는 라키비움의 특성을 고려했을 때, 한 기관만의 평가지표 특성을 반영하는 것이 아닌 세 기관의 웹 서비스 평가지표를 모두 고려해야 할 것이다. 조사 대상 라키비움 웹 정보서비스에 대한 객관적인 평가를 위해, 이 연구에서는 기록관, 도서관, 박물관 각각의 웹사이트 서비스에 관한 평가지표를 비교 분석하여 반영하고, 라키비움 웹사이트 정보서비스만을 객관적으로 평가할 수 있는 방법과 평가지표를 개발하고자 하였다.

또한 평가 대상으로 선정된 라키비움의 웹사이트를 대상으로 직접 평가해보고, 현재 운영되고 있는 라키비움 기관들에서 효과적으로 운영되고 있는 웹 서비스를 살펴본 후, 미흡한 부분에 대해서는 보완점을 제시하고, 추가적으로 운영되면 효과적일 수 있는 방안에 대해서도 제안해보고자 하였다. 일부 기관에 대한 평가를 라키비움 서비스 전반으로 일반화할 수는 없겠지만, 이러한 평가지표와 서비스 방안은 현재 운영되고 있는 라키비움 기관뿐만이 아니라 새로 설립될 기관의 웹 서비스 구성 및 제공에 도움이 될 수 있을 것으로 기대한다.

앞에서 제시한 연구 목적에 따라 다음과 같이 연구 문제를 설정하였다.

첫째, 기록관, 도서관, 박물관의 서비스와는 구분되는 라키비움 웹 정보서비스만의 특징은 무엇인가?

둘째, 기존의 기록관, 도서관, 박물관의 웹 정보서비스 평가지표를 활용하여 라키비움의 평가지표를 어떻게 구성할 것인가?

셋째, 개발된 평가지표를 기반으로 한 평가 결과에서, 현재 라키비움의 웹 정보서비스에서 잘 진행되고 있는 부분은 어떤 것이고 보완되어야 할 부분은 무엇인가?

이와 같은 연구 목적 및 연구 질문과 관련하여 다음과 같은 방법으로 연구를 진행하였다.

우선 라키비움의 개념과 목적, 웹을 기반으로 하는 정보서비스의 개념과 평가의 필요성, 여러 평가 기준들이 제시된 평가 방법을 문헌 연구를 통해 살펴보았다. 특히 라키비움이 기록관, 도서관, 박물관의 기능과 서비스를 통합적으로 갖춘 복합정보문화기관인 만큼, 기록관, 도서관, 박물관 각각의 웹 서비스 평가에 대한 이론 및 연구 현황에 대해서 비중을 두고 문헌들을 확인하였다.

이를 기반으로 도서관, 기록관, 박물관의 웹 서비스 평가지표들이 가지고 있는 공통적인 항목과 각 기관의 유일한 특성들이 반영된 여러 평가 항목들을 분석하고 일정한 기준에 따라 범주화한 뒤, 라키비움 근무 경험이 있는 근무자 혹은 관련 연구 경험이 있는 연구자들을 대상으로 설문을 통해 중요도를 설정하였다. 그리고 이를 기반으로 라키비움 웹사이트 기반 정보서비스 평가지표를 구축하고, 평가를 진행하였다.

평가대상 선정은 이 연구가 웹사이트를 기반으로 하는 서비스를 대상으로 시행되는 만큼 라키비움 현장 서비스만 운영하는 기관이 아니라 기록, 도서, 박물 등의 소장자료가 통합된 형태로 라키비움을 표방하는 기관에서, 하나의 웹사이트가 제공되며, 통합 검색이 가능하고, 웹 정보서비스를 제공하고 있는지를 중점적으로 검토한 후 평가를 위한 대상으로 선정하였다. 그리고 이렇게 선정된 세 기관을 대상으로 하여 각 기관의 웹사이트에서 제공하는 정보서비스들을 분석한 뒤, 앞서 설계한 라키비움 웹 서비스 평가지표를 기반으로 평가하였다. 이후 평가 결과를 기반으로 평가대상 라키비움에서 효과적으로 진행되고 있는 서비스와 함께 보완되어야 할 부분을 살펴보고 개선방안을 제시하였으며, 나아가 국내 라키비움 웹 정보서비스에 대한 시사점을 제언하였다.

‘라키비움(Larchiveum)’은 도서관(Library), 기록관(Archives), 박물관(Museum)의 기능과 역할을 복합적으로 수행하며, 이용자에게 다양한 정보자원 및 통합적 서비스를 제공하는 통합형 정보 제공 기관이자 서로 다른 특징을 지닌 다양한 대상을 전문적으로 수집, 관리하는 종합수집기관이라고 정의할 수 있다(조현양 외, 2015; 최연경, 2018). 다양한 정보자원을 여러 매체를 통해 서비스할 수 있는 라키비움을 통해 이용자들은 자신이 원하는 자료를 매체나 기관 유형에 구애받지 않고 이용할 수 있는 이점을 가질 수 있다.

라키비움의 기능은 라키비움을 구성하고자 하는 기관의 상황과 특징에 맞춰 기록관, 도서관, 박물관 등 각 기관의 기능을 통합적으로 도입하여 적용해야 한다. 기관별로 소장자료는 다르지만, 기본 업무 프로세스인 수집, 관리, 보존, 전달 업무와 교육 분야의 세미나, 강좌, 이용자 교육, 전시, 출판 등 이러한 매체들을 활용하는 이용자 서비스 기능에서는 아주 유사한 부분이 많다. 또한 현재와 같은 디지털 정보 시대에서는 각각의 문화기관이 다루고 있는 디지털 콘텐츠의 구별이 점점 더 모호해지고 있기 때문에 최소한 온라인상에서만은 기관 간의 구분이 무의미해지고 있으며 이러한 사회문화적 흐름은 각 기관 간의 융합의 중요성을 시사한다(조현양 외, 2015). 기록관, 도서관, 박물관의 기능을 종합한 라키비움의 목적을 살펴보자면, 학문과 문화의 발전, 지식정보의 제공과 평생 교육의 목적, 보존 및 관리, 인류 문화에 대한 평가, 지역사회의 발전과 커뮤니티의 중심이 되는 사회적 역할이라고 설명할 수 있다(유소연, 2022).

웹 정보서비스는 웹사이트를 통해 제공되는 모든 정보 기반의 서비스를 의미하며, ‘이용자들의 삶의 만족도와 질을 상승시키고 사회경제에 활기를 불어넣기 위해 웹 정보기술을 적용하고자 한다.’라는 목적에서 발전된 개념이다(김현지, 2009; 윤지영, 2002). 즉 이용자들을 위해 봉사하고 상호작용하기 위해 웹 정보기술을 기반으로 한 정보서비스를 발전시킨다는 의미이다. 이와 같이 웹 정보서비스는 웹과 관련된 정보기술을 적용하여 업무 실행 능력 및 생산성을 증진시키고, 이용자 서비스의 품질 향상을 추구하는 것으로 ‘효과적인 정보서비스 제공을 실현하는 것’이라는 취지를 가진다. 또한 웹 정보기술과 콘텐츠를 활용해 정보서비스 운영 및 관리에 필수적인 여러 자원들을 통합적으로 이용할 수 있게 도와주고 자원 생성, 저장, 관리까지 종합적으로 전 과정들을 관리할 수 있는 웹 정보기술 기반의 정보서비스라고 설명할 수 있다(윤지영, 2002). 웹 정보서비스를 통해 정보서비스의 전체 과정들이 통합적·유기적으로 관리되면서 웹 정보서비스는 아날로그 정보서비스에 비해 상당한 품질 향상과 비용 절감 효과를 불러올 수 있을 뿐만 아니라 지식정보자원의 빠르고 완벽한 정보 공유가 가능하다는 이점을 가진다. 즉, 웹 정보서비스는 인터넷의 웹 환경에 있으며 멀티미디어 정보를 지향하고, 개인화된 이용자들을 대상으로 한다는 특성을 가지고 있다(윤지영, 2002). 이처럼 정보를 수집, 저장, 제공하고 사용자들이 필요한 정보를 찾을 수 있도록 돕는데 중점을 두는 웹 정보서비스는, 일반적으로 이용자의 경험, 디자인, 속도, 보안, 접근성 등 다양한 방법과 도구적인 측면을 중점을 둔 웹사이트 자체에 대한 평가와는 차이가 있다. 이러한 웹 정보서비스는 컴퓨터 산업의 성장과 빠른 발전으로 IT산업 및 정보통신망 인터넷 보급이 늘어나면서 새로운 방식으로 변화하고 있다. 이용자들과 웹 마스터의 양방향 정보 공유와 활발한 상호작용이 이루어진다고 볼 수 있으며, 문화기관의 이용과 활동을 더 효과적으로 수행하게 해준다(최종호, 2004). 즉 정보전달, 교육 및 자료제공, 전시, 온라인 학습 등의 여러 서비스를 제공하며 인터넷에 사이버스페이스를 만들어 내는 것이다. 이처럼 웹 정보서비스는 정보기술의 발달과 이용자의 서비스에 대한 욕구와 함께 비례하며 점점 커지고 있으며 욕구 또한 빠른 속도로 변화하면서 웹사이트를 이용자 중심으로 구축하는 것이 필수가 되었다(홍성수, 이재환, 2003).

하지만 인터넷에는 무수히 많은 웹사이트와 정보들이 있으며, 이용자와 인터넷 사이에 정보의 품질을 평가하고 제어하는 중요한 여과장치가 없기 때문에 웹사이트에 포함된 정보를 이용하고자 하는 경우엔 그 정보의 가치를 평가하는 것이 필수적이라고 할 수 있다(이응봉, 1999). 정보서비스의 평가는 일반적으로 크게 3가지의 목적을 가지고 있다. 첫 번째는 현행 정보서비스 수준의 정도를 보여주는 정보를 체계화하기 위해서이다. 두 번째는 단순하게 그 존재를 합당하게 설명하기 위해서이다. 그리고 세 번째는 정보서비스의 비효율성 또는 실패를 밝혀냄으로써 앞으로의 서비스 품질 향상을 위한 참고자료로 활용하기 위해서이다. 정보서비스의 평가를 실행하기 위해서는 정보서비스를 구성하고 있는 여러 요소들 중에서 어떤 대상을 평가할 것인지 결정해야 한다. 평가의 목적과 함께 정보서비스의 어떠한 내용을 평가할지를 고려해 평가 요소를 선정하고 이에 따라 평가 내용을 열거한다. 또한 정보서비스 평가의 주요 고려 사항 중 하나는 평가대상 서비스를 측정할 수 있는 기준을 설정하는 것이다. 평가기준의 효용성을 향상시키기 위해서는 기관의 목적과 목표를 면밀히 검토하여 반영해야 하며 기관의 맞는 특성과 콘텐츠를 포함한 기준의 필요성을 지닌다(박준식, 2007; 이윤주, 2007).

웹 정보서비스 평가는 웹사이트를 통해서 제공되는 정보서비스를 평가하는 것과 기관의 웹사이트 자체를 평가하는 것으로 구분할 수 있다(김현지, 2009). 하지만 웹 정보서비스 또한 웹사이트를 통해 제공되는 서비스인만큼 웹사이트 자체에 대한 평가를 배제할 수는 없으며, 평가 방법과 기준에 대해 탐구하기 위해 여러 방향의 연구를 모두 살펴보고자 한다. 특히 기록관, 도서관, 박물관의 통합 모델인 라키비움에 대한 연구인 만큼 각 기관의 웹 정보서비스 평가 요소들을 살펴보며 평가 방법과 평가 기준에 대해 알아보려 한다.

먼저 기록관의 웹 정보서비스를 평가한 연구를 살펴보면, 이윤주(2007)는 평가기준표의 상위 평가 영역을 크게 구조와 디자인, 콘텐츠, 인터페이스, 커뮤니케이션, 검색으로 나누고, 그 하위 영역으로는 ①구조와 디자인: 디자인, 메뉴 구성, 이동 편리성 ②콘텐츠: 범위, 신뢰성, 최신성, 서비스 ③인터페이스: 내비게이션, 접근성, 이용자 친화성 ④커뮤니케이션: 이용자 서비스, 신속성, 보안성, 커뮤니티 ⑤검색: 검색성, 검색 결과의 활용으로 설정하였다. 그리고 평가 항목을 다시 점수별 상세 평가 기준으로 제시함으로써 평가에 있어서의 모호함과 결과 도출에 어려움이 없도록 제시하였다.

이정민(2007)은 공공기록관의 웹 서비스 평가에 대한 연구를 진행했으며, 이용자 편의에 얼마나 적합한지를 측정하기 위해 평가 항목을 크게 검색의 편의성, 검색의 확장성, 업데이트 신속성, 기능의 용이성, 콘텐츠, 신뢰성, 디자인으로 구성하고, 세부 항목은 ①검색의 편의성: 입력, 동작, 통일성 ②검색의 확장성: ISAAR(CPF) 반영 여부, 시소러스 반영 여부, Ontology 반영 여부 ③업데이트 신속성: 속보성, 이슈＆트렌드, 가독성, 업데이트, 시의성 ④기능의 용이성: 설치의 편의, 파일 서비스, 기능 이용, 조작 및 사용, 제어의 편의 ⑤콘텐츠: 목적성, 다양성, 충실성, 차별성, 흥미성, 신뢰성, 정확성, 이해 용이성, 친밀성, 관심성, 게시판 ⑥신뢰성: 이력 정보, 현재성 명시, 저작권, 정확성 ⑦디자인: 공평한 사용, 사용상의 융통성, 간단하고 직관적인 사용, 쉽게 인지할 수 있는 정보로 구축하였다.

김현지(2009)는 대학기록관의 웹 기록정보서비스를 대상으로 하는 연구를 진행하였다. 이 연구에서는 3개의 상위 평가 영역을 정보제공영역, 정보검색영역, 이용자지원영역으로 구분하였고, 그 아래 하위 항목들은 ①정보 제공: 기록관 안내, 기록물 이용 ②정보 검색: 검색 기법, 검색 결과의 활용 ③이용자 지원: 전시, 교육, 출판, 상호작용으로 전개하고 하위 항목들은 다시 세부적인 평가 문항들로 구성하였다.

김연희(2010)는 국내 대통령기록관을 대상으로 웹사이트의 사용성을 높이기 위한 웹 정보서비스와 사용성을 평가하는 연구를 진행하였으며 웹사이트 평가기준표의 주요 상위 항목을 기록관소개시스템, 사용자 인터페이스, 콘텐츠, 검색, 커뮤니티 활성화, 교육 서비스로 설정하고, 하위 항목으로는 ①기록관 소개시스템: 기록관 안내 ②사용자 인터페이스: 내비게이션, 메뉴 구조, 디자인, 기능의 용이성, 상호작용, 멀티미디어 ③콘텐츠: 다양성, 최신성, 정확성, 이해성, 목적성, 흥미성, 전시 ④검색: 검색 기법, 검색 결과 사용성, 검색의 편의성, 도움말 ⑤커뮤니티 활성화: 피드백, 참여성, 사용의 편의성, 시스템 평가 ⑥교육 서비스: 학습지원, 연구지원으로 구성해 5개의 세부 평가 문항까지 도출하여 개발하였다.

장희정(2012)은 국가기록원 웹사이트 이용자들의 기록정보서비스 만족도를 향상시킬 수 있는 개선안을 효과적으로 제안하기 위한 평가지표를 영역별로 구축하는 연구를 진행하였다. 평가 영역은 크게 콘텐츠, 인터페이스, 검색으로 구성하였으며 하위 평가 항목으로는 ①콘텐츠: 기관 및 이용 안내, 적합성, 다양성 ②인터페이스: 내비게이션, 화면디자인, 접근 편의성, 상호작용성 ③검색: 계층성, 검색 용이성, 검색 결과의 활용성으로 선정하였으며 이에 대한 42개의 세부 평가 문항을 도출하였다.

한철웅성(2018)은 ‘기록물’만의 특성을 반영한 기록관 웹사이트 평가지표를 개발하고자 하였으며 기록정보서비스 목표를 반영하기 위해 기록관의 특성을 반영한 분석을 통해 세부적으로 영역별 배점을 부여하여 평가척도를 도출하는 연구를 진행하였다. 평가 상위 영역을 크게 디자인, 인터페이스, 콘텐츠, 커뮤니케이션, 검색, 협력 네트워크 영역으로 설정하고 그 하위 영역으로 ①디자인: 일관성, 이해성, 가독성 ②인터페이스: 메뉴 구성, 내비게이션, 도움말 ③콘텐츠: 기록물, 교육, 연구지원, 전시 ④커뮤니케이션: 의견 수렴 ⑤커뮤니케이션: 의견 수렴, 채팅 서비스, SNS서비스, 업무지원 ⑥검색: 검색 방법, 검색 결과, 검색 도움말 ⑦협력 네트워크로 도출하고 기록관에 대한 특수성을 반영할 수 있도록 영역별로 가중치를 설정하여 기록물이라는 콘텐츠에 중점을 둔 척도를 제시하였다.

또한 미국에서 개발되어 기록관 서비스 품질 평가를 위해 활용하고 있으며 여러 기록관들에서도 범용적으로 사용하고 있는 Archival Metrics는 이용자들을 기준에 따라 세분화하여 의견을 얻을 수 있는 표준화된 설문조사 도구이자 평가지표이다. Archival Metrics는 온라인 검색도구, 교육 지원, 연구자, 웹사이트, 학생 연구자 등의 질문 영역을 포함하고 있는 Archival Metrics Toolkit을 개발하였다(허덕행, 2014). 이 중 웹 정보서비스 평가 항목에 활용할 수 있는 설문들은 직원의 피드백과 웹 서비스, 검색도구와 인벤토리, 온라인 검색도구에 관한 항목을 포함하고 있는 연구자 설문과 웹사이트의 편리성과 기능에 대한 만족도 항목을 담고 있는 웹사이트 설문, 온라인 검색도구에 대한 세부 질문들을 담고 있는 온라인 검색도구 설문이다.

다음으로 도서관의 웹 정보서비스를 평가한 연구를 살펴보면, 박지은(2003)은 대학도서관 웹사이트 평가모델을 개발 및 적용하는 연구를 진행하였다. 평가 부문은 크게 사이트 구성과 디자인, 콘텐츠 충실도, 자료검색 정확성과 용이성, 고객서비스 항목으로 구성되어 있으며 평가 기준은 ①사이트 구성과 디자인: 디자인, 메뉴 구성. 이동 편리성 ②콘텐츠 충실도: 다양성 및 유용성, 신속성, 신뢰성 ③자료검색 정확성과 용이성: 정확성, 용이성, 제공범위 ④고객서비스: 상호작용성, 맞춤 서비스로 구성하였으며 이에 대한 평가 항목과 상세 평가 기준까지 제시하였다. 이수상, 위성광(2007)은 다문화 사회에서 대학도서관의 책임과 역할을 알아보고자 중국 유학생들을 대상으로 대학도서관 포털 서비스에 대한 만족도를 분석하는 연구를 수행하였다. 평가 방법은 도서관 정보서비스 품질 평가 모형으로 많이 사용되고 있는 LibQUAL+ 모형을 참고하여 지표를 구성했으며 평가 항목은 크게 서비스 영향, 정보 제어, 웹 공간으로 나눠 조사 항목을 제시하였다.

마지막으로 박물관의 웹 정보서비스를 평가한 연구에서 유재옥(2006)은 국내 문화콘텐츠를 제공하는 웹사이트들을 평가하여 향후 양질의 콘텐츠를 구축하기 위한 웹사이트 설계의 개선점을 제시하는 연구를 수행하였다. 지표의 평가 항목으로는 크게 콘텐츠 품질, 인터페이스 품질, 디자인 품질, 시스템 품질, 서비스 품질이 있으며 이에 대한 평가 기준으로는 ①콘텐츠 품질: 정보의 목적성, 방향성, 적절성, 신뢰성, 다양성, 전문성, 정확성, 최신성 ②인터페이스 품질: 사용 편이성, 항해 용이성, 접근 신속성, 이해 용이성, 검색 편이성 ③디자인 품질: 몰입성, 일관성, 은유성, 명쾌성, 심미성 ④시스템 품질: 안정성, 최적화, 자동화, 검색 효율성 ⑤서비스 품질: 신뢰성, 지원성, 쌍방향성, 개방성로 나눠 세부 요인 및 평가 기준을 제시하였다.

박승정(2011)은 국내 국립박물관 웹사이트의 접근성 관련한 실태와 문제점을 파악하는 연구를 수행했다. 평가지표의 주요항목으로는 인식의 용이성, 운용의 용이성, 이해의 용이성으로 구성하였으며 이에 대한 평가지침으로는 ①인식의 용이성: 대체 텍스트 제공, 멀티미디어 콘텐츠 대체 수단(원고, 자막) 제공 ②운용의 용이성: 프레임 타이틀 제공, 모든 기능 키보드로 제공 ③이해의 용이성: 논리적 구성 콘텐츠로 제공으로 구성하여 웹 접근성 평가 항목으로 활용된 5가지 항목으로 평가를 진행하였다.

박동진 김진경(2020)은 박물관의 디지털 콘텐츠 품질을 평가하기 위해 품질 평가모형과 지표를 개발하는 연구를 진행하였다. 이에 대한 평가 영역으로는 크게 디지털 콘텐츠 품질 영역, 사용자 인지 품질 영역으로 설정하였으며 평가요인으로는 ①디지털 콘텐츠 품질 영역: 정보 품질, 서비스 품질 ②사용자 인지 품질 영역: 인지된 용이성, 유희성으로 구성하여 이를 토대로 실증분석까지 실시하였다.

이 연구에서는 이상에서 언급한 각 문화기관의 웹 정보서비스 평가 기준 및 평가 방법들을 토대로 웹 정보서비스 지표에 공통적으로 존재하는 항목을 도출하고 라키비움 웹 정보서비스 평가지표를 설계하는데 중요한 항목들을 분석 및 추출하여 종합적으로 반영하고 구성하였다. 또한 주로 웹 정보서비스 요소들을 기준으로 추출하여 반영하였지만, 디자인이나 인터페이스 구성 등 웹사이트 사용성에 대한 항목 또한 이용자 서비스의 중요한 일부이기도 하므로 부분적으로 반영하였다.

라키비움 웹 정보서비스 평가지표에 필요한 평가 항목들을 구성하기 위해 앞의 선행연구와 이론적 배경을 바탕으로 공통적으로 적용된 항목을 추출해 새로운 평가지표의 기반으로 활용하고자 하였다. 특히 이 연구에서는 라키비움의 웹 정보서비스에 대한 평가지표를 구성하는 만큼, 기록관, 도서관, 박물관의 웹사이트 및 웹 정보서비스 평가지표와 관련된 선행연구들을 종합적으로 살펴보는 것이 필수적이다. 또한, 세 기관의 특성이 복합적으로 반영되는 지표인 만큼 표준적인 기준이 필요했기에 기록관 분야의 Archival Metrics, 도서관 분야의 문화체육관광부의 공공도서관 세부 평가지표, LibQUAL+ 평가도구, 박물관 분야의 국립중앙박물관 운영 사업 평가 보고서 등 각 분야의 표준화된 정보서비스 평가지표를 참고하였다.

또 이 연구에서는 평가 영역의 큰 틀을 설정할 때, 김현지(2009)의 웹 기록정보서비스 평가지표의 영역을 참고하였다. 이 연구의 목적과 유사하게 웹사이트 자체에 대한 평가보다는 웹 정보서비스에 대한 평가만을 다루는 만큼, 큰 영역 구성에서는 정보 제공 영역, 정보 검색 영역, 이용자 지원 영역을 참고하여 포함시켰다. 또한 선행연구들을 포함해 표준화된 평가지표에서도 메뉴 구성, 링크 제공, 화면 구성 등에 대한 중요성이 지속적으로 강조된 만큼, 이용자 인터페이스에 대한 영역을 추가로 선정하였다. 정리하자면 라키비움 웹 정보서비스 평가지표의 상위 영역은 크게 정보 제공 영역, 정보 검색 영역, 이용자 지원 영역, 이용자 인터페이스 영역의 총 4가지 영역으로 구분하였으며, 이렇게 설정한 평가지표 영역들을 상세히 살펴보면 다음과 같다.

첫 번째 정보 제공 영역은 라키비움 기관 자체에 대한 정보와 소장하고 있는 자료 정보 및 이용자들이 자료를 이용하는 데에 필요한 정보를 제공하는 필수 서비스 영역이라고 할 수 있다. 정보 제공 영역의 하위 평가 영역은 기관 안내와 소장자료 이용 관련 영역으로 구성하였다. 두 번째 정보 검색 영역은 라키비움 웹사이트에서 이용자가 원하는 소장자료를 잘 찾을 수 있도록 효율적인 검색도구 및 검색기능을 제공하고, 검색 결과에 대한 다양한 활용을 가능케 하는 정보 검색 서비스 영역이라고 할 수 있다. 정보 검색 영역에 대한 하위 평가 영역은 검색 기법과 검색 결과 활용 영역들로 구성하였다. 세 번째 이용자 지원 영역은 라키비움의 소장 자료들을 검색하거나 열람하지 않는 잠재적인 이용자들이 편하게 접근하고 이용할 수 있도록 하기 위해, 전시, 교육, 출판 그리고 이용자와 웹 관리자, 이용자와 이용자 간의 커뮤니케이션 기능을 촉진하는 부가서비스 관련 영역이라고 할 수 있다(김현지, 2009). 이용자 지원 영역에 대한 하위 평가 영역은 전시, 교육, 출판, 커뮤니케이션의 영역으로 구성하였다. 마지막으로 이용자 인터페이스 영역은 이용자가 라키비움 웹사이트에 접속했을 때 제일 먼저 볼 수 있는 직관적인 메뉴 구성 및 전체적인 디자인, 그리고 원하는 정보까지 빠르고 효율적으로 도달할 수 있는 매개체로서의 기능을 포함한 서비스 영역이다. 이용자 인터페이스 영역에 대한 하위 평가 영역은 내비게이션과 디자인 영역으로 구성하였다.

그리고 이렇게 구성된 평가 영역들은 다시 세부적인 평가 항목들로 구성된다. 구체적인 세부 평가 항목들을 구축하기 위해서는 앞서 언급했듯이 선행된 기록관, 도서관, 박물관의 웹 정보서비스 관련 평가지표들과 표준화된 평가지표를 기반으로 공통된 항목들과 각 기관의 특성이 반영된 항목들을 분석하고 일정한 기준에 따라 범주화하여 반영하고자 하였다. 이와 함께 소장자료와 서비스 등 기록관, 도서관, 박물관 특성에 맞춰 국한된 지표 항목들은 라키비움의 특성에 맞게 일부 수정하여 지표에 반영하였으며, 이는 라키비움만이 가지고 있는 특성을 포함한 항목이 되기도 하였다.

라키비움 웹 정보서비스 평가에 적용할 수 있도록 수정하는 과정은 다음과 같이 진행되었다. 도서관 평가지표에서 “도서의 통합 검색이 가능한가?”라는 항목을 “박물과 기록과 도서의 통합 검색이 가능한가?”라는 항목으로, 기록관 평가지표에서 “기록관 관련 규정 및 기록관리에 관한 정책이나 지침을 제공하는가?”라는 항목을 “라키비움 관련 규정 및 소장자료(기록, 박물, 도서)관리에 관한 정책이나 지침을 제공하는가?”라는 항목으로 바꿔 제시하는 등 기록관, 도서관, 박물관이라는 기관 명칭을 라키비움으로 바꿔 제시하고, 기록, 도서, 박물이라는 명칭을 소장자료로 바꾸어 라키비움에 적합하도록 포괄적으로 제시하였다. 또한 “박물과 기록과 도서의 통합 검색이 가능한가?”라는 항목과 “기록, 도서, 박물이라는 소장자료 유형을 모두 담고 있는 전시인가?”라는 항목처럼 라키비움 평가지표에만 존재할 수 있는 소장자료 유형의 특징과 검색 기법에서 나타날 수 있는 특징들을 반영해 평가 항목으로 추가하였다.

라키비움의 웹 정보서비스 평가지표의 1차적 구성은 선행된 평가지표 관련 연구 결과들을 토대로 항목들을 뽑아낸 후, 크게 4개의 영역인 정보 제공 영역, 정보 검색 영역, 이용자 지원 영역, 이용자 인터페이스 영역으로 범주화하여 각 하위 평가 항목별로 평가 항목을 구성하였다(<표 1> 참조). 평가 항목의 타당도와 신뢰도 향상을 위해, 앞에서 살펴본 선행연구들의 평가 항목을 모두 분석하여 평가지표를 설정하는 기반으로 삼았다. 그러나 이 연구들의 평가지표를 그대로 차용한 것이 아니라, 라키비움의 특성을 반영할 수 있도록 재구성하였다. 신뢰도를 위해 실제 <표 1>에 지표 설정의 기반이 된 선행연구들을 항목마다 제시하였다. 또한 신뢰도 및 완성도 있는 지표 구성을 위해 라키비움 분야의 전문가 설문을 통해 완성도 있는 평가지표를 위한 적절한 항목을 설정하고자 하였고, 이를 토대로 가중치를 부여해 최종적인 평가지표를 완성하고자 하였다.

설문은 라키비움 관련한 연구를 수행한 연구자 6명과 라키비움에서 근무한 경험이 있는 근무자 4명 등 총 10명을 대상으로 직접 응답 가능 여부를 확인한 후, 온라인 링크를 통한 익명 설문으로 진행하였다. 각 영역별로 범주화한 평가지표의 하위 영역에 해당하는 평가 항목들 중, 라키비움의 웹사이트 기반 정보서비스 평가지표에 필수적으로 포함되어야 한다고 생각하는 항목들에 표시할 것을 요청하였고, 각 질문마다 복수 응답이 가능하도록 하였다.

이러한 설문에 대한 응답을 취합한 결과, 평가에 필수적으로 포함되는 것이 좋겠다고 한 응답은 항목별로 최소 0개에서 최대 10개였다. 전문가에게 0∼1개의 응답을 받은 항목 15개는 평가지표에서 제외했는데, 이에 따라 기존에 설정한 83개의 항목에서 68개 항목으로 지표가 확정되었다. 나머지 항목별 응답 개수는 평가지표의 항목별 중요도를 설정하는 기준으로 삼아 가중치를 설정하였다. 즉, 2∼5개의 응답을 받은 항목은 5점, 6∼8개의 응답을 받은 항목은 10점, 9∼10개의 응답을 받은 항목은 15점을 부여하였다. 배점을 최소 5점에서 15점으로 부여한 이유는 가중치를 포함한 배점을 점 단위로 부여했을 때 총합계가 5 , 500으로 알맞게 떨어지기 때문이며, 이와 같은 기준을 부여한 결과의 총 배점은 500점 만점이 되었다. 중요도별 지표의 가중치 설정은 한철웅성(2018)의 평가지표와 도서관 정책기획단의 공공도서관 평가지표 개선안(2020)에서 참고하였다. 선행된 평가지표 관련 연구를 토대로 전문가 설문을 반영한 영역별 배점 설정 결과는 아래 <표 1>과 같다.

앞서 구성한 평가지표를 척도로서 제대로 활용하기 위해서는 지금까지 구성한 각 항목에 대해 정확하게 점수를 부여할 수 있도록 상세 평가 기준을 마련해야 했다. 배점은 1점부터 5점 척도로 실제 평가 시에 모호한 항목들에 대해 명확성을 부여하도록 배점 기준을 설정하였다. 전반적으로 1∼5점은 매우 아니다 및 매우 그렇다의 단계로 평가를 진행하지만, 더 정확한 측정을 위해 <표 2>에 제시된 바와 같이 라키비움 웹 정보서비스 평가지표 항목에 대한 상세 평가 기준을 작성하였다. 상세 평가 기준은 앞의 선행연구에서 제시된 평가지표의 세부 요소를 참고하고 평가대상으로 선정된 라키비움 웹사이트를 직접 살펴보며 선정하였다 이 , . 상세 평가 기준은 이후 진행된 라키비움 웹 정보서비스 평가에서 평가를 더 명확하게 할 수 있도록 해주었다. 하지만 여기서 추가적으로 고려해야될 사항이 있었다. 라키비움 웹사이트는 단독으로 존재하기도 하지만, 한 기관의 소장자료 아카이브로서의 기능을 강조하여 파생된 형태도 있어, ‘정보 제공 영역’의 기관 안내와 ‘이용자 지원 영역’의 전시, 교육, 출판과 같은 서비스는 라키비움 웹사이트가 파생된 본 기관의 사이트에서 제공하고 있는 경우가 있었다. 이와 같이 연관된 웹사이트더라도 정해진 평가 대상인 라키비움 웹사이트에서 확인할 수 없는 평가 항목일 경우, 상세 평가 기준에서 -1점씩 적용하는 것으로 설정하였다. 이는 모든 영역에 다 적용되었으며, -1점이 적용되는 항목은 <표 2>의 라키비움 웹 정보서비스 평가척도에 추가적으로 보완하였다.

평가대상 라키비움은 기관 웹사이트에 ‘라키비움’이라는 명칭을 사용하고 있거나, 소장자료 유형 및 운영방식과 기관의 형태가 라키비움의 특성을 가지고 통합된 기능을 구현하고 있으며, 디지털 아카이브로서 다양한 서비스의 형태를 보여주는 기관 웹사이트를 대상으로 선정하였다. 무엇보다 본 평가는 라키비움의 웹사이트를 기반으로 시행되는 만큼, 현장 서비스만 운영하는 기관이 아니라, 기록, 도서, 박물 등의 소장자료에 대해 웹사이트를 통해 통합된 형태로 웹 정보서비스를 제공하고 있는지를 중점적으로 검토한 후 대상을 선정하였다. 그리고 이렇게 선정된 평가대상 기관은 국립아시아문화전당 아시아문화박물관 아카이브, 국립태권도박물관 태권도 라키비움, 김근태 기념도서관이다.

본 평가는 평가대상 라키비움 웹사이트들을 점수화하거나 서열화하고자 하는 것이 취지가 아니라, 라키비움 웹 정보서비스에 대해 전반적으로 잘 진행되고 있는 부분과 보완해야 할 부분 등 현재 서비스 현황과 개선 방향을 알아보기 위한 목적을 가지는 만큼, 기관의 명칭을 A, B, C로 임의적으로 설정해 <표 2>와 같은 기준으로 평가를 시행하였다. 그리고 이와 같이 <표 2>를 기반으로 한 라키비움 웹 정보서비스에 대한 종합 평가 결과는 <표 3>과 같다.

각 기관의 총점은 500점 만점에 B기관 387점, C기관 325점, A기관 322점 순으로 나타났으며, A기관과 C기관의 점수 편차는 3점으로 거의 나지 않았지만, 가장 우수한 B기관과의 점수 차이는 약 60점으로 큰 차이를 보였다. 이 결과를 해석해보면, B기관은 전반적으로 모든 서비스가 도입되어 제공되고 있으나, 좀 더 도약하기 위해서는 이용자의 요구를 좀 더 적극적으로 반영해야 할 것으로 보였다. 그리고 A와 C기관의 웹사이트는 사용하는데 있어 검색 서비스와 내비게이션 기능과 같이 기본적인 서비스는 충분히 잘 제공되고 있으며 전반적으로 이용하는데 있어 불편함은 없지만, 추가적인 정보서비스 안내 기능 및 검색 결과 활용 영역 등 부족한 영역에 있어서는 추가적인 지원 및 도입의 필요성이 보였다. 각 영역별로 종합 분석한 결과, 주요 내용은 다음과 같다.

먼저 평가 대상 라키비움 웹 정보서비스에서 잘 진행되고 있는 부분은 정보 제공 영역의 라키비움의 미션과 비전 및 핵심가치, 업무별 담당자 정보 및 업무처리과정정보 제공과 정보안내 서비스 등 기관 소개와 관련한 부분이었으며, 공지사항과 최신 정보 업데이트의 제공도 빠르게 이루어지고 있었다. 또한, 정보 검색 영역에서는 라키비움 웹사이트인 만큼 박물과 기록과 도서의 통합 검색과 상세 검색 지원 등 다양한 검색기능 및 옵션을 지원하고 있었으며, 이용자 지원 영역에서는 온라인 전시와 교육이 다양성과 특수성을 고려하여 효과적으로 서비스되고, SNS와 인터넷 게시판을 통해 소통 또한 효과적으로 지원하고 있었다. 그리고 이용자 인터페이스 영역에서 메뉴와 사이트 구조 및 링크 제공의 유용성을 평가하는 내비게이션 영역과 화면 구성의 일관성과 통일성을 평가하는 디자인 영역에서도 우수한 점수를 받으며 현재 서비스가 효과적으로 제공되고 있다는 것을 알 수 있었다.

그러나 아직 부족한 서비스로 평가되며 보완되어야 할 부분으로는 정보 , 검색 영역에서의 검색 기능에 대한 도움말 안내와 검색 결과 활용에 대한 부분이었다. 검색 결과 활용 영역의 평가 항목은 재검색 기능, 원문정보로의 연동, 다운로드, 뷰어, 프린트, 이메일 전송, 정렬 기능, 계층 표현 등이 있었는데, 전반적으로 기록, 도서, 박물 등의 소장자료를 온라인을 통해 활용할 수 있는 서비스가 매우 한정적이었다. 하지만 이러한 활용 기능은 라키비움 웹사이트를 통해 이용자들이 소장자료를 이용하기 위해서 기본적이며 동시에 매우 핵심적인 서비스이기 때문에, 활용을 위한 다양한 기능을 구축해야 할 것이다. 이러한 부분이 보완된다면 서비스의 수준을 확실하게 향상시킬 수 있을 것으로 보였다.

그리고 전시 영역의 오디오 가이드 및 내레이션 모드와 외국어 안내 지원에 대한 부분, 학습 및 교수지원서비스와 연구지원서비스에 대한 부분에서도 서비스의 부족함을 확인할 수 있었다. 우선 오디오 가이드 및 내레이션, 외국어 안내 관련 부분은 평가된 세 기관에서 모두 최하 점수를 받아 전반적으로 잘 지원되고 있지 않았다. 이는 물론 라키비움 웹사이트에 있어 필수적인 서비스는 아니라고 할 수도 있다. 하지만 규모가 크고, 더 많은 이용자들을 포용하는 전시로 진행되기 위해서는 추진해야 될 지원 서비스이자 보완해야 될 부분이며, 전시의 수요에 따라 부수적인 서비스로 대상과 규모에 따라 기관에서 적절하게 도입해야 할 부분일 것이다. 또한 학습 및 교수지원서비스와 연구지원서비스는 기록관, 도서관, 박물관, 라키비움과 같은 정보제공기관의 핵심 서비스이자 학생과 교육자가 주요 이용자인 만큼 수요가 많은 서비스이므로, 각 기관마다 이용자별 특징과 수요를 파악하여 효율적으로 꾸준하게 제공해야 할 것이다.

이와 같은 종합 분석 결과는 현재 평가 대상 라키비움 웹사이트의 웹 정보서비스에서 간과되고 있는 부분과 필요한 부분에 대한 제안이 될 수 있을 것이며, 일반화할 수는 없으나 앞으로 구축될 라키비움 웹사이트의 개발에도 도움을 줄 수 있을 것으로 생각된다. 또한 평가를 위해 제시된 평가지표는 라키비움을 표방하는 기관에서 웹 정보서비스 제공을 위해 검토해 보고 스스로 평가해볼 수 있는 유용한 도구가 될 수 있을 것으로 기대한다. 라키비움 웹 정보서비스 평가는, 평가에서 끝나는 것이 아니라 기관의 서비스 수준을 객관적으로 진단하고 기관별로 필요한 개선사항을 파악하여 실행에 옮길 수 있도록 도움을 주는 것에 의의가 있다. 라키비움 웹사이트의 구축이 지속적으로 증가하고 있는 현시점뿐만 아니라 앞으로 더 유용하게 웹 정보서비스가 활용되기 위해서 참고해 볼만한 평가 기준이라고 할 수 있을 것이다. 앞으로 실제 라키비움에서 이를 참고하여 평가를 진행해보고, 평가지표가 더 실무기반으로 조정되는 후속 연구의 진행도 기대해본다.