국내 전체 가구 중 가구 내 인터넷 접속이 가능한 비율이 99.5%에 달하는 현재 대다수의 국민들이 인터넷을 이용하여 정보에 접근할 수 있다(과학기술정보통신부, 2018). 온라인 접근이 일상화된 환경에서 웹 상에서 기록 및 관련 정보를 효율적으로 검색·이용할 수 있게 하는 기록정보서비스의 중요성은 더욱 강조되고 있다. 이에 국가기록원에서는 웹사이트를 통해 기록정보의 활용도를 높일 수 있는 다양한 검색 서비스를 제공하고 있다.

그렇지만 여러 선행연구에서 국가기록원 웹사이트가 상업적인 검색엔진에 비해 원하는 자료를 검색하기 매우 불편하다는 한계(김지현, 2012)와 국가기록원 검색서비스에 대한 이용자 만족도가 낮기 때문에 이용자를 위한 구체적인 검색 가이드의 필요성이 제시되었다(강례림, 2020). 또 다른 연구에서는 이용자들이 단순하고 직관적인 인터페이스를 선호함에도 불구하고 국가기록원의 검색 기능을 통해서는 이용자들이 찾는 기록을 직관적으로 알기 어렵다는 점을 언급하였다. 또한 기록 검색에 익숙하지 않은 이용자의 경우 용어의 생소함, 인터페이스의 불친절함으로 이용에 어려움을 겪을 수 있으므로 특히 국가기록원 웹사이트를 처음 이용하는 사람들에게는 다양한 검색방법에 대한 정보를 첫 화면에 잘 보이게 배치하여 이용을 도와주어야 한다고 제안하였다(이윤령, 이해영, 2014).

국가기록원에서는 이용자의 요구사항에 대한 이해를 바탕으로 설계된 사용성(usability)이 높은 웹 기반 기록정보서비스를 제공할 필요가 있다. 사용성은 제품을 이해하기 쉽고, 배우기 쉽고, 사용하기 쉬우며 매력적인 것으로 만드는 속성(Bevan, 2001)이자 이용자 인터페이스가 얼마나 이용하기 쉬운지를 평가하는 질적 속성(Nielsen, 1993)이다. ISO 9241-11:2018 표준에 따르면 사용성은 특정한 이용 환경에서 특정 이용자가 시스템, 제품 또는 서비스를 효과성, 효율성 및 만족도를 가지고 특정 목표를 달성하기 위해 이용할 수 있는 정도로 정의된다. 기록관에서 사용성이 높은 웹사이트를 통해 기록 검색 및 활용을 돕는 서비스를 효과적으로 제공한다면 현재 이용자의 기록정보서비스 만족도를 높이고 잠재적 이용자를 개발할 수 있다(장희정, 2012).

다양한 유형의 이용자를 대상으로 서비스를 제공하는 기록관의 웹사이트는 이용자 중심의 편리성과 알 권리, 정보제공을 중심으로 한 정보서비스 여부에 많은 연구와 관심을 가질 필요가 있다(이윤주, 2007). 국가기록원 웹사이트 사용성 평가를 진행한 장희정(2012)은 사용성 평가 지표 개발 및 개선안을 제시하면서 평가자를 기록정보서비스 전문가로 제한한 한계점을 밝히며, 웹사이트 관련 전문가나 이용자 집단 등 다양한 집단을 대상으로 하는 사용성 평가연구가 필요함을 제안하였다. 또한 기록관 웹사이트나 정보시스템의 평가를 진행한 선행 연구들은 대부분 설문 조사 방식으로 진행되었는데, 이 방식만으로는 연구대상의 무의식적인 행동이나 응답자가 정확히 인식하고 있지 못한 문제는 측정하기 어렵다는 한계가 있다(남궁근, 2018).

따라서 본 연구에서는 국가기록원 웹사이트의 핵심 기능이자 중요한 사용성 평가 영역인 검색 기능을 중심으로 사용성 경험 전문가 평가 및 이용자 대상 사용성 평가를 통해 국가기록원의 웹사이트를 평가하여 개선방안을 제안하는 것을 목적으로 하였다. 웹사이트 인터페이스에 대한 전문가의 의견과 웹사이트에서 검색을 수행하는 이용자의 행동 및 반응에 대해 관찰 조사를 통해 측정한 결과를 바탕으로 사용성이 부족한 영역을 다각적으로 분석하고 이를 바탕으로 국가기록원 웹사이트 검색서비스 사용성 개선방안을 제안하였다.

본 연구에서는 국가기록원 웹사이트 검색서비스 사용성 개선방안을 제안하기 위해 문헌연구, 전문가 분석 평가, 이용자 대상 사용성 평가를 수행하였다. 첫째, 문헌연구에서는 기록 검색도구의 개념과 유형에 대해 살펴보았으며, ISO 9241-11의 사용성 구성요소인 효과성, 효율성, 만족도의 개념과 측정 지수를 중심으로 도서관 및 기록관 웹사이트에서 사용성을 평가한 연구들을 조사하였다. 또한 기록관 웹사이트 평가를 수행한 선행연구들을 중심으로 주요 평가 영역을 도출하고 이를 본 연구에 적용하였다.

둘째, 사용성 전문가 분석 평가의 대표적인 방법인 휴리스틱 평가(Heuristic evaluations)를 수행하였다. 이는 사용성 평가에 대한 지식과 경험을 갖춘 전문가들이 사용성 원칙을 적용하여 대상이 되는 웹사이트의 인터페이스가 사용성 원칙에 부합하는 정도를 평가하고 문제점을 발견하는 것이다(Nielsen, 2000). 본 연구에서는 3년 이상의 사용성 평가 실무 경력을 가진 전문가 2인 및 저자 중 1인을 포함하여 총 3명이 웹 사용성 전문가인 제이콥 닐슨(Jakob Nielsen)이 제안한 10대 원칙에 기초하여 휴리스틱 평가 분석을 진행하였다.

셋째, 이용자 대상 사용성 평가를 진행하였다. 상세한 연구방법은 4.1 평가방법과 4.2 이용자 대상 사용성 평가의 진행에서 기술하고 본 절에서는 간략히 서술하였다. 본 연구에서는 이용자가 실제 국가기록원 웹사이트를 검색하고 이용하는 상황에서 해당 웹사이트의 사용성을 평가하고자 하였다. 기록관리학 관련 지식과 다양한 웹 또는 앱 개발 경험이 국가기록원 웹사이트 검색서비스 이용에 영향을 미칠 수 있으므로 연구 참여자 모집 시 이를 고려하였다. 따라서 연구 참여자는 기록관리학 전공 대학원생 6명, 경력 3년 이상의 웹/앱 개발자 6명, 기록관리학 혹은 웹/앱 개발을 공부하거나 관련 업무에 종사한 적이 없는 일반인 10명 등 총 22명을 모집하였다.

이용자 대상 사용성 평가 절차는 사전 설문조사, 5초 테스트, 검색 과업 수행으로 구성되었으며 연구 참여자를 상대로 2시간 동안 진행되었다. 모든 평가 과정은 통제된 장소에서 실시하였으며, 참여 방법에 대한 오리엔테이션을 진행하여 연구 참여자들이 참여 방법을 정확히 인지하고 과업을 수행할 수 있도록 하였다. 검색 과업은 연구 참여자에게 각 검색도구별로 검색어를 알려주고 기록을 검색하도록 설계하였으며 각 검색도구별로 3문항씩 수행하도록 설계하였다. 또한 웹페이지 검색 이용 도움말이 검색 사용성에 영향을 주는지를 알아보기 위해 절반의 참여자들에게만 검색 이용 도움말을 보도록 안내하였다. 검색 과업 수행 과정에서 연구 참여자는 준비된 노트북으로 과업에 임하도록 하였고, 별도의 프로그램을 이용해 참여자의 행동을 기록하였다. 검색 화면은 동의를 받아 녹화를 진행하였고 주어진 각 과업들에 대한 정답을 답안지에 수기로 기입하게 하였다. 만족도의 경우 각각의 과업을 수행한 직후에 연구 참여자가 리커트 7점 척도로 표시하도록 하여 측정하였다.

이용자 대상 사용성 평가를 통해 ISO 9241-11:2018에서 정의된 사용성 평가 지표인 효과성(effectiveness), 효율성(efficiency), 만족도(satisfaction) 데이터를 수집 분석하여 국가기록원 웹사이트 검색서비스의 사용성을 평가하였고, 각 검색도구별로 사용성에 있어서의 문제점을 파악하였다. 마지막으로 문헌연구, 사용성 전문가 평가 결과, 이용자 대상 사용성 평가 데이터 분석 결과를 종합하여 국가기록원 웹사이트 검색서비스의 사용성 향상을 위한 인터페이스 개선방안을 제안하였다.

기록관에서의 정보서비스는 현재 이용자 및 잠재적 이용자가 소장기록을 활용하여 원하는 정보를 찾도록 돕는 활동이다(Pugh, 2005). 그러므로 기록관은 이용자가 이용하고자 하는 기록을 용이하게 찾을 수 있는 효율적인 검색도구를 제공할 필요가 있다. 검색도구(finding aids)는 미국과 유럽 등 서구의 기록보존소에서 기록에 대한 기술을 수록하고 있는 기록으로의 접근 도구를 총칭하는 용어이다. 이는 기록 계층을 구성하는 각 그룹이나 시리즈마다 문서 생산 기관의 역사 및 기록의 생산유래, 목적, 결과 등 기록에 대한 광범위한 정보를 포함한다(신동희, 2003). 이러한 검색도구는 처음에는 종이를 기반으로 하였고, 계층적 기술에 중점을 두었으나 웹을 통한 정보 접근이 일상화되면서 웹 기반 온라인 검색도구의 중요성이 더욱 강조되는 추세이다.

현재 국가기록원은 효율적인 기록 검색을 위해 온라인 검색도구를 제공함으로써 이용자의 편의를 도모하고 있으며 키워드검색, 상세검색, 기술계층별검색, 주제별검색, 기록정보콘텐츠 등 다양한 검색도구를 제공하고 있다(이윤령, 이해영, 2014; 장희정, 2012). 최근 국가기록원 홈페이지의 대대적 개편이 이루어졌으나 이는 인터페이스 위주의 개편이었고 검색도구의 기능은 이전과 유사하다. 다만 원문 검색이 추가되고 생산기관별검색을 지원하지 않는다는 점에서 변화가 있었다. 키워드 검색에서는 기본검색과 상세검색을 제공하는데, 기본검색은 통합검색을 지향하여 입력된 키워드와 연관된 다양한 종류의 기록물들에 접근할 수 있게 하며 상세 검색에서는 다양한 옵션을 선택하여 검색할 수 있다. 원문 검색은 국가기록원 홈페이지 개편 후 추가된 기능으로 국가기록원에서 보존 중인 영구기록물 중에 공개기록물의 원문을 문서형태로 변환하여 웹상에서 제공하는 서비스이다. 국가기록원 기술계층별검색에서는 국가기록원이 소장한 기록물을 영구기록물 기술규칙에 의거하여 정리, 기술한 결과를 제공한다(이윤령, 이해영, 2014). 또한 국정분야의 주제를 기반으로 구조화된 주제별 검색은 주제별상세검색, 분야별주제검색, 유형별주제검색으로 구분되어 있다. 기록정보콘텐츠는 기록물의 특성, 주제, 시대 등에 따라 범주화하여 제시하고 있고 사회적 관심이 집중되었거나 열람 요청이 많은 기록물을 누구나 쉽게 활용 가능하도록 제공하고 있다.

국가기록원 기록정보서비스 메인페이지와 네비게이션 목록을 살펴보면, 메인 메뉴의 경우 기록물 검색, 기록정보콘텐츠, 전시콘텐츠, 이용안내로 이루어져 있다. 이는 해당 웹페이지의 주요 기능이 기록을 검색하는 것과 기록을 콘텐츠로 구성하여 더 쉽게 기록에 접근할 수 있도록 하는 것임을 알 수 있다. 따라서 국가기록원 기록정보서비스 웹페이지의 사용성 평가를 위해서 해당 웹페이지를 구성하고 있는 콘텐츠를 포함한 검색도구를 이용자가 용이하게 사용할 수 있는지를 중점적으로 확인할 필요가 있다. 따라서 사용성 평가를 위한 과업설계에 있어 국가기록원 기록정보서비스 메인페이지에서 제공하는 검색도구의 유형에 따라 과업을 제시하였다.

도서관이나 기록관 등 지식정보자원 소장기관에서는 웹 기반 정보시스템을 통해 정보자원을 관리하고 이용자의 정보 추구 행위를 지원한다. 이러한 정보시스템의 사용성 연구는 크게 정보시스템 이용자를 대상으로 이용행위를 분석하는 연구와 시스템 인터페이스(interface)의 설계 및 평가 연구로 구분할 수 있다. 시스템 인터페이스는 이용자와 시스템을 연결해 주는 접점으로 이용자는 감각기관을 통해 인터페이스에서 표현되는 시스템을 지각한다. 인터페이스 설계 연구는 사용성이 보장된 인터페이스 구축을 목적으로 하는 반면 인터페이스 평가 연구는 특정 인터페이스가 사용성을 반영하고 있는지를 판단하기 위해 수행된다(전정현, 2018, 20).

인터페이스 평가 연구에서 가장 중심이 되는 논의는 인터페이스의 사용성을 어떤 측면에서 측정할 것인지와 관련되어 있다. 이러한 사용성 평가 지표는 ISO 9241-11 등 국제 표준에 의해 정의되거나 소프트웨어 품질 평가 모형 및 사용성 평가 모형을 통해 제시되어 왔다. 하지만 일관되고 통합적인 사용성 평가 지표 모형보다는 평가 대상과 목적에 따라 다양한 평가 지표들이 활용되고 있는 실정이다(Seffah et al., 2006). 따라서 본 연구에서는 이용자 대상 웹사이트 사용성 평가 연구에서 가장 널리 활용되는 ISO 9241-11 표준을 중심으로 효과성, 효율성, 만족도 등 사용성 구성요소의 개념과 측정 지수를 살펴보았다.

ISO 9241-11:2018에 따르면 효과성은 이용자가 정확하고 완전하게 특정 목표를 달성하는 것을 의미하며 효율성은 원하는 결과를 얻는데 활용된 자원으로 정의된다. 만족도는 이용자의 요구와 기대에 부합하는 시스템, 제품, 혹은 서비스의 활용으로 인해 발생하는 신체적, 인지적, 감정적 반응의 정도를 나타낸다. 각 구성요소의 측정 지수와 관련하여 Bevan et al.(2016)은 시스템 및 소프트웨어 품질 요건에 대한 표준인 ISO/IEC 25022에서 제시한 내용을 인용하였다. 즉 효과성은 과업 완료 또는 목표 달성의 정도로 측정될 수 있으며 과업 수행 시 에러 발생도 및 심각도로도 측정될 수 있다. 효율성은 주로 과업 수행에 소요된 시간으로 측정되며 생산적인 시간 비율(productive time ratio) 혹은 과업 수행에서 오는 피로감으로도 측정 가능하다. 만족도는 이용자의 주관적인 반응이며 이용자가 느끼는 전반적인 만족도나 특정 기능에 대한 만족도 또는 불만, 이용자가 느끼는 신뢰도, 즐거움, 편안함 등을 기준으로 측정할 수 있다.

효과성, 효율성, 만족도를 중심으로 도서관 웹사이트의 사용성을 평가한 연구들은 학술 목적의 디지털도서관(Joo ＆ Lee, 2010), 의과대학도서관 모바일 웹사이트(Yeh ＆ Fontenelle, 2012), 대학도서관 네트워크 웹사이트(Ritthiron ＆ Jiamsanguanwong, 2017), 개별 대학도서관(Kous et al., 2020) 또는 다수의 대학 및 공공도서관 웹사이트(Chow, Bridges, ＆ Commander, 2014) 등 다양한 도서관 웹사이트를 대상으로 수행되었다. 공통적으로 효과성은 과업의 성공률, 효율성은 과업 수행에 걸린 시간으로 측정되었으며 만족도의 경우 전반적인 만족도 및 과업 수행에서 오는 즐거움 또는 편안함을 중심으로 측정되었다. 그 외 추가적으로 효과성을 과업 결과의 품질로 측정하거나 효율성을 중심 경로 이탈, 에러율, 정신적 노력에 기반하여 측정한 연구도 있었다(Chow, Bridges, ＆ Commander, 2014).

그러나 ISO 9241-11의 사용성 구성요소에 기반하여 기록관 웹사이트 또는 검색도구의 사용성을 평가한 연구는 매우 드문 것으로 나타났다. DeRidder, Presnell, Walker(2012)는 디지털화된 매뉴스크립트 컬렉션과 연계된 EAD (Encoded Archival Description) 검색도구의 사용성을 효과성, 효율성, 만족도를 중심으로 평가하였다. 마찬가지로 효과성은 과업의 성공률로 측정되었고, 효율성은 과업 수행에 소요된 시간 및 클릭 수로 평가되었으며 만족도는 전반적인 만족도와 긍정 및 부정적 의견의 비율로 측정되었다.

이 밖에도 기록 웹사이트 사용성 평가를 진행한 국내 연구들을 통해 기록 분야의 사용성 평가 연구 동향과 기록관특성에 따라 선정된 사용성 평가 영역을 확인하였다. 그 결과 콘텐츠와 검색은 관련 선행연구 모두에서 사용성 평가 영역으로 조사된 것으로 나타났고 그 다음으로 많은 연구에서 도움말과 지원이 평가 영역으로 제시되었다(〈표 1〉 참조). 이를 통해 기록관의 특성이 반영된 주요 평가 영역이 콘텐츠와 검색임을 알 수 있으며 기록관 웹사이트의 주요한 이용 목적이 기록 콘텐츠 활용 및 기록을 검색하는 데 있음을 확인할 수 있다.

따라서 본 연구에서는 국가기록원 웹사이트에서 검색과 콘텐츠를 제공하는 검색서비스 웹을 대상으로 사용성 평가를 진행하였으며 인터페이스 측면에서 콘텐츠 역시 키워드 검색기능과 함께 국가기록원이 제공하는 검색도구의 일환으로 보았다. 다만 인터페이스를 기준으로 사용성 평가를 실시하였으므로 콘텐츠의 질적 속성에 대한 평가는 제외하였다. 또한 도움말과 지원 기능이 다수의 연구에서 사용성 평가 영역으로 제시되었으므로 본 연구에서는 도움말의 제공여부가 사용성에 미치는 영향을 확인하였다.

휴리스틱 평가는 전문가들이 사용성 원칙을 적용하여 인터페이스에서 사용성의 문제점들을 찾아내기 위한 평가방법의 하나이다(Nielsen, 1994). 이는 소프트웨어의 사용성 문제들을 발견하는 평가 방법으로도 활용되며 소프트웨어 사용성의 국부적인 문제들을 잘 발견할 수 있는 기법으로 보기도 한다(Jeffries et al., 1991). 본 연구에서는 닐슨의 휴리스틱 10대 원칙을 기준으로 휴리스틱 평가를 위한 체크리스트를 작성하였다. 1990년대 후반에 제안된 이 원칙은 사용성 평가에 있어 웹페이지에서부터 소프트웨어, 로봇 팔, 차량 대시보드 설계 등 다양한 분야에서 가장 널리 사용되는 대표적인 원칙이다(이은경, 2008; 이응봉 외, 2002; 최찬진, 2019). 닐슨의 휴리스틱 10대 원칙은 〈표 2〉와 같다.

휴리스틱 평가를 진행하기 앞서 Aitta, Kaleva, Kortelainen(2008)의 도서관 웹 서비스에 적용하는 휴리스틱 평가 연구의 체크리스트, Elaine(1993)와 Nielsen(1994)의 휴리스틱 평가 체크리스트를 참고하여 휴리스틱 체크리스트를 개발하였다. 이와 함께 기록관 사용성 평가 연구들의 검색 관련 질문들을 닐슨의 신속성 항목과 연결시켜 신속성 항목으로 체크리스트에 추가하였다(〈표 3〉 참조). 휴리스틱 체크리스트의 각 문항에 대해 심각도를 0~3점으로 측정하였다. 전문가가 높은 심각도 점수를 제시할수록 웹의 사용성이 좋지 않음을 의미한다. 해당 체크리스트를 활용하여 사용성 평가 전문가 2인과 저자 중 1인을 포함한 총 3인이 국가기록원 기록정보서비스 웹 인터페이스의 사용성을 독립적으로 평가한 후 심각도 점수 및 의견을 종합하였다. 대상 웹페이지의 검색기능 인터페이스 뿐만 아니라, 메인 화면, 네비게이션 등 전반적인 웹 인터페이스에 대한 평가도 함께 수행하였다.

휴리스틱 체크리스트를 통해 전문가 분석을 진행한 결과는 〈그림 1〉과 같다. 휴리스틱 10대 원칙의 각 원칙별로 선정한 체크리스트 문항의 수가 다르므로 백분율로 나타내었다. 사용성 문제의 심각도가 높은 영역 순서대로 평가 항목을 나열하면 정확성, 실수방지, 심미성, 이해성, 가시성, 만족성, 일관성, 직관성, 신속성, 에러대처인 것으로 나타났다.

가장 심각도가 높은 정확성 영역에서는 어려운 기록 용어에 대한 안내에 접근하기 어렵고 명확하게 설명되어 있지 않다는 점이 지적되었다. 기록정보콘텐츠는 콘텐츠마다 단일 웹페이지로 구성되어 콘텐츠를 볼 때마다 새로운 웹페이지로 들어가야하는 등의 불필요한 과정으로 인해 정확성에서 낮게 평가되었다.

두 번째로 심각한 영역은 실수방지 영역이었다. 주제 검색에서는 일반문서류 등 메뉴를 눌렀을 때 눌렀음을 표시하는 강조가 없었으며, 기록정보콘텐츠의 경우 각각 다른 형태로 자막, 목록, 강조 표시가 디자인되어 있었다. 검색창에 영문/한글 자동 변환이나 오류입력에 대한 예방책 역시 부재하였다. 각 메뉴에 대한 설명이 연결되지 않고 별도로 존재하므로 이용자가 처음 접속 시 어려움을 겪을 수 있음을 확인하였다. 이와 더불어 심미성 영역이 세 번째로 심각도가 높았다. 목록이 윈도우의 창 아이콘과 같이 되어 있어 시각적으로나 의미적으로 확실히 구분되지 않는 것으로 평가되었다. 기록정보콘텐츠의 경우 버튼이 마치 배경의 사진과 같은 형태로 존재하였고 링크가 눈에 띄지 않게 제공되어 쉽게 알아보기 어려운 측면도 있었다.

충분한 도움말을 제공하는지에 대한 이해성이 네 번째로 심각도가 높았다. 사용지침서는 대부분 글로 설명되어 있어 이용자의 이해를 충분히 돕기에는 부족함이 있었다. 원문검색이나 상세검색시에는 네비게이션 바가 보이지 않기 때문에 이용안내 메뉴에 접근하려면 해당 검색창을 닫아야 하며 이용안내로 연결하는 링크도 없었다. 또한 일부 검색도구에 대한 사용지침이나 입력창에 예시를 이용하는 도움 설명은 존재하지 않았다. 반면 시각장애인을 대상으로 소리를 읽어주는 프로그램을 활용하기 편하도록 탭으로 모든 메뉴로 이동 및 선택이 가능하게 구성되어 있는 점은 이해성 영역에서 긍정적인 평가를 받았다.

가시성은 다섯 번째로 심각도가 높은 영역인 것으로 나타났다. 평가 결과 상세검색이나 원문검색은 현재 그 검색을진행하고 있다는 것이 표시되지 않아 가시성이 떨어졌다. 원문 이미지 뷰어의 경우 화살표가 배경색과는 다르게 표시되어 있었고, 기록정보콘텐츠는 각각 다른 디자인으로 혼란을 야기할 가능성이 높았으며 이미지와 배경이 조화롭지 않게 설계되어 있었다. 이는 여섯 번째 심각도를 보였던 만족도와도 연관이 있다. 원문검색과 상세검색 및 기록정보콘텐츠는 새 창이 열리면서 현재 어떤 검색을 이용하는지 식별이 어려웠다. 숙련된 이용자들이 활용할 수 있는 검색 옵션(교육자료, 연구자료)도 다양하게 제공되지 않았으며, 기록 분야의 지식이 없는 이용자들의 경우 웹에서 사용된 용어를 이해하기 힘들기 때문에 만족도가 낮아질 수 있다. 일곱 번째로 심각도가 높은 일관성 영역은 가시성 영역에서 지적되었던 기록정보콘텐츠의 문제점과 밀접히 관련된다. 즉 기록정보콘텐츠별로 각기 다른 디자인의 새로운 웹페이지로 구성되어 있어 일관성이 매우 부족하다는 점이 지적되었다.

여덟 번째인 직관성 영역에 있어서 우선 상세검색과 원문검색은 통합검색 옆에 작은 글씨로만 표시되어 있어서 그 입력창을 찾기가 쉽지 않았다. 기술계층별검색과 주제별검색 등도 메인페이지 가장 하단에 위치하거나 메뉴바에 숨겨져 있어서 바로 인지하기 어려웠다. 주제별검색의 경우 많은 주제들이 이미지화되어 액자식으로 나열되어 있어 원하는 주제를 바로 찾기 어려웠다. 콘텐츠 목록과 메뉴바 내의 검색 메뉴들 역시 작은 글씨로 나열되어 있어 작은 글씨 부분을 눌러야만 메뉴나 콘텐츠로 들어가기 때문에 시각적으로 불편한 디자인임을 알 수 있었다.

아홉 번째로 시스템을 유연하게 사용할 수 있는 신속성 부분에서 국가기록원 웹사이트는 다양한 검색도구들을 제공하고 있지만 옵션 정보를 설정하는 편리성이 떨어졌고, 검색어에 대한 동의어, 유의어를 선택할 수 없었다. 상세검색에서는 불리언 연산자 대신 여러 개의 검색어 입력칸이 존재하여 어디에 입력해야 하는지 신속히 파악하기 어려웠다. 또한 검색했던 조건이 표기되거나 검색창에 남아있지 않기 때문에 다시 검색하기 어렵다는 문제도 있었다. 가장 심각도가 낮은 것으로 나타난 에러대처 영역에 있어서는 전반적으로 사용성이 좋은 편이었다. 다만 에러상황 발생시 네트워크 장애로 표시되는데, 검색 내용이 없는 부분도 네트워크 장애로 발생하는 부분이 있어 개선이 필요함을 알 수 있었다.

평가 진행은 사전 설문, 오리엔테이션, 관찰 및 마우스 추적 조사와 과업별 만족도 설문, 종료의 순서로 진행되었다.조사는 1~2명씩 나누어 진행하였으며, 주변 소음이나 갑작스러운 변인들에 대응하기 위해 통제된 회의실에서 진행하였다. 연구 참여 방법에 대한 오리엔테이션을 진행하여 연구 참여자들이 이를 숙지하도록 했고 실험 중 휴대폰 사용을 제한하는 등 다른 변인들의 영향을 통제하여 연구에 참가할 수 있도록 하였다. 연구 참여자 모집에 있어 기록관리학 전공 지식 또는 웹/앱 개발 경험 유무가 사용성 평가에 영향을 미칠 것으로 판단하였다. 따라서 기록관리학 또는 웹/앱 개발 관련 지식이나 실무 경험이 없는 일반인들도 모집 대상에 포함하였다. 기록관리학 전공자 모집을 위해 기록관리학 대학원을 운영하는 서울 소재 3개 대학에 모집공고를 게시해 자원을 받았다. 또한 웹/앱 개발자를 보유한 IT회사 및 타 직종 회사 2곳에 모집공고를 게시해 웹/앱 개발자 및 일반인들을 모집하였다. 그 결과 기록관리학 전공자 6명, 웹 이해도가 높은 웹/앱 개발 3년 이상의 경력자 6명, 그리고 기록관리학 또는 웹/앱 개발 지식이나 경력이 없는 일반인 10명 등 총 22명이 연구에 참여하였다.

본 연구에서는 기록관리학 지식 유무, 웹 인터페이스에 대한 익숙도 및 도움말 제공 여부가 국가기록원 웹사이트 검색서비스 사용성에 영향을 줄 것이라고 가정하였다. 이를 확인하기 위해 참여자 배경과 도움말 제공여부, 각 검색도구별 및 검색도구 내 문항별로 사용성 지표인 효과성, 효율성, 만족도를 분석하였다. 각 분석 결과에서 전문가 분석인 휴리스틱 평가결과와 5초테스트의 메인페이지 인지율이 영향을 미치는지 함께 분석하였다. 평가 결과들은 통계 검정을 진행하였고 유의미한 결과를 표로 제시하였다. 모든 통계검정 전에는 분산의 동질성 검정을 선행하였다. 통계 검정의 경우, 등분산을 가정하는 분산의 동질성이 있는 두 집단의 평균을 비교할 때는 T-검정을 활용할 수 있으므로 이를 활용하였고, 세 개 이상의 집단을 비교할 때 ANOVA의 경우는 분산의 동질성이 확립되어야 하므로, 분산의 동질성이 성립되지 않는 세 개 이상의 집단의 평균의 차를 조사할 때 Welch 검정을 실시하였다. Welch 검정 시에 평균의 동질성 로버스트 검정 결과를 해석하며, 검정 시에 유의한 차이가 있는 경우 2집단씩 비교하는 사후분석을 통해, 집단 간에 어디에서 차이가 있는지 확인해야 한다. 통계 검정을 통해 유의확률(P) 값이 0.05보다 작을 시에 표에 제시된 평균이 통계적으로 유의미한 차이가 있다고 볼 수 있다.

본 연구에서는 여러 형태의 웹사이트 인터페이스에 친숙한 웹과 앱을 개발한 경력이 있는 개발자가 다른 참여자들보다 사용성 지표 중 효과성에서 높은 점수를 얻었으며, 모든 참여자가 검색 문항이 반복되어 익숙해질수록 혼란이 줄어들고 검색시간이 짧아진 결과를 보였다. 이 같은 결과는 인터페이스에 익숙해질수록 검색 효과성과 효율성이 높아짐을 보여주는 것이므로, 이용자에게 익숙한 인터페이스를 제공하여야 하는 근거가 된다. 따라서 이용자가 일상적인 웹에서 쓰는 익숙하고 범용적인 인터페이스와 검색 기능을 활용할 필요가 있다.

네이버, 구글 등 일반적으로 가장 많이 활용되는 검색서비스에서 검색은 하나의 키워드 입력란에서 이루어진다. 평가결과에서도 키워드를 입력하고 검색버튼을 누르기까지 다소 복잡한 상세검색이나 원문검색에 비해 메인페이지 상단의 하나의 검색어 입력란만 가진 통합검색이 압도적으로 짧은 소요시간을 보여주었다. 상업적인 검색서비스와 가장 유사한 통합검색의 경우는 그 인지율이 매우 높았으며, 효과성, 효율성, 만족도 모든 측면에서 높은 사용성을 보여주었다. 기술계층별검색이나 주제별검색, 콘텐츠의 경우에는 웹사이트상 어디에 위치했는지 참여자들이 알지 못해 해당 검색도구로 접근하는 소요시간도 오래 걸렸다. 따라서 메인페이지에 잘 보이는 곳에 이들 검색도구를 위치시키는 것이 중요하다. 또는 사용성이 뛰어난 통합검색에서 주제별, 기술계층별검색 및 기록정보콘텐츠 검색을 통합하여 제공하는 것도 좋은 방법이다.

검색결과 화면에서 검색도구의 특성이 다른데도 통합검색과 동일한 검색결과 인터페이스를 제공하는 것으로 인해 주제별검색이나 기록계층별검색에 이해도가 낮은 참여자들이 검색에 어려움을 느끼는 것을 확인하였다. 주제별검색이나 기록계층별검색의 경우 키워드로 검색할 때 입력한 주제나 계층군과 유사한 주제와 군의 모든 기록철이 나오는 기록철 탭을 따로 제공하지 않아도 될 것이다. 원문검색 결과에서 원문 탭만 존재하듯이 검색어로 입력한 주제나 군의 탭만 보여주는 것이 원하는 검색결과를 신속하고 정확하게 확인하는데 도움이 된다. 키워드로 입력한 것과 유사한 주제나 기록계층만을 보여줌으로써, 그 가운데서 선택하여 내용을 살펴보도록 유도하는 것도 하나의 방법이다. 또는 옵션으로 이를 선택할 수 있도록 함으로써 이용자들의 혼란을 막을 수 있다.

기록정보콘텐츠의 경우에는 다른 검색도구에 비해 과업 수행에 더 많은 시간이 걸린 것으로 나타났다. 콘텐츠를 주제, 시간 등으로 분류하여 액자식 브라우징 방식으로 접근하도록 하고 있는데 특별히 원하는 콘텐츠가 없는 경우 브라우징으로 흥미로운 콘텐츠를 발견하게 할 수 있지만, 예를 들어 6.25 전쟁의 기록물 등 특정한 주제의 기록을 검색하고자 하는 이용자에게는 불편한 시스템이었다. 따라서 브라우징과 더불어 콘텐츠를 키워드로 검색할 수 있는 기능을 제공하는 것이 바람직하다. 또한 통합검색에서도 특정 기록정보콘텐츠를 찾을 수 있지만 그 검색결과가 웹사이트라는 탭의 목록으로 제시되고 있었다. 참여자들도 통합검색에서 콘텐츠 검색어를 검색하여 웹페이지 탭까지 진입했지만, 웹페이지 탭에서 콘텐츠를 제공하고 있을 것이라는 유추를 하지 못하고 검색에 실패하는 것으로 나타났다. 따라서 통합검색을 통해 특정 콘텐츠 검색 시에 검색결과에 이를 인지할 수 있도록 제공하여야 한다.

이용자가 익숙한 인터페이스를 구현하는 것과 함께 일반 국민들이 국가기록원 웹페이지에 자주 방문할 수 있도록 유도하는 것이 중요하다. 사전 설문조사 결과 기록관리학 전공자를 제외하고 국가기록원 웹사이트 사용경험이 거의 없었는데, 국가기록원 정보검색 웹사이트를 더 자주 활용할 수 있도록 하는 방안이 필요하다. 그 중 하나로 SEO(search engine Optimization), 즉 검색최적화를 적용할 수 있다. 이는 검색 이용자의 의도에 맞춰 웹 페이지의 콘텐츠를 제작하고, 이 페이지가 상업적인 검색엔진에서 잘 노출되도록 웹페이지의 태그와 링크 구조를 개선하여 자연 유입 트래픽을 높이는 방법이다. 인터페이스 디자인이 매우 고전적이거나 최신 HTML표준을 사용하지 않으면 검색엔진들에서 상위 노출이 되기 어렵다. 현재 국가기록원 웹은 최신표준인 HTML5만이 가지는 〈! DOCTYPE html〉 태그가 없으므로 HTML5를 사용하고 있지 않다. 검색최적화를 위해 검색엔진에서 요구하는 웹 가이드라인과 HTML5와 같은 최신표준을 지키기 위한 노력이 필요하다.

본 연구에서는 이용자의 배경요인보다는 도움말이 웹 사용성을 높이는데 더 큰 효과가 있다는 것이 제시되었다. 개발자는 비개발자들에 비해 더 효과적으로 검색을 수행하였지만 검색 소요시간으로 측정된 효율성에 있어서는 유의미한 차이가 없었다. 기록관리학 전공자 역시 효과성과 효율성 측면 모두에서 비전공자와 검색결과에서 차이가 없었으며, 기록정보콘텐츠 영역에서만 콘텐츠에 대한 이해도가 높아 검색성공률이 높았다. 반면 도움말 제공은 검색성공률 및 만족도에 모두 긍정적인 영향을 주는 것으로 나타나 효과성과 만족도 측면에서 모두 유익하였다. 따라서 도움말에 잘 접근할 수 있는 인터페이스를 제공하는 것이 중요하다. 특히 기록관리학 전공자에 비해 비전공자는 기록 용어나 기록의 계층, 기록에서 제공하는 주제 및 콘텐츠에 대한 이해가 부족하다. 다양한 웹사이트 인터페이스에 친숙한 개발자들의 경우 도움말 제공 여부에 따른 결과 차이가 없었는데, 이는 국가기록원 검색도구 도움말이 검색하는 방법에만 집중되어 있기 때문이다. 웹 검색에 대한 이해도가 높은 집단에게는 생소한 기록용어나 개념에 대한 도움이 필요한데 이에 대한 적절한 도움을 얻지 못했다. 국가기록원 웹사이트에 용어를 설명하는 안내페이지가 따로 있지만 검색도구 이용방법에서는 기본적인 용어나 개념에 대한 설명이 제공되지 않았고, 용어 설명페이지로 연결되는 링크도 없었다. 또한 다수의 참여자들이 주제별검색이나 기록정보콘텐츠 영역에서 해당 주제나 콘텐츠 관련 기록 목록이 제공된다는 것을 예상하지 못하는 것으로 나타났다. 그러므로 기록정보콘텐츠 등 생소한 개념과 용어에 대한 설명을 그러한 용어와 관련되는 검색도구에서 바로 확인할 수 있도록 인터페이스를 구성할 필요가 있다.

특히 모든 결과에서 철, 건, 권 등의 기록용어들이 나오는데, 일반인들은 철, 건, 권의 개념을 알지 못하기 때문에, 과업을 진행하는 동안 그 개념에 대해 질문한 참여자가 많았다. 따라서 계층별 검색화면이나 검색결과 인터페이스에서 철과 건 등에 대한 설명을 바로 제공하는 것이 좋다. 계층이나 용어의 설명에 있어서 시각적으로 단순한 도형 등 활용하여 직관적으로 개념을 쉽게 이해할 수 있도록 설계된 인터페이스도 제공될 필요가 있다. 웹 인터페이스 구성 요소인 툴팁(ToolTip)을 활용하여도 좋다. 툴팁은 도구를 설명하는 것으로 사용자가 마우스로 요소를 가리키거나 탭을 누를 때 정보 텍스트를 표시하는 것이다. 검색화면 또는 검색결과 화면에서 생소하고 어려운 기록 용어의 경우 마우스를 위치시키면 툴팁(Tooltip)으로 설명을 표시해주는 인터페이스를 구성하면 이용자들의 이해를 도울 수 있다.

원문검색과 기록정보콘텐츠의 경우 이용안내가 존재하지 않아서 참여자들은 그 개념과 이용방법을 인지하는데 어려움을 겪었다. 특히 기록정보콘텐츠의 경우에는 성공률도 낮고 소요시간도 오래 걸렸는데 전체 콘텐츠 목록이 어디에 존재하는지 그 목록을 찾는 데에도 시간이 오래 걸렸으며, 콘텐츠 목록에 접근하였더라도 작은 글씨로 된 텍스트로만 나열되어 있어서 원하는 콘텐츠를 찾기 어려웠다. 이용안내가 부재한 검색도구들에 대한 이용안내를 구축하고 이에 대한 링크를 제공하도록 인터페이스를 구성하는 것이 필요하며 동영상 등 이용자들에게 친숙한 방식으로 상세한 이용교육 및 안내를 제공하는 것도 고려해볼 수 있다.

국가기록원 기록정보콘텐츠에 대한 연구를 수행한 신주희(2018)의 연구에서는 서비스 품질에서 이용자 인터페이스가 가장 낮은 점수를 보였으며 특히 기록정보콘텐츠 인터페이스의 일관성이 매우 부족하다는 결과가 제시되었다. 마찬가지로 온라인 검색가이드를 조사한 설문원(2015)의 연구에서도 국가기록원의 각 콘텐츠가 매우 다양한 형식으로 개발되어 있고 각기 다른 외부기관에서 이를 개발한 경우가 많아 인터페이스, 구성 항목, 디자인이 모두 다르다는 점을 지적하였다.

본 연구에서도 기록정보콘텐츠가 통일적인 웹 인터페이스 제공에 있어 가장 심각한 문제를 보이는 것으로 나타났다. 기록정보콘텐츠의 경우 각각의 콘텐츠가 다양한 목적을 가지고 있다는 점을 고려해도 디자인과 내용 요소들이 너무 다양해서 혼란스러웠다. 콘텐츠마다 각기 다른 디자인의 웹페이지가 열리기 때문에 참여자들은 국가기록원과 관련 없는 웹페이지라고 생각하고 그 내부에서 기록이 제공될 것이라고 예상하지 못한 경우가 대부분이었다. 다수의 참여자들이 콘텐츠를 열었다가 다른 웹페이지로 연결되자 이를 닫고 다시 찾아서 열기를 반복하였다는 것을 히트맵에서 확인할 수 있었다. 따라서 기록정보콘텐츠의 사용성을 높이기 위해서는 과거에 만들어 놓은 제각각의 콘텐츠 웹사이트들을 콘텐츠 목록에 글이나 그림 링크로 나열하는 것에서 그쳐서는 안 되며 국가기록원 기록정보서비스 메인 웹사이트의 디자인과 일관성 있게 연계되도록 하는 노력이 필요하다.

기록정보콘텐츠 검색에서 실패율이 높은 또 다른 경우로 서고정보를 찾는 검색 문항에서 서고정보라는 용어 대신 소장처나 소장기관 등 다른 용어를 사용하거나 서고정보가 아예 없어서 참여자들이 정답을 제시하지 못한 사례를 들 수 있다. 기록관리학 전공자가 아닌 이용자들에게 서고정보 등의 용어들도 소장처, 소장기관 다른 용어를 사용하면 혼란을 줄 수 있으므로 동일한 용어를 사용할 필요가 있다. 또한 주제별검색에서 키워드로 검색하는 기능이 다른 검색도구에서 키워드검색으로 표시된 것과는 다르게 주제별 주제검색으로 표시되어 있어서 참여자들이 이를 키워드 입력창으로 인식하지 못하는 것으로 나타났다. 이 역시 전문가 분석에서 지적된 일관성이 부족한 부분이므로 검색도구 간 사용되는 용어를 통일할 필요가 있다. 키워드검색이라는 용어를 동일하게 활용하여 주제별검색에서도 특정 주제를 찾을 때는 키워드를 입력할 수 있음을 이용자들이 인식할 수 있어야 한다.