기록을 생산하고 수집하고 관리하는 궁극적인 목적은 기록의 안전한 보존과 효율적 활용을 위한 것으로, 이는 ⌜공공기록물 관리에 관한 법률⌟ 제1조에 명시되어 있다. 또한, 동법 제38조의2(영구기록물관리기관 보존기록물의 활용)에서 “영구기록물관리기관의 장은 그 기관이 보존하고 있는 기록물의 공개 및 열람 편의를 제공하기 위하여 기록물을 정리(整理)·기술(記述)·편찬하고, 콘텐츠를 구축하는 등의 사업을 추진하여야 한다”고 정하고 있다. ⌜공공기관의 정보공개에 관한 법률⌟ 제6조(공공기관의 의무)에서도 “공공기관은 정보의 적절한 보존 및 신속한 검색과 국민에게 유용한 정보의 분석 및 공개 등이 이루어지도록 정보관리체계를 정비하고, 정보공개 업무를 주관하는 부서 및 담당하는 인력을 적정하게 두어야 하며, 정보통신망을 활용한 정보공개시스템 등을 구축하도록 노력하여야 한다”고 정하고 있다. 이처럼 공공기관은 기록물을 체계적으로 관리할 뿐만 아니라 기록의 활용과 기록정보서비스 제공을 위해 힘써야 함을 확인할 수 있다.

국가기록원은 공공기록물의 효율적인 수집·보존·평가 및 활용에 관한 업무를 총괄하고 관장하는 우리나라 대표 영구기록물관리기관이다. 현재 국가기록원은 성남 나라기록관을 포함한 서울, 대전, 부산, 광주 5개소에 각각 기록정보센터를 운영하고 있으며 이 기록정보센터들을 활용해 기록의 열람과 제공을 추진하고 있다. 이중 나라기록관의 국가기록정보센터가 기록정보센터들의 기록열람서비스를 총괄하고 있어 일반 이용자들은 중앙기록물관리시스템(Central Archives Management System, 이하 CAMS)과 연계된 국가기록포털(https://www.archives.go.kr/)을 통해 통합검색서비스를 이용할 수 있다(설문원, 2022). 그러나 2013년 국가기록포털 검색시스템이 통합 개편된 이후(국가기록원, 2014) 개선이 되지 않아 노후화되면서 여러 가지 문제점이 발생하고 있다. 이에 더해 국가기록포털 이용자들의 검색 만족도 역시 충족시키지 못하고 있다는 의견이 수렴되고 있다(장희정, 2012; 이효진, 김지현 2021).

특히 4차 산업혁명 시대를 맞아 원천 데이터의 가치와 중요성이 오르고 있어 원천 데이터로 사용할 수 있는 전자기록물에 대한 사회적 요구와 중요성이 증가하고 있다(노명환, 2020). 또한, 경제적인 측면에서도 국가기록원이 보유한 전자기록물의 생산 및 이관, 관리 비용 절감을 위해 효율적인 색인 설계 및 자료 검색이 필요하다. 이러한 사회적 요구에 대응하여 신속하고 정확한 기록정보서비스를 제공하기 위해서는 국가기록원의 검색시스템에 대한 개선이 무엇보다도 시급하며, 이를 위해서는 현재의 기록검색 서비스 품질을 점검하여 현황을 파악해야 한다.

본 논문은 상기한 요구, 즉 ‘국가기록물 검색 고도화’라는 궁극의 목표를 달성하기 위한 사전 연구로, 현재 국가기록원에서 일반 이용자들을 대상으로 제공하고 있는 국가기록포털의 검색 품질을 측정하고자 한다. 이를 위해 먼저 국가기록물 검색시스템의 현황을 분석하고 각 도구별 검색 결과를 평가하고자 한다. 특히, 검색 품질은 실제로 기록물 검색시스템을 이용하는 이용자 관점에 초점을 맞춰 이용자가 원하는 기록을 얼마나 잘 찾았는지를 나타내는 정확성과 효율성을 측정하는 평가셋에 기반해 연구를 진행하였다. 연구방법은 먼저 2장에서 국가기록원이 운영하고 있는 검색시스템인 CAMS와 국가기록포털의 현황 분석을 통해 각 시스템별 특징 및 제공하는 검색도구를 비교하여 차이점을 규명하고 문제점을 파악하였다. 3장에서는 시스템 이용자 관점에서 시스템을 평가하기 위한 평가셋의 구성요소와 실제 구축 과정을 기술하고, 4장에서 다양한 검색 품질 평가척도에 의한 측정 결과를 제시한다. 마지막으로 평가셋 구축 과정 및 품질 평가 과정을 통해 도출된 이슈와 개선방안을 논의하는 것으로 결론을 맺는다.

검색 품질 측정과 관련된 연구는 검색 속도나 정확률, 재현율 등 시스템의 검색 성능을 평가셋에 기반하여 비교·분석하거나, 이용자 집단에게 검색 테스트를 수행시키고 설문조사나 인터뷰 등을 통해 사용성과 만족도를 평가하고 있었다. 검색시스템의 정확도와 만족도를 평가한 연구를 살펴보면 다음과 같다. 김현희(2007)는 FRBR 모형 기반 서지검색시스템의 검색 효율성을 평가하기 위해서 두 개의 실험 시스템을 구축하였고, 이 두 시스템을 재현율, 정확률 및 검색 시간을 측정 기준으로 하여 비교하였다. 박소연, 이준호(2008)는 국내 주요 검색 포털들의 통합검색 시스템을 중심으로 이용자들의 입력한 질의어와 실제 조회한 문서를 기록한 클릭 로그를 참고하여 평가셋을 구축, 검색 결과의 적합도 측면에서 분석하였다. 박민수와 현미환(2011)은 국가과학기술정보시스템을 대상으로 이용자 사용성 평가를 통해 시스템 개선사항을 도출하였다. 사용성 평가는 16명의 이용자를 대상으로 태스크 수행과 사후 인터뷰를 통해 진행하였다. 장인호(2011)는 온톨로지 기반 법률 검색시스템을 구축하고 기존의 키워드 기반 법률 검색시스템과 비교하여 검색 소요 시간과 검색 적합성을 중심으로 검색 성능을 평가하였다.

사용성 관점에서 기록관 시스템의 만족도에 초점을 맞춘 연구는 다음과 같다. 박민수, 서은경(2012)은 표준 기록관리시스템(Records Management system, 이하 RMS)에 대한 전반적인 진단이 필요하다고 보고 기록관리시스템을 사용하는 기록관리 전문요원을 대상으로 기능성과 인터페이스에 대한 만족도를 평가하였다. 이경남(2013)은 공공기관에서 RMS를 사용하고 있는 기록관리 전문요원을 대상으로 설문조사를 실시해 검색 기능 활용 현황 분석 및 기능 평가를 수행하였다. 이윤령과 이해영(2014)은 국가기록원을 중심으로 호주, 영국, 미국의 국립기록관에서 제공하는 온라인 검색도구 현황을 분석하고, 실제 이용자들을 선정하여 포커스 그룹 인터뷰를 통한 사용성 평가를 수행해 개선점을 도출하였다. 이효진과 김지현(2021)은 전문가 평가와 다양한 그룹의 이용자를 대상으로 사용성 평가를 수행해 ISO 9241-11:2018에서 제시하는 효과성, 효율성, 만족도를 중심으로 국가기록포털 검색시스템을 분석하고 개선방안을 제시하였다.

본 연구는 국가기록포털의 검색 서비스 품질을 측정하기 위해 규격화된 평가셋을 구축하고, 다양한 검색 평가지표에 의한 평가결과를 수치화한 최초의 연구이다. 특히, 일반 이용자의 특성을 반영한 질의셋을 구성하고, 이용자 관점에서 검색 결과로 실제 제시되는 포털 페이지를 기반으로 검색 성능을 측정하였다는 점에 연구 의의를 둔다. 본 연구를 통해 구축된 평가셋을 활용해 향후 다양한 방법론이 적용된 검색시스템의 고도화 이후 얼마나 개선되었는지를 객관적으로 측정할 수 있는 기틀로 활용되길 고대한다

현재 국가기록포털에서는 기록물 유형을 <표 1>과 같이 기록물의 형태와 내부 기준에 의한 구분으로 구별하고 있다. 기록물 형태는 말 그대로 기록물의 형태에 따라 구별되며, 다음과 같이 1) 일반문서, 2) 사진·필름류, 3) 녹음·동영상류, 4) 도면, 5) 카드류, 6) 국무회의록, 7) 정부간행물, 8) 일반도서, 9) 총독부간행물 나뉜다. 기록물 구분은 기록물의 출처나 내용에 따라 의미 있는 단위로 구별해 놓은 것으로, 1) 일반기록물, 2) 역사기록, 3) 총독부기록, 4) 해외기록, 5) 민간기록, 6) 시청각기록, 7) 간행물, 8) 일반도서, 9) 행정박물로 총 9가지로 분류되어 있다. 국가기록원에서 제공하고 있는 검색서비스 역시 이러한 구분에 의한 유형별 검색도구를 ‘상세검색’ 기능을 통해 제공하고 있으나, 일반 이용자가 이를 활용하기에는 너무 복잡하고 세부 구분 기준에 대한 설명이 부족해 잘 활용되고 있지 않다. 기록물 유형별 검색도구의 품질을 평가하기 위해 평가셋 구축 시 <표 1>의 기준에 의한 기록물 유형별 질의어를 후보로 선정하였다.

CAMS는 중앙기록물관리기관인 국가기록원에서 영구기록물 관리를 전자적으로 수행하는 시스템으로 기록물 유형과 관계없이 전자·비전자 기록물에 대한 통합적인 업무수행과 안전한 보존·관리, 기록정보의 대국민 서비스를 지원하기 위한 국가기록물 관리시스템이다(국가기록원, 2015). CAMS는 기술과 기술분류, 시소러스, 생산기관 변천정보 등 보존기록의 활용을 위한 영구기록물의 기능을 반영하고 있어 CAMS를 이용하는 업무 담당자와 CAMS와 연계된 국가기록포털을 이용하는 이용자들은 여러 가지 방법으로 국가기록원에서 제공하는 기록물을 검색할 수 있다(김장환, 이은별, 2015). CAMS에서 제공되는 검색도구는 <그림 1>과 같이 ‘기록물철상세검색’, ‘기록물건상세검색’, ‘신통합검색’으로 구분되며, 이 중 ‘기록물철/건상세검색’은 CAMS의 기록물 철/건 목록 DB를 탐색하는 방식으로 검색엔진을 사용하지 않는다. 반면 ‘신통합검색’은 A사의 검색엔진을 도입한 검색 기능으로, 세부적으로 ‘철/건통합검색’, ‘철검색’, ‘건검색’으로 나뉜다.

국가기록포털의 검색도구는 <그림 2>와 같이 ‘통합검색’, ‘상세검색’, ‘원문검색’, ‘기술계층별검색’, ‘국정분야주제별검색’이 있으며 B사의 검색 엔진을 사용 중인 것으로 파악되었다. 이중 키워드 즉 질의어 기반 검색을 제공하는 ‘통합검색’, ‘상세검색’, ‘원문검색’, ‘기술계층별검색’과 ‘국정분야주제별검색’의 세부항목에 있는 ‘주제별상세검색’을 대상으로 현황 분석을 진행하였다.

‘통합검색’, ‘상세검색’, ‘원문검색’은 국가기록원이 보유하고 있는 공공기관이 생산한 30년 이상의 보존 기간을 가지는 중요기록물과 해외에서 수집한 한국 관련 기록물, 민간 소장자에게서 수집하거나 기증받은 기록물, 정부간행물 등 공개 기록물을 대상으로 한 검색서비스로 국가기록원 DB의 기록물에 관해서 검색할 수 있다(박상현, 김희섭, 2014). ‘기술계층별검색’은 기록물의 생산맥락에 근거하여 기록물의 집합을 계층으로 나누어 디렉토리 형태로 제공함으로써 전체적으로 기록물의 구조와 내용을 조망해 볼 수 있는 검색이다. 마지막으로 ‘주제별상세검색’은 주요 정책·제도, 국책사업 등 국정분야별로 주제를 선정·구조화하고, 주제별 주요 내용과 관련 기록물 및 목록을 연계하여 제공하고 있다.

국가기록원에서 운영하는 두 검색시스템의 문제점은 다음과 같다. 첫째, CAMS와 국가기록포털에서 사용하는 검색엔진 및 서비스 방식이 다르다. CAMS는 A사의 검색엔진을 사용하고 있으며, 국가기록포털은 B사의 검색엔진을 사용하고 있어 지원되는 검색 기능과 활용하는 서비스 방식에서 차이를 가진다. 그러나 사용하는 검색엔진이 다르더라도 서비스 방식을 통일시키는 것으로 상이한 검색 결과가 나타나는 문제를 최소화할 수 있을 것으로 보인다.

둘째, 국가기록포털의 검색서비스는 2013년에 개편된 후 거의 10년이 되었으나 유지보수만 계속되고 있어(국가기록원, 2014), 질의 오류에 대한 적극적인 대처가 부족하며 지원되는 검색 편의 기능이 적어 검색 결과에 대한 이용자 만족도가 낮은 상황이다. 특히 10년이란 기간 내 지속된 유지보수 상황이 그때그때 돌출된 문제 해결을 위한 임시방편적인 대응만 있었을 뿐, 그에 대한 총괄적인 수정 내역이나 과정에 대한 이해가 매우 낮은 상황이다.

셋째, 검색 대상이 되는 CAMS 내 원천 데이터의 품질이 낮다. ‘2021년 국가기록원 주요통계연보’에 따르면 2021년 12월 31일 기준 국가기록원의 CAMS는 114,777,646건의 자료를 소장하고 있다. 그러나 중요 필드가 비어있거나 오류 값이 포함되는 등, 데이터의 품질 미비로 인해 국가기록원 검색시스템으로 기록물을 검색할 때 일부 기록물만 검색되거나 검색이 아예 되지 않을 뿐 아니라, 검색 결과 역시 오류를 내포하고 있는 경우가 다수 있다.

마지막으로 검색 결과에 대한 정확도 및 재현율 등 검색서비스 자체에 대한 품질이 낮다. 국가기록원 검색시스템은 복잡한 검색도구로 인해 검색 속도저하 및 서버 부하 문제가 발생하며, 검색도구 간의 연계성이 떨어져 원하는 정보를 찾기 위해 많은 노력과 시간이 소모되고, 소장기록물에 대한 접근성 및 활용성이 떨어진다. 이처럼 국가기록원의 검색시스템은 이용자가 원하는 기록을 찾기 어려운 구조로 되어있어 이용자 서비스에 불편을 초래하며(김지현, 2012), 기록관리 업무에도 많은 비용을 발생시키고 있다. 본 연구는 이러한 문제점을 내포하고 있는 국가기록포털의 현 상태의 품질을 객관적으로 평가하고 수치화하는데 주목적이 있다.

검색서비스의 품질, 특히 검색 성능을 평가하기 위해서는 이용자의 요구가 반영된 평가셋 구축이 선행되어야 한다. 본 장에서는 일반 이용자 관점에서 현행 국가기록물 검색도구의 검색 성능에 대한 정량적·정성적 평가를 할 수 있는 평가셋 구축 과정에 대해 기술하고자 한다. 검색 품질 점검을 위한 평가셋은 문서집합, 질의셋, 정답셋으로 구성된다. 이중 문서집합은 2021년 12월 기준 국가기록원에서 관리하고 있는 기록물 114,777,646건(국가기록원, 2021)을 대상으로 삼는다.

질의셋은 이용자들의 정보요구를 표현한 것이다. 박미성(2009)은 질의셋을 구축할 때의 고려사항으로 첫째, 질의어는 반드시 문서집합의 주제를 포함해야 한다. 둘째, 질의어는 실제 정보요구를 정확하게 반영해야 한다. 마지막으로 질의어가 다양한 주제를 다루되 너무 광범위하거나 너무 좁은 개념이어서는 안 된다고 제시하고 있다. 이를 고려하여 본 연구에서는 최근 3년(2019년~2021년)간 국가기록포털에서 자주 입력된 상위 300개의 질의어를 대상으로, 고빈도 질의, 기록물 유형에 따른 질의, 생산기관 특화 질의 등, 다양한 관점에서 검색 성능평가를 위한 질의셋 후보를 선정하였다.

정답셋은 선정한 질의셋을 통해 국가기록물 검색도구를 대상으로 수작업 검색을 수행한 후 검색목적, 즉 해당 질의의 정보요구에 부합하는 기록물인지를 확인해 적합 문서를 정답문서로 수집한다. 그러나 현재 국가기록물을 검색하기 위한 도구는 2장에서 언급한 대로 CAMS와 국가기록포털로 나뉘어 있으며 서로 다른 검색엔진을 사용하고 있어, 그 결과 또한 상이하다. 이에 포괄적인 정답셋 구축을 위하여 먼저 CAMS 검색 결과로부터 적합도 평가를 통해 정답셋을 구축한 뒤, 국가기록포털에서 동일한 방식으로 적합도 평가를 수행해 CAMS에서 구축한 정답셋을 기반으로 평가셋을 확장하였다.

평가셋 구축에는 총 5명의 작업자가 참여하였다. 1명은 기록관리 박사과정으로 전문가 관점으로 참여, 2명은 기록관리에 대한 배경지식이 있는 이용자 관점으로, 나머지 2명은 기록물에 관한 지식이 없는 일반 이용자 관점을 대변하도록 구성하였다. 특히 질의셋 구축 및 정답 평가 시 질의어를 통해 찾고자하는 검색 목적을 구체화 하는 작업을 수행하였다. 질의별 검색목적 선정은 5명의 작업자가 모두 검색목적을 선정한 후 교차검증을 하였고, 적합도 평가는 전문가 및 일반인 그룹으로 나누어 두 그룹의 작업자가 평가 후 검증하는 방식으로 수행하였다.

질의셋 선정에 앞서 최근 3년간 국가기록포털의 이용자 질의로그를 분석한 결과, 이용자들이 실제로 포털 검색창에 입력한 질의어 대부분이 1~2단어로 구성되어 있어 이용자들의 정보요구를 명확히 나타내지 못하고 있었다. 또한, 동영상이나 지도 등 특정 유형의 기록물을 원하는 질의임에도 이에 대한 검색도구의 활용에는 별 차이가 없음을 파악하였다. 또한, 없어지거나 새로 신설된 정부기관에 대한 질의도 상당 부분을 차지하고 있었다. 이 같은 특성을 반영하고 질의어 후보에 대한 검색목적을 구체화하기 위해 해당 질의어를 대상으로 이용자가 찾고자 하는 문서가 무엇일지, 어떤 기록이 검색 요구를 만족시킬 수 있는 정답일지 등을 다수의 작업자에게 임의로 설정하도록 하고, 이를 교차검증하여 일반인의 관점에서 대표적인 검색목적 상황을 선정하였다. 또한, 기록물 유형과 생산기관에 따른 정보요구를 특화하여 문서집합의 특성에 따른 질의어를 포함하였다. 기록물 유형 선정 기준은 <표 1>에 의거, 국가기록포털의 ‘상세검색’에서 표시되는 기록물형태 항목 9종과 기록물구분 항목 9종을 참조하여 정의하였다. 생산기관 관련 질의는 생산기관변천정보와 기술계열서를 참조하여 선정하였다.

<표 2>는 앞서 설계한 방법을 통해 선정된 질의어 선정 결과이다. 이용자가 실제로 자주 사용하는 질의어와 그 질의어를 통해 찾고자 하는 문서가 무엇인지 검색목적을 설정, 최종 결과는 국가기록원과 협의하여 선정하였다. QL-001부터 QL-021은 고빈도 질의어로 이용자들이 국가기록포털에서 실제로 검색한 질의어로 2019년에서 2021년까지 검색 빈도가 높은 상위 300개 단어 중에서 선정하였다. QL-022부터 QL-049까지는 기록물 유형에 따른 질의어로 해당 기록물 유형을 포함하는 기록물을 검색할 수 있는 질의어 중에서 후보를 선정하였다. QL-050은 생산기관 검색을 위한 질의어로 생산기관 변천 및 기술계열서에 특화된 검색어이다. 최종적으로 선정된 평가셋용 질의어는 고빈도 질의 21건, 기록물 유형별 질의 28건, 생산기관 관련 질의 1건으로 총 50건으로, 구체적인 질의어 내용은 <표 3>에 예시하였다.

국가기록포털의 검색 성능평가는 다음과 같은 방법으로 진행하였다. 먼저 구축된 평가셋을 기반으로 국가기록포털의 ‘건’ 기록물 검색 결과의 품질을 점검하였다. 기록물 ‘건’을 대상으로 평가한 이유는 일반 이용자가 기록의 계층에 대한 이해도가 낮고 국가기록포털의 검색도구에 대한 적절한 설명이 미흡하기 때문으로(이효진, 김지현, 2021), 본 연구에서는 일반 이용자가 국가기록포털에서 기록물을 탐색할 때, 익숙하지 않은 개념인 주제나 군, 철보다 검색 시 가장 먼저 제시되는 화면인 건기록물 검색 결과에서 검색목적에 부합하는 기록물을 찾을 것이라 가정하였다. 평가를 진행한 검색도구는 건기록물 검색을 제공하지 않는 ‘기술계층별검색’을 제외하고 ‘통합검색’, ‘상세검색’, ‘원문검색’, ‘주제별상세검색’을 대상으로 선정하였다.

평가는 평가자들이 평가셋에 포함된 질의어를 입력하여 검색을 실행하고, 검색 결과 화면에 출력된 상위 30개의 결과, 즉 세 번째 페이지까지를 대상으로 기록물관리번호와 기록물 제목을 확인한다. 이를 사전에 구축한 정답셋의 기록물관리번호와 제목과의 대조를 통해 기록물의 적합성 여부를 평가하였다. 이때 1차 검색 결과에서 적합문서가 검색되지 않거나 가장 처음 검색된 적합문서가 하위에 위치할 경우, 질의셋에 명기된 추가 질의어를 참조해 검색목적에 맞는 질의어 확장이나 결과 내 재검색을 통해 2차, 3차 평가를 실시하였다. 평가 대상 결과를 상위 30개로 한정한 이유는 일반적으로 이용자가 필요한 정보를 찾을 때, 검색 결과에서 상위 세 번째 페이지까지를 확인하는 경향이 있기 때문이다(이상진, 정재승, 2011).

이후, 검색 품질 테스트 결과를 바탕으로 다양한 평가지표를 활용하여 현행 국가기록포털의 검색 성능을 분석하였다. 본 연구는 개별질의에 대해서는 일반적으로 검색시스템 성능 평가척도로 가장 많이 사용되는 정확률(Precision)과 재현율(Recall), MRR(Mean Reciprocal Rank)을 사용하였다(이병길, 김희섭, 2013; Voorhees, 1999). 전반적인 검색 품질에 대한 종합적인 평가지표로는 개별질의에 대한 최종 정확률과 재현율은 각각 Macro 평균과 Micro 평균을 사용하여 50개의 질의어에 대한 검색도구별 정확률, 재현율의 평균을 산출하고 이 둘의 통합지표인 F-score를 측정, 그 결과를 분석하였다(Sebastiani, 2002).

본 연구는 국가기록포털에서 제공하고 있는 검색도구의 품질을 측정한 연구로, 규격화된 평가셋에 기반해 다양한 평가척도를 통해 정량적인 수치로 검색 성능을 평가하였다. 그러나 그 과정에서 다음과 같은 한계점이 도출되었다. 첫째, 질의어 선정 과정에서 이용자의 의견이 완전히 반영되었다고 말할 수는 없다. 비록 국가기록포털을 통해 수집된 이용자 질의로그에 기반해 고빈도 질의어를 선별하였으나, 해당 질의어는 1~2단어로 구성되어 있어 검색목표가 불분명해 검색 품질 평가를 위해서는 구체적인 정보요구 설정이 필요하였다. 이를 위해 이용자 집단을 선정하여 설문조사를 하는 등의 직접적인 의견 청취 과정과 공통의 정보요구에 대한 수렴이 요구되었으나 현실적으로 수행하기 어려워 다수의 작업자가 교차검증을 통해 일반적이고 보편적인 수준의 시나리오를 수집하였다.

정답셋 역시, 국가기록원이 보존하고 있는 기록물 전체를 대상으로 정답을 수집하진 못했다. 1억 건이 넘는 모든 국가기록물 목록을 검토하고 원문을 열람해서 후보 정답을 추출하는 것은 현실적으로 불가능하기 때문에 국가기록원 내부 직원들이 활용하고 있는 CAMS 검색도구를 활용해 기초 정답 후보를 선별하였으며, 도구별로 상위 5개까지 수집하였다. 따라서 5위 이후에 나타난 정답이거나 애초에 CAMS 검색도구의 오류로 인해 찾아지지 않은 숨어있는 기록의 경우에는 정답셋에 반영되지 못했다.

셋째, 품질 점검이 국가기록포털의 검색 결과에 국한되어 진행되었다. 검색 품질은 검색시스템의 색인 정책과 검색 결과를 제시하는 순위화, 즉 랭킹 정책에 따라 좌우된다. 그러나 국가기록물 검색시스템 내부의 정확한 랭킹 알고리즘을 알 수가 없어 검색 결과로 제시된 화면만으로 평가를 진행하였다. 또한, 검색 성능 채점의 경우에도 검색 결과 전체가 아닌 이용자의 일반적인 검색 행위 패턴을 고려해 상위 30위까지로 한정하여 평가한 점이 한계로 여겨진다.