국가기록원의 기록관리 평가는 1999년 제정된 ｢공공기록물법｣에 근거하여 2000년부터 공공기관을 대상으로 기록물 관리에 대한 실태점검을 실시하는 것에서 시작되었다. 2007년 법률 개정으로 기관평가 결과의 국무회의 보고에 대한 근거가 마련되면서 시범평가가 시행되었고, 2008년부터 본격적인 기록관리 평가가 시행되었다. 현재 국가기록원의 기록관리 평가는 주기적인 평가⋅진단으로 공공기관의 기록관리 역량강화 및 개선유도를 목적으로 ｢공공기록물법｣ 제9조 및 같은 법 시행령 제63조를 근거로 국가기록원에서 연 1회 전년도 기록관리 실적에 대해 실시하고 있다. 평가 대상 기관은 점진적으로 확대되어 2020년도에는 중앙행정기관, 특별지방행정기관, 시⋅도교육청, 교육지원청, 정부산하공공기관, 국⋅공립대학 468개 기관에 대해 실시하였다(국가기록원, 2021).

평가 지표는 100점을 기준으로 정량지표와 정성지표로 이루어지며, 매년 세부 평가 지표에는 변동이 있으나, ‘기본계획수립’, ‘시설 및 장비구축’, ‘전담인력’, ‘이관’, ‘기록물 평가⋅폐기’, ‘정보서비스’ 항목에 대한 지표로 구성된다. 평가방법은 먼저 피평가기관에서 전년도 업무에 대해 기록관리 자체평가를 진행한 후에 그 결과와 실적을 기록관리평가시스템(RMES: Records Management Evaluation System)으로 제출한다. 이후 국가기록원에서 제출된 자체평가표 및 기록관리 실적 등을 확인 및 평가하고, 결과에 따른 피평가기관의 이의신청 및 조정회의가 진행된다. 평가 점수에 따라 피평가기관은 ‘가’ 등급에서 ‘마’ 등급까지 구분되며, 평가 결과는 국가기록원 홈페이지를 통해 공표된다. 결과에 따라 우수기관에는 포상이 주어지고 미흡기관에는 컨설팅 등의 후속조치가 이루어진다.

국가기록원의 기록관리평가 지표 23개 중 공공기록 관리업무에만 국한된 ‘이관’, ‘기록관리기준표’, ‘비공개기록물 관리’를 제외한 12개의 평가지표를 주제기록관 평가 지표의 설계에 반영할 수 있다. 이 12개의 지표를 유사한 성격을 띠는 것들끼리 그룹핑해보면, ‘운영계획수립(기록관리 기본계획 수립, 기록관리 관련 규정 제⋅개정)’, ‘시설 및 장비(기록관리 시설⋅장비 구축 및 서고면적 확보)’, ‘인력(전담조직 및 인력 배치, 기록물관리전문요원 업무분장의 적절성, 기록관리 교육 실시 및 이수, 기록관리 추진의지 및 조직문화 개선)’, ‘기록관리 업무(기록관리지도⋅감독 및 후속조치 실시, 기록관 비전자기록물 정수점검 실시, 기록물 재난대책 시행, 기록물 평가 및 폐기 절차 준수, 기록관 서비스 모델 개발)’ 등으로 정리해 볼 수 있다.

미국의 Records Management Self-Assessment(이하, RMSA)는 연방 기관이 법령 및 규제 기록관리 요건을 준수하는지 점검하기 위해 2009년부터 미국 국가기록원(NARA, National Archives and Records Administration)에서 시행하는 온라인 자체평가 도구이다(NARA, 2021). 평가 대상 기관의 기록관리 담당자가 매년 직접 평가를 수행하고 결과를 NARA에 제출한다. 평가는 온라인으로 수행되며, 각 질문에 대해 객관식으로 ‘예’, ‘아니오’ 혹은 ‘해당되지 않음’ 등의 답변을 하도록 구성되어 있다. 평가 점수에 따라 각 기관의 기록관리 수준을 저위험, 중간위험, 고위험으로 나누고 고위험에 속하는 기관에 대한 지원을 제공한다.

RMSA는 ‘관리지원 및 지원 관리’, ‘정책’, ‘시스템’, ‘접근’, ‘처분’, ‘기록관 관련 일반사항’의 6개 범주로 이루어져 있으며, 총 90개 질문으로 구성된다. 특히 RMSA의 ‘접근’ 평가범주에는 기록물 접근에 대해 COVID-19와 같은 대유행 감염병 상황에서 평가 당시의 환경적 요인이 기록관리 업무에 미치는 영향에 대한 평가항목이 존재하기도 한다. 이와 같이 기록관리 환경에 영향을 미칠 수 있는 요인은 기록관 재난관리에 고려되어야 할 필요가 있다.

NARA의 기록관리평가 지표의 6개 평가범주 중에서는 4개 범주가 주제기록관 운영평가에 적용 가능하다고 보았다. 4개 평가범주는 인적자원의 교육이나 기록관리 업무에 대한 모니터링 등의 지표를 포함하는 ‘관리지원 및 지원 관리’와 기록관리에 대한 규정이나 지침에 대한 지표를 포함하는 ‘정책’, 기록물에 대한 접근성 및 사용가능성 유지에 대한 지표를 포함하는 ‘접근’, 기록물 평가 및 처분 일정에 대한 지표를 포함하는 ‘처분’ 등이 이에 해당한다.

호주의 Check-up PLUS는 호주 국가기록원(NAA, National Archives of Australia)에서 호주 정부 기관의 정보 및 데이터 관리의 성숙도와 성과를 평가하기 위해 시행하는 온라인 자체평가 도구이며, 각 평가항목들은 정보관리 표준(Information Management Standard)과 일치하도록 구성되어 있다. NAA는 Check-up PLUS를 통해 기관의 기록관리 환경과 성숙도를 파악하여 기록관리에 대한 새로운 정책과 제도를 개발한다.

Check-up PLUS의 목적은 다음과 같다. 첫째, 정보관리에 대한 모범 사례와의 비교를 통해 기관을 평가하기 위함이다. 둘째, 정보 및 데이터 관리의 성숙도를 높이기 위한 계획을 수립하기 위함이다. 셋째, 각 기관의 기록 보유 및 이관 계획을 파악하기 위함이다. 넷째, 각 기관에 대한 정보를 온라인으로 관리하기 위함이다. 다섯째, 각 기관의 디지털 정보 관리 성숙도를 측정하고 분석하여 장관에 보고하기 위함이다.

Check-up PLUS는 ‘정보 및 지침’, ‘배경’, ‘정보관리 성숙도 평가’, ‘기록물에 대한 권한 및 자체보유(RNA) 기록’, ‘비용 및 효용성’, ‘COVID-19’, ‘메타데이터 관리’, ‘의견’, ‘설문 제출’의 9개 파트로 이루어져 있으며, 총 64개 질문으로 구성된다. Check-up PLUS도 NARA의 RMSA와 같이 COVID-19가 기록관리 업무에 미친 영향에 대한 평가 항목이 존재하였으며, 평가 당시의 환경적 상황을 기록관리 업무 평가 지표를 반영한 것이 특징이다.

NAA의 기록관리평가 지표의 9개 평가파트 중에서는 3개 파트가 주제기록관 평가에 적용 가능하다고 보았다. 구체적으로는, 전반적인 기록관리 업무에 대한 파트인 ‘정보관리 성숙도 평가’와 기록관리에 필요한 비용에 대한 파트인 ‘비용 및 효용성’, 메타데이터에 대한 내용을 담고 있는 ‘메타데이터 관리’ 파트이다.

우리나라의 박물관⋅미술관 평가인증제도는 2012년 문화체육관광부가 발표한 ‘박물관 발전 기본 구상’의 ‘박물관 평가인증제’를 기반으로 2016년 ｢박물관 및 미술관 진흥법(이하, 박물관미술관법)｣ 개정에 따라 도입된 제도이다(상윤선, 2017). 국립박물관 평가와 공립미술관 평가 모두 정량평가와 정성평가로 진행되며, 만점인 100점 중 70점 이상인 기관을 인증기관으로 선정한다. 평가 결과는 문화체육관광부 홈페이지에 공표되며 우수 사례를 공유하고 미흡 기관에 대한 컨설팅을 진행한다. 각각의 평가인증제도를 살펴보면 다음과 같다.

국립박물관 평가인증제도는 ｢박물관미술관법｣ 제26조에 따라 박물관 운영 성과 내실화와 문화 서비스 향상을 위해 문화체육관광부에서 격년으로 시행하는 제도이다. 2018년에 시범운영을 시작으로, 2020년에 등록 후 3년이 지난 국립박물관 36개관을 대상으로 처음 시행되었으며, ‘설립목적의 달성도’, ‘조직⋅인력⋅시설 및 재정 관리의 적정성’, ‘자료의 수집 및 관리의 충실성’, ‘전시 개최 및 교육 프로그램 실시 실적’, ‘공적 책임’ 등 5개 범주, 13개 지표로 구성되어 있다. 평가 점수는 100점 만점에 정량 50점, 정성 50점으로 구분된다(문화체육관광부, 2021).

공립미술관 평가인증제도 또한 ｢박물관미술관법｣ 제26조에 따라 미술관 운영 성과 내실화와 문화 서비스 향상을 위해 문화체육관광부에서 격년으로 시행하는 제도이다. 2017년 시범운영을 시작으로 2020년에 등록 후 3년이 경과한 공립미술관 55개관을 대상으로 처음 시행되었으며, ‘설립목적의 달성도’, ‘조직⋅인력⋅시설 및 재정 관리의 적정성’, ‘자료의 수집 및 관리의 충실성’, ‘전시 개최 및 교육 프로그램 실시 실적’, ‘공적 책임’ 등 5개 범주, 14개 지표로 구성되어 있다. 평가 점수는 100점 만점에 정량 58점, 정성 42점으로 구분된다(문화체육관광부, 2021). 두 지표의 검토 결과, 국립박물관 평가 지표와 공립미술관 평가 지표는 박물관 및 미술관 고유 업무 혹은 법적인 책임에 대한 일부 지표를 제외하고, 전반적으로 주제기록관 평가에 적용할 수 있는 것으로 확인되었다.

전국도서관 운영평가는 ｢도서관법｣ 제12조 2항 4호에 따라 대통령 소속 도서관정보정책위원회 주체로 이루어지는 정부 차원의 도서관 평가이다. 실제 평가에 대한 총괄은 문화체육관광부가 맡고, 교육부, 국방부, 법무부 등의 협조하에 평가가 이루어진다. 공공도서관, 학교도서관, 병영도서관, 교도소도서관, 전문도서관 등 5개 관종을 대상으로 하며, 도서관 인프라 확충과 서비스 품질의 향상을 통해 문화생활의 편리성을 제공하고 국가적 차원에서 도서관의 효율적 운영을 제고하는 데 목적이 있다(도서관정보정책위원회, 2018).

도서관 운영평가 지표는 공공도서관은 1,000점, 그 외 관종은 100점이 만점인 정성평가와 정량평가로 이루어져 있으며, 평가영역은 ‘도서관경영’, ‘인적자원’, ‘시설환경’, ‘정보자원’, ‘서비스’로 동일하나, 평가항목과 배점은 관종마다 차이가 있다. 이 연구에서는 공공도서관과 특정 주제에 대한 전문적인 서비스를 제공하는 전문도서관의 2019년 평가 지표를 살펴보았다. 2019년의 지표를 참고한 이유는 COVID-19로 인해 2020년도 운영평가부터 대면 서비스 평가 지표 및 소규모 도서관에 불리한 지표를 축소하였기 때문이다. 분석 결과, 공공도서관과 전문도서관 운영평가 지표 중 도서관의 고유 업무를 평가하는 항목을 제외하고 ‘기관의 운영 계획’이나 ‘외부와의 교류’, ‘인적자원의 전문성 및 교육’, ‘시설’, ‘자료 수집 정책’과 ‘서비스’ 등의 항목은 주제기록관 운영평가 지표(안)을 설계 시 고려하였다.

1차 델파이 조사에서는 문헌조사를 통해 설계한 주제기록관 운영평가 지표(안)의 ‘평가범주’, ‘평가항목’, ‘세부항목’에 대한 지표로서의 적합도에 대해 전문가 의견을 조사하였으며, ‘적합’과 ‘부적합’의 응답 수를 각각 합산하여 나타난 각 결과는 <표 5>, <표 6>, <표 7>과 같다.

1차 조사 결과를 바탕으로 주제기록관 운영평가 지표(안)을 수정할 때, 각 평가 지표의 적합도가 5 이하인 항목을 중심으로 지표의 조정을 진행하였으며, 평가 지표의 적합도에 관계 없이 개방형 질문을 통해 수집된 전문가 의견을 검토하여 그 내용이 타당하다고 판단되는 경우에는 항목의 수정과 조정에 반영하였다. 최종적으로 1차 조사를 통해 1개의 평가항목과 4개의 세부항목이 삭제되었고, 2개의 세부항목이 추가되었으며, 2개의 평가범주와 3개의 평가항목과 12개의 세부항목이 수정되었다. 삭제와 추가된 항목에 대한 세부적인 사항은 <표 8>, 수정된 항목에 대한 세부적인 사항은 <표 9>와 같다.

2차 델파이 조사는 1차 조사 분석 결과를 반영하여 수정된 지표(안)의 적합도에 대한 재조사와 함께 추가적으로 지표의 ‘세부항목’에 대한 적합한 평가방법을 묻는 조사를 실시하였으며, 각 결과는 <표 10>, <표 11>, <표 12>, <표 13>과 같다. 평가방법에 대한 조사는 지표의 평가방식을 구체화하기 위해 전문가의 의견을 수렴하기 위한 것으로, ‘정량평가’, ‘정성평가’, ‘모두적용’ 중 하나를 선택하여 응답하도록 설계하였다.

2차 델파이 조사의 결과를 바탕으로 지표(안)을 조정할 때에도 1차와 같은 방법을 적용하였다. <표 11>의 평가 방법의 경우, 많은 지표에서 정성평가가 적합하다는 의견이 비교적 많았으나, 정성평가 항목이 많을수록 피평가자의 평가 수행에 대한 부담감이 높아지기 때문에, 유사기관의 평가 지표를 검토하여 정성 항목 중에서도 정량화하여 평가할 수 있는 지표에 대해서는 정량평가로 조정하여 정성평가를 최소화하는 방향으로 조정하였다. 최종적으로, 2차 델파이 조사를 통해 1개의 평가항목과 1개의 세부항목이 삭제되었고, 1개의 평가항목과 11개의 세부항목이 수정되었으며, 평가방법 또한 조정이 이루어졌다. 삭제 항목에 대한 세부적인 사항은 <표 14>, 수정된 항목에 대한 세부적인 사항은 <표 15>와 같다.

3차 조사에서는 평가 지표에 대한 배점을 부여하기 위해 2차 조사 결과를 반영한 지표(안)을 바탕으로 ‘평가범주’와 ‘세부항목’의 중요도 순위에 대해 조사하였으며, 그 결과는 <표 16>, <표 17>, <표 18>, <표 19>, <표 20>과 같다.

평가범주에서는 ‘주제기록물 관리’의 중요도 순위가 가장 높았으며, ‘기록정보서비스’가 그 다음으로 높았다. 이를 통해 전문가들은 주제기록관 운영평가에서 기록관리 업무와 관련된 항목을 중요하게 여기고 있음을 알 수 있다.

‘주제기록관 운영’의 세부항목에서는 ‘기관 운영 규정’과 ‘기관 운영 계획’ 순으로 중요도 순위가 높았으며, 이를 통해 전문가들은 주제기록관 운영에 있어 대외적인 활동보다 기관의 규정 및 계획을 설립목적에 부합하도록 수립하는 것을 우선시하고 있다는 것을 알 수 있다.

‘자원관리’의 세부항목에서는 ‘조직 및 인력관리’에 대한 항목의 중요도 순위가 높았으며, 그 다음은 ‘시설관리’, ‘재정관리’ 순이었다. 이를 통해 전문가들은 주제기록관의 자원 중에서 인적자원, 특히 기록관리 전문인력을 확보하는 것이 중요하고, 기관 내의 여러 시설 중에서는 보존서고와 열람공간을 주제기록관 운영의 주요 요소로 보고 있다는 것을 알 수 있다.

‘주제기록물 관리’의 세부항목에서는 ‘기록물 수집’ 지표의 중요도 순위가 다소 높았다. ‘기록물 관리’ 중에서는 ‘기록물 분류체계’와 ‘기록물 기술요소’, ‘장기보존전력 수립 및 이행’, ‘비전자기록물 정수점검 실시’ 순으로 중요도 순위가 높게 나타났다. 이를 통해 주제기록관에서는 주제기록관의 정체성에 부합하는 기록물을 수집하는 것과 적합한 분류체계 및 기술요소를 통해 기록물을 체계적으로 관리하는 것이 중요함을 알 수 있다.

‘기록정보서비스’의 세부항목에서는 ‘검색 및 열람서비스’에 대한 중요도 순위가 가장 높게 나타났으며, 그 다음 ‘기록물 활용 서비스’, ‘활용촉진 서비스’ 순이었다. 이를 통해 전문가들은 기록물에 대한 검색과 열람을 가장 기본적으로 제공되어야 하는 서비스라고 여기는 것을 알 수 있었으며, 내/외부 마케팅과 같이 기관의 규모가 작거나 인력이 부족한 기관에서는 수행하기 어려운 서비스는 중요도를 다소 낮게 평가하였음을 알 수 있다.