<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="/resources/xsl/jats-html.xsl"?>
<article article-type="research-article" dtd-version="1.2" xml:lang="ko" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">ksarm</journal-id>
      <journal-title-group>
        <journal-title>한국기록관리학회지</journal-title>
        <trans-title-group>
          <trans-title xml:lang="en">Journal of Korean Society of Archives and Records Management</trans-title>
        </trans-title-group>
        <abbrev-journal-title>JKSARM</abbrev-journal-title>
      </journal-title-group>
      <issn pub-type="ppub">1598-1487</issn>
      <issn pub-type="epub">2671-7247</issn>
      <publisher>
        <publisher-name>한국기록관리학회</publisher-name>
        <publisher-name xml:lang="en">Korean Society of Archives and Records Management</publisher-name>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="publisher-id">jksarm-2022-22-1-43</article-id>
      <article-id pub-id-type="doi">10.14404/JKSARM.2022.22.1.043</article-id>
      <article-categories>
        <subj-group>
          <subject>Article</subject>
        </subj-group>
      </article-categories>
      <title-group>
        <article-title>이관 기록물 분류 자동화를 위한 목록 기반 이상치 판별 학습데이터 구축</article-title>
        <trans-title-group xml:lang="en">
          <trans-title>Building the Outlier Candidate Discrimination Training Data based on Inventory for Automatic Classification of Transferred Records</trans-title>
        </trans-title-group>
      </title-group>
      <contrib-group>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-7771-5771</contrib-id>
          <name-alternatives>
            <name name-style="eastern">
              <surname>정</surname>
              <given-names>지혜</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Jeong</surname>
              <given-names>Ji-Hye</given-names>
            </name>
          </name-alternatives>
              <degrees>박사과정</degrees>
          <email>j-jye@naver.com</email>
          <xref ref-type="aff" rid="aff1">1</xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-2605-2143</contrib-id>
          <name-alternatives>
            <name name-style="eastern">
              <surname>이</surname>
              <given-names>젬마</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Lee</surname>
              <given-names>Gemma</given-names>
            </name>
          </name-alternatives>
          <email>gemma617@korea.kr</email>
          <xref ref-type="aff" rid="aff2">2</xref>
        </contrib>
        <contrib contrib-type="author">
          <contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-1955-7998</contrib-id>
          <name-alternatives>
            <name name-style="eastern">
              <surname>왕</surname>
              <given-names>호성</given-names>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Wang</surname>
              <given-names>Hosung</given-names>
            </name>
          </name-alternatives>
          <email>vvwang@korea.kr</email>
          <xref ref-type="aff" rid="aff3">3</xref>
        </contrib>
        <contrib contrib-type="author" corresp="yes">
          <contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-8067-2832</contrib-id>
          <name-alternatives>
            <name name-style="eastern">
              <surname>오</surname>
              <given-names>효정</given-names>
              <prefix>부교수, 공동연구원</prefix>
            </name>
            <name name-style="western" xml:lang="en">
              <surname>Oh</surname>
              <given-names>Hyo-Jung</given-names>
            </name>
          </name-alternatives>
          <email>ohj@jbnu.ac.kr</email>
          <xref ref-type="aff" rid="aff4">4</xref>
        </contrib>
      </contrib-group>
      <aff id="aff1">
        <label>1</label>전북대학교 일반대학원 기록관리학과
      </aff>
      <aff id="aff2">
        <label>2</label>국가기록원 디지털혁신과
      </aff>
      <aff id="aff3">
        <label>3</label>국가기록원 디지털혁신과
      </aff>
      <aff id="aff4">
        <label>4</label>전북대학교 문헌정보학과, 문화융복합아카이빙연구소
      </aff>
      <pub-date pub-type="ppub">
        <day>28</day>
        <month>02</month>
        <year>2022</year>
      </pub-date>
      <volume>22</volume>
      <issue>1</issue>
      <fpage>43</fpage>
      <lpage>59</lpage>
      <history>
        <date date-type="received">
          <day>09</day>
          <month>02</month>
          <year>2022</year>
        </date>
        <date date-type="rev-recd">
          <day>25</day>
          <month>01</month>
          <year>2022</year>
        </date>
        <date date-type="accepted">
          <day>07</day>
          <month>02</month>
          <year>2022</year>
        </date>
      </history>
      <permissions>
        <copyright-statement>Copyright &#x000a9; 2022, Korean Society of Archives and Records Management</copyright-statement>
        <copyright-year>2022</copyright-year>
        <license license-type="open-access" xlink:href="https://creativecommons.org/licenses/by-nc-nd/4.0/">
          <license-p>This is an Open Access article distributed under the terms of the Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 (<uri>https://creativecommons.org/licenses/by-nc-nd/4.0/</uri>) which permits use, distribution and reproduction in any medium, provided that the article is properly cited, the use is non-commercial and no modifications or adaptations are made.</license-p>
        </license>
      </permissions>
      <abstract>
        <p>전자적으로 생산된 공공기록물은 생산과 동시에 편철되고 보존기간이 부여되며 일정기간이 지나면 영구기록물관리기관으로 이관되어 보존된다. 이관 시 기록물관리 담당자가 기록물 분류정보를 확인하고 품질을 일정 수준으로 유지토록 해야 하지만, 이관된 기록물의 분류는 기록물 정리/기술 업무로 편성되어 있고, 대부분의 정리/기술 업무는 수작업에 의존하고 있어 당해 연도에 처리해야 할 기록물 수량을 맞추기 어려운 실정이다. 이에 본 연구는 이관 기록물 분류 업무의 효율화와 일관된 기준을 유지하기 위한 방안을 제안하고자 한다. 이를 위해 먼저 국가기록원에서 수행하고 있는 현행의 기록분류 업무 프로세스를 분석하고 개선 요구사항을 수렴하여 분류 업무의 수작업을 최소화하기 위한 방안으로 이관된 기록물의 편철 정보, 즉 목록에 기반한 분류 이상치 후보를 판별하는 과정을 도출&#xB7;체계화하였다. 나아가 제안한 이상치 판별 프로세스를 실제 국가기록원으로 이관된 기록물을 대상으로 적용하고, 그 결과를 규격화하여 추후 기계학습에 활용 가능한 학습데이터 형식으로 구축하였다. 본 연구의 궁극적인 목적은 지능형 전자기록 관리 환경 구축을 위한 사전 단계로, 기록관리 업무 내 기계학습 기법이 적용 가능한 문제 유형을 선별하고 자동화하는 방안을 모색하고자 한다.</p>
      </abstract>
      <trans-abstract xml:lang="en">
        <p>Electronic public records are classified simultaneously as production, a preservation period is granted, and after a certain period, they are transferred to an archive and preserved. This study intends to find a way to improve the efficiency in classifying transferred records and maintain consistent standards. To this end, the current record classification work process carried out by the National Archives of Korea was analyzed, and problems were identified. As a way to minimize the manual work of record classification by converging the required improvement, the process of identifying outlier candidates based on a list consisting of classified information of the transferred records was proposed and systemized. Furthermore, the proposed outlier discrimination process was applied to the actual records transferred to the National Archives of Korea. The results were standardized and constructed as a training data format that can be used for machine learning in the future.</p>
      </trans-abstract>
      <kwd-group>
        <kwd>이관 기록물</kwd>
        <kwd>기록분류</kwd>
        <kwd>자동화</kwd>
        <kwd>학습 데이터</kwd>
        <kwd>이상치 판별</kwd>
      </kwd-group>
      <kwd-group xml:lang="en">
        <kwd>transferred records</kwd>
        <kwd>Rrecords classification</kwd>
        <kwd>automation</kwd>
        <kwd>training data</kwd>
        <kwd>outlier discrimination</kwd>
      </kwd-group>
    </article-meta>
  </front>
  <body>
    <sec id="s1" sec-type="intro">
      <title>1. 서 론</title>
      <sec id="s1a">
        <title>1.1 연구 배경</title>
        <p>기록은 조직의 기능과 업무에 따라 분류하는 것을 원칙으로 한다. ISO 15489에는 조직의 기능과 업무분석을 토대로 기록분류체계를 개발하는 것을 원칙을 명시하고 있으며, 우리나라의 중앙 및 지방 행정기관들도 공공기록물관리에 관한 법률(이하 공공기록물관리법)이 정하는 바에 따라 기능분류체계를 적용하고 있다. 우리나라에서는 1999년 공공기관의 기록물관리에 관한 법률이 제정되면서 업무를 반영한 기록분류의 원칙을 도입하였고, 2005년 동법이 공공기록물관리법으로 전면 개정되면서 업무 및 기능분류의 원칙이 더욱 강조되었다.</p>
        <p>공적 업무 수행과정에서 생산된 공공기록물은 생산과 동시에 보존기간이 부여되고 업무 맥락을 반영하여 편철된다. 또한 일정기간 생산기관의 업무 목적을 위해 활용되다가 보존기간이 30년 이상으로 분류된 기록물은 공공기록물관리법 및 동법 시행령으로 정하는 기간 이내에 영구기록물관리기관으로 이관되어 보존된다. 영구기록물관리기관은 해당되는 법규에 따라 기록물을 이관받고, 특정 목적에 따라 기록물을 수집하며, 적법한 절차에 따라 소장 기록물을 평가하고 처분 한다. 이러한 정책은 향후 기록물을 우선순위에 따라 선별 수집하고 승인된 정책과 절차에 따라 평가&#x22C5;처분하여 기록물의 증거가치를 지속적으로 보유하게 함으로써, 해당 영구기록물관리기관에서 기록물관리의 설명책임성을 입증할 수 있도록 한다.</p>
        <p>국내 대표 영구기록물관리기관인 국가기록원이 소장하고 있는 영구기록물에 대한 목록정보는 기록생산기관에서 이관 시에 제출하는 기록물 목록에 대한 정보가 그대로 중앙영구기록물관리시스템(CAMS: Central Archives Management System)에 적용되어 기록서비스에 활용되고 있다. 이는 처리과 생산 당시의 분절적&#x22C5;파편적으로 존재했던 기록이 국가기록원으로 이관되어도 그대로 존재하여 역사적&#x22C5;학술적 활용 가치가 있는 기록이 빛을 보지 못하고 사장되는 것을 의미한다(<xref ref-type="bibr" rid="r012">최철민, 2018</xref>). 국가기록원은 기록물의 이관 시 기록물관리 담당자가 기록물 분류정보를 확인하고 품질을 일정 수준으로 유지토록 해야 하지만, 이관된 기록물의 분류는 기록물 정리/기술업무로 편성되어 있고, 대부분의 정리/기술 업무는 수작업에 의존하고 있어 당해 연도에 처리해야 할 기록물 수량을 맞추기 어려운 실정이다. 특히 2007년 본격적인 전자정부법 시행에 의해 공공기록의 전자적 생산 환경이 보편화되고, 그에 따라 2017년 이후 국가기록원으로 이관되는 전자기록물 역시 기하급수적으로 늘어나고 있는 상황에서 이관된 기록물의 분류체계를 검증하고 일관되게 관리하는 업무는 매우 중요하다.</p>
        <p>이에 본 연구는 이관 기록물 분류 업무의 효율화와 일관된 기준을 유지하기 위한 방안을 제안하고자 한다. 이를 위해 먼저 국가기록원에서 수행하고 있는 현행의 기록분류 및 기술 업무 프로세스를 분석하고 문제점을 파악, 개선 요구사항을 수렴하였다. 또한 이관된 기록물의 분류를 검증하기 위해 담당자들이 참조해야할 자료의 유형을 규명하고, 현재 국가기록원에서 관리되고 있는 공통지식자원의 현황을 파악하였다. 분석 결과를 종합해 기록분류 업무의 수작업을 최소화하기 위한 방안으로 이관된 기록물의 편철 정보, 즉 목록에 기반한 분류 이상치 후보를 판단하는 과정을 도출&#x22C5;체계화하였다. 나아가 제안한 이상치 판별 프로세스를 실제 국가기록원으로 이관된 기록물을 대상으로 적용하고, 그 결과를 규격화하여 추후 기계학습에 활용 가능한 학습데이터 형식으로 구축하였다. 본 연구는 선행연구인 생산기관 직제분석 자동화(<xref ref-type="bibr" rid="r001">강윤아 외, 2021</xref>)의 후속 연구로, 연구의 궁극적인 목적은 지능형 전자기록 관리 환경의 토대를 마련하기 위해 기록관리 업무 내 기계학습 기법이 적용 가능한 문제 유형을 선별하고 자동화하는 데 있다.</p>
      </sec>
      <sec id="s1b">
        <title>1.2 선행연구</title>
        <p>본 절에서는 기록물 분류 업무에 대한 연구와 기록관리 지능화와 관련된 선행연구를 살펴본다. 먼저 기록물 분류 업무와 관련한 연구로, <xref ref-type="bibr" rid="r006">설문원(2013)</xref>은 정부기능분류체계가 기록분류에 어떻게 적응되고 있는지를 살펴보기 위해 기록관리전문직과 집단 면담을 진행하여 기록물 철 기반 분류의 실태와 문제점을 구조 및 운용 측면에서 분석하였다. <xref ref-type="bibr" rid="r008">윤상우(2020)</xref>는 A기관을 중심으로 기록분류체계 및 기록물분류기준표 관리 현황과 업무기능을 분석하였으며, 이를 통해 기능 분류 모델 및 기록관리기준표의 도입과 역할과 구축 방안에 대해 연구하였다. <xref ref-type="bibr" rid="r010">장현종, 노지현(2021)</xref>은 국립대학에서 사용하는 기록물 분류체계의 운영현황을 공통 단위과제 중심으로 분석하고 분류체계의 개선과 운영절차의 개선이 필요하다고 제안하였다.</p>
        <p>기록관리 지능화와 관련된 연구로 <xref ref-type="bibr" rid="r009">장지숙, 이해영(2009)</xref>은 기 분류된 기록집합체뿐만 아니라 분류체계와 시소러스를 분류기준으로 함께 구축하여 상호 보완할 수 있도록 맥락정보를 이용한 자동분류시스템을 설계하였다. <xref ref-type="bibr" rid="r007">오진관(2019)</xref>은 해외 기록시스템의 자동화, 지능화 사례를 살펴보고, 디지털 환경에 적합한 영구기록 관리 및 서비스 방안을 제안하였다. <xref ref-type="bibr" rid="r004">김인택, 안대진, 이해영(2017)</xref>은 4차 산업혁명에 따른 가장 핵심이 되는 인공지능(이하 AI) 기술 중 세 가지 &#x2015; 텍스트분석, 영상인식, 음성인식 &#x2015; 를 선정, 기록관리 업무에 활용할 수 있는 방안에 대해 제안하였다. 또한 이들 기술을 활용하기 위한 선결해야 하는 과제들을 제시하였다. <xref ref-type="bibr" rid="r011">최정렬(2018)</xref>은 표준화된 절차에 따른 학습데이터세트 구축 방안을 연구하였다. 학습데이터가 갖추어야 할 요구사항을 문제 유형과 데이터 유형별로 분석하였고, 이를 토대로 기계학습에 활용하기 위한 학습데이터세트 구축에 관한 참조모델을 제안하였다.</p>
        <p>기록물 분류 업무 자동화 관련한 연구로, <xref ref-type="bibr" rid="r005">김해찬솔 외(2017)</xref>는 문헌의 자동분류와 AI 학습방식이 발전해 온 과정을 살펴 본 후, 기계학습 중 특히 지도학습 방식을 통한 AI 기술을 기록관리 분야에 적용해야 하는 필요성을 도출하였다. 또한 서울시의 결재문서 원문을 대상으로 실제 학습데이터를 구축하여 자동분류 모델을 개발하고, 각 과정에서 고려해야 할 사항들을 제시하였다.</p>
        <p>상기 연구들 대부분은 기계학습을 이용한 전자기록물의 자동분류, 원문인식, 공개재분류 등, 기록관리 개별 업무 단위로 AI 기술을 적용해 자동화를 꾀하고 있다. 대부분이 기록물 &#x2018;원문&#x2019; 전체를 대상으로 태깅하거나 정답 분류를 할당하는 방식으로, 본 연구에서와 같이 기록물의 일부 메타데이터로 구성된 &#x2018;목록&#x2019;기반 자동화와 관련된 연구는 전무하다. 특히 기록관리 업무에서 실무자들에게 공통으로 활용 가능한 기초자료들을 참조하여 오분류된 기록물 이상치 후보를 제안하고, 기록분류 실무자가 전문(full-text) 열람 여부를 사전에 판단케 함으로써 가능한 한 수작업을 최소화하는 업무 효율화를 꾀한다. 또한 기록분류 실무자의 업무 프로세스를 다수의 작업자가 답습하여 진행하는 과정을 통해 자동화할 수 있는 부분을 규명하고 기계학습에 활용 가능한 학습데이터를 구축하였다.</p>
      </sec>
    </sec>
    <sec id="s2" sec-type="other">
      <title>2. 기록분류 관련 업무 현황 분석</title>
      <sec id="s2a">
        <title>2.1 영구기록물관리기관 업무 운영 절차</title>
        <p>영구기록물관리기관은 &#xFF62;공공기록물 관리에 관한 법률&#xFF63;에 명시된 고유의 업무 기능을 수행하여야 한다. &#x3C;<xref ref-type="fig" rid="f001">그림 1</xref>&#x3E;은 영구기록물관리기관의 기록물 관리 절차(NAK 9:2021(v2.2))를 도식화 한 것으로, 운영 절차는 총 8단계로 구성되어 있다.</p>
        <fig id="f001" position="float">
          <label>&#x3C;그림 1&#x3E;</label>
          <caption>
            <title>영구기록물관리기관 업무 운영 절차</title>
          </caption>
          <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f001.jpg" position="float"/>
        </fig>
        <p>본 연구는 영구기록물관리기관으로 이관된 기록물의 분류 자동화를 위한 사전 연구로, 총 8단계의 업무 운영 절차 중 &#x2018;기록물 기초데이터 관리&#x2019;, &#x2018;기록물 수집&#x2019;, &#x2018;기록물 정리&#x22C5;기술&#x2019; 단계에 중점을 두었다. 먼저 &#x2018;기록물 기초데이터 관리&#x2019; 단계에서 생산현황 관리 및 활용과 소장기록물의 통계를 작성&#x22C5;관리한다. 기록물 생산현황은 향후 기록물의 수집 및 이관 방침 수립, 보존량 예측을 위한 기초자료로 활용하며, 기록물 생산량 변동 분석 등을 통해 생산단계에 대한 통계조치로도 활용한다(<xref ref-type="bibr" rid="r003">국가기록원, 2021b</xref>).</p>
        <p>&#x2018;기록물 수집&#x2019; 단계에서는 기록물 수집정책을 마련하고 법적 이관 대상 기록물을 인수하며 이관지침에 따라 정리 및 편철되었는지를 점검한다. 영구기록물관리기관으로 이관된 기록물은 생산된 지 10년이 지난 기록들로, 그때의 생산기관의 특성과 직무 등 생산맥락을 이해해야할 뿐 아니라 기록물 관리기관으로 이관된 시점의 변천이력 등의 맥락도 병행해서 파악해야만 한다. 이때 참조할 수 있는 자료는 기록물 관리를 담당하는 실무자가 공동으로 참조해야하는 기초지식들로, 본 연구의 선행연구(<xref ref-type="bibr" rid="r001">강윤아 외, 2021</xref>)를 통해 다음과 같은 유형이 규명되었다. 생산기관의 실&#x22C5;국 단위의 흐름을 보여주는 &#x2018;조사대상 하위기관 존립기간 목록&#x2019;과 해당 기관의 직제 및 기능분석 업무의 최종 산출물인 &#x2018;하위기관 변천내용&#x2019;, &#x2018;계열별 기능어 분류표&#x2019;를 이 단계에서 활용할 수 있다. 본 연구에서는 이러한 자료를 &#x2018;공통지식자원&#x2019;으로 명명하고자 한다.</p>
        <p>다음 단계인 &#x2018;기록물 정리&#x22C5;기술&#x2019;에서는 편철정보를 비롯해 해당 생산기관에서 작성한 메타데이터 값이 정확하게 입력되었는지를 확인하고 소장 기록물을 분류한 후 기술한다. 이 과정에서 수집된 기록물을 분석하여 기록물을 출처와 원본질서, 생산맥락에 따라 분류하는 업무를 수행한다. 상기한 바와 같이 이관된 기록물의 생산맥락은 최소 10년 전의 정보로, 이를 정확하고 완전하게 파악하기 위해서는 &#x2018;조사대상 하위기관 존립기간 목록&#x2019;, &#x2018;그룹별 하위기관 목록&#x2019;, &#x2018;그룹별 직제령 비교표&#x2019;, &#x2018;하위기관 변천내용&#x2019;, &#x2018;계열별 기능어 분류표&#x2019; 등의 자료를 참조해야 한다(<xref ref-type="bibr" rid="r001">강윤아 외, 2021</xref>). 특히 활용되는 공통 자원 중 &#x2018;그룹별 하위기관 목록&#x2019;과 &#x2018;그룹별 직제령 비교표&#x2019;의 중요도가 비교적 높은데, 이 자료들은 이미 동일한 생산맥락을 갖는 하위기관을 그룹화하는 과정에서 산출된 결과물이기 때문에 기록물 분류&#x22C5;기술의 가이드라인 역할을 할 수 있다.</p>
      </sec>
      <sec id="s2b">
        <title>2.2 심층면담</title>
        <p>상기한 기록물 분류와 관련된 업무 현황을 파악하기 위해 현재 해당 업무를 수행 중인 국가기록원 담당자와의 기초 인터뷰<xref ref-type="fn" rid="fn001">1)</xref>를 진행하고 실제 CAMS 열람을 진행하였다. 기초 분석 결과, 이관 기록물에 대한 관리 과정 대부분이 수작업으로 진행되고 있고, 참조하고 있는 자료 역시 산발적으로 관리되고 있어 많은 애로사항이 있는 것으로 파악되었다. 특히 2016년 이후 전자적으로 생산된(born-digital) 기록물이 대량으로 입수되고 있으나, 기록분류 담당자가 매년 검토해야 할 기록물의 양이 너무 방대해 당해 연도 내 전수조사는 불가능한 실정이다. 이로 인해 일부 생산기관과 기록물의 중요도에 따라 우선순위를 부여하여 검수하고 있으며, 이 과정에서 기록의 맥락을 이해하기 위해 원문을 열람하거나 생산기관 전거데이터를 확인하는 데 많은 시간을 할애하는 것으로 파악되었다. 또한 새로운 생산기관을 담당할 때마다 기관의 직제 및 변천 정보 등을 파악하는 작업이 반복해서 수행되고 있었다(<xref ref-type="bibr" rid="r001">강윤아 외, 2021</xref>).</p>
        <p>구체적인 업무 프로세스와 지능화 개선 요구사항을 수렴하기 위해 국가기록원의 기록분류 실무자 및 CAMS 담당자와 심층면담(이하 FGI: Focused Group Interview)및 업무 참관)<xref ref-type="fn" rid="fn002">2)</xref>을 진행하였다(<xref ref-type="bibr" rid="r002">국가기록원, 2021a</xref>). 기초인터뷰 및 심층면담이 다수로 진행된 이유는 실무자의 업무 과정을 작업자가 답습하는 과정과 실제 CAMS를 열람하는 과정에서 도출된 문제점이나 특이점에 대한 재확인 과정이 반복되었으며 세부업무별 담당자 역시 세분화되어 있어 개별 면담이 필요하였다. 면담 결과, 이관된 기록물의 분류를 검증하는 과정은 먼저, 이관시 작성된 목록을 통해 기록물에 부여된 메타데이터를 검토하여 맥락을 파악한다. 그러나 CAMS 열람을 통해 확인한 결과, 애초 기록생산기관에서 이관 시 제출한 기록물 메타데이터 값이 부실하여 목록만으로 내용을 파악하기 어려웠다. 특히 CAMS 내에서 관리되고 있는 생산기관의 BRM 정보와 실제 이관된 기록물의 편철정보가 매핑되지 않는 경우가 다수 발견되었으며, 이를 수작업으로 정리하고 있었다. 이로 인해 기록물 분류 검증을 &#x2018;건&#x2019;별로 진행하는 것에 많은 부담을 느끼고 있었다. 또한 해당 기록의 담당자가 기록분류 이후 보존기간 재평가 업무도 함께 수행하고 있어 &#x2018;철&#x2019; 단위 위주의 검토를 진행하고 있었다.</p>
        <p>또한, 기록의 맥락을 파악하기 위해 참조해야 할 공통지식자원 역시 일관된 지침이 부재한 채 관리되지 않고 있었다. 대표적으로 CAMS 내의 전거데이터는 2015년 이후 갱신되지 않아 현행화되지 않았으며, 이로 인해 생산기관의 변천이력을 파악하기 위해서는 담당자가 법령정보사이트(<uri>https://www.law.go.kr/</uri>)나 정부조직관리정보시스템(<uri>https://www.org.go.kr/</uri>) 등을 별도로 접속, 개별적으로 관련 지식을 구축하여 활용하고 있었다(<xref ref-type="bibr" rid="r001">강윤아 외, 2021</xref>). 또한 일련의 업무를 수행하는 과정이 각 담당자의 고유한 작업 경험에 의존, 나름의 개별적인 노하우로 수립되어 있었다. FGI를 통해 상기한 문제점을 포함하여 기록물 정리&#xB7;기술 과업과 관련한 업무 프로세스 정립과 재편철, 이상치 판별 등 3가지 업무 지원 분야에 대한 요구 사항이 도출되었으며 자세한 내용은 &#x3C;<xref ref-type="table" rid="t001">표 1</xref>&#x3E;과 같다.</p>
		<table-wrap id="t001" position="float"> 
		<label>&#x3C;표 1&#x3E;</label> 
		<caption>
		<title>실무 담당자 심층 면담 결과</title> 
		</caption> 
		<table rules="all" frame="hsides">
		 <tbody> <tr valign="middle"> <td align="center">업무 기능</td> <td align="center">분류/기술</td> </tr> <tr valign="middle"> <td align="center">면담 대상</td> <td align="center">실무 담당자</td> </tr> <tr valign="middle"> <td align="center" rowspan="3">면담 결과</td> <td align="left">1) 업무 프로세스 정립<break/> - 분류/기술을 위한 참고자료 입수<break/> - 필수 메타데이터 정의 및 자동 추출 방안 모색<break/> - 작업 매뉴얼의 기계화</td> </tr> <tr valign="middle"> <td align="left">2) 재편철<break/> - &#x2018;단위과제와 단위과제카드의 문제점&#x2019;을 인식 후, 보정 작업 필요<break/> - 보존기간 및 오분류의 재편철 요구<break/> - 건에 대한 태깅 작업 진행</td> </tr> <tr valign="middle"> <td align="left">3) 이상치 판별<break/> - 분류체계 오류가 있는 기록물 판별 및 지능화 방안 필요(원문 열람 최소화)<break/> - 오분류인 경우 유사한 기능 추천</td> </tr> </tbody> </table> </table-wrap>
        <p>심층 면담을 통한 요구사항으로 먼저 &#x2018;업무 프로세스 정립&#x2019; 분야에서는 분류/기술을 위해 참고하는 자료를 발굴하고 이를 자동 입수할 수 있는 방안과 필수 메타데이터의 정의 및 자동 추출 방안이 필요하다고 하였다. 또한 실제 실무자의 업무 프로세스를 파악하여 하위계열을 신설하는 경우와, 전자기록 생산 단계 시 부여된 구조를 인정하고 이를 CAMS에 바로 적용할 수 있는 방안을 요구하였다. 마지막으로 반복되는 작업 중 기계화 가능한 부분을 파악하고 전체 프로세스를 체계화하여 매뉴얼 형태로 도출해주기를 요청하였다.</p>
        <p>&#x2018;재편철&#x2019; 분야에서는 &#x2018;단위과제와 단위과제카드의 문제점&#x2019;을 인식하고, 이를 보정하는 것이 목표이며, 기록철 단위로 물리적 관리단위를 정한 것에 대한 재검토가 필요하다고 하였다. 보존기간 재평가와 관련하여 보존기간이 잘못 부여된 데이터를 처리하고, 오분류로 판단되는 경우 재편철을 요구하였으며, 각 건에 대한 보정결과를 태깅하는 작업이 필요하다고 하였다.</p>
        <p>마지막으로 &#x2018;이상치 판별&#x2019; 분야에서는 앞선 재편철 단계에서 오분류로 판단되는 사례 중 분류체계 자체 오류에 대해서는 생산부서, 철&#x22C5;건 제목 등을 참조하여 유사한 기능을 최대한 추천해주길 요구하였다. 무엇보다도 오분류 이상치 후보를 탐지함으로써 원문 열람을 최소화할 수 있는 방안을 필요로 하였다.</p>
      </sec>
    </sec>
    <sec id="s3" sec-type="other">
      <title>3. 이관 기록물 분류 이상치 판별 자동화</title>
      <p>실무 담당자와의 심층 면담을 통해 도출한 개선 요구사항에 대한 대응 방안은 다음과 같다. 먼저 현재까지 기록분류 담당자별로 각자 진행하던 업무 과정을 수렴하고, 기록의 맥락을 이해하기 위해 참조해야 하는 기초자료들을 파악한다. 그 과정을 통해 기존에 반복적으로 수행되거나 수작업에 의존한 작업 중 자동화가 가능한 부분을 규명한다. 특히 기록물 분류 이상치를 판별하기 위해 건별 검수를 진행하기 전, 철 단위 검토를 먼저 수행하는 프로세스를 정립하고 철 목록 검토 사항을 승계하여 건별로 이상치 판별 작업을 진행한다. 또한 일련의 과정을 수행한 결과물을 취합하고, 검수하는 과정을 통해 오류 유형을 정리함으로써 향후 기계학습에 활용 가능한 고품질의 학습데이터 구축 방안을 제안하다. 나아가 제안한 프로세스를 다수의 작업자가 수행 시 업무 일관성이 유지될 수 있도록 매뉴얼을 제작한다.</p>
      <sec id="s3a">
        <title>3.1 분류 이상치 판별 프로세스</title>
        <p>&#x3C;<xref ref-type="fig" rid="f002">그림 2</xref>&#x3E;는 본 연구에서 제안하는 기록물 분류 검증 프로세스를 도식화한 것이다. 이관된 대량의 전자기록물의 분류 이상치 탐지를 위해서는 먼저 해당 기록을 생산한 기관에 대한 직제분석이 선행되어야 한다. 이후 해당 기관에서 수행하는 기능분류체계를 참조하고, 주요 변천 내역을 파악해야 한다. 이러한 과정에서 공통으로 활용되는 기초 자료로는 하위조직 존립기간 리스트, 직제리스트, 기록관리기준표 등이 있다(<xref ref-type="bibr" rid="r001">강윤아 외, 2021</xref>). 이러한 공통지식자원을 기반으로 이관된 기록의 철 및 건의 주요 메타데이터를 자동으로 목록화하고 검증함으로써 오분류 가능성이 있는 기록물 건을 선별한다. 이후 최종 오분류 여부는 이상치로 선별된 기록물에 대한 원문 및 세부 정보를 CAMS에서 참조하여 담당자가 판단한다.</p>
        <p>&#x3C;<xref ref-type="fig" rid="f002">그림 2</xref>&#x3E;의 &#x2460; 직제 분석 과정과 &#x2461; 기능 분석 과정은 본 연구의 선행연구(<xref ref-type="bibr" rid="r001">강윤아 외, 2021</xref>)를 통해 정립된 과업으로, 영구기록물관리기관에서 공통으로 활용 가능한 기초 자원을 구축하고 생산기관 직제분석 프로세스의 자동화 방안을 제시하였다. 영구기록물관리기관에서 수행하는 기록물 관리 절차 내에서 직제분석 정보가 필요한 단계별로 활용 방안을 제시하였으며, 선행연구에서 제안된 공통지식자원은 영구기록물관리기관의 일관되고 체계적인 업무 수행 지원을 목적으로 하고 있다.</p>
        <p>본 연구는 &#x3C;<xref ref-type="fig" rid="f002">그림 2</xref>&#x3E;의 &#x2462; 분류/기술 단계(붉은 박스)에 주안점을 둔 것으로, 기록물 철 목록 검토 및 건별 이상치 판단으로 구성된다. 이 단계에서는 <xref ref-type="bibr" rid="r001">강윤아 외(2021)</xref>의 연구에서 제안하고 있는 동일한 생산맥락을 갖는 하위기관을 그룹화하는 과정에서 산출된 결과물인 기초 분석 데이터를 참조해야 한다. 이 산출물에서는 생산기관의 변화 흐름과 업무 및 기능 정보를 담고 있으며 앞선 과정에서 수집하고 분석한 내용을 함축적으로 담고 있어 활용도가 높다. 이러한 공통지식자원에 기반하여 대상 철 목록을 검토하고, 단위과제명 및 기관의 존립기간 등의 거시적 검수를 진행하며 이후 세부 기록물 건에 대한 분류 검수를 수행한다.</p>
        <fig id="f002" position="float">
          <label>&#x3C;그림 2&#x3E;</label>
          <caption>
            <title>이관 기록물 분류 검증 프로세스 개요</title>
          </caption>
          <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f002.jpg" position="float"/>
        </fig>
        <p>&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;은 상기한 &#x2462; 기록물 분류 이상치 판별 업무의 세부 과정을 도식화 한 것으로, 이상치 판별에 필요한 데이터의 특성과 업무 수행 난이도에 따라 자동화&#x22C5;반자동화&#x22C5;자동화 불가로 구별된다. 세부 과정은 다음과 같다.</p>
        <fig id="f003" position="float">
          <label>&#x3C;그림 3&#x3E;</label>
          <caption>
            <title>이상치 판별 세부 프로세스</title>
          </caption>
          <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f003.jpg" position="float"/>
        </fig>
        <sec id="s3aa">
          <title>3.1.1 철 목록 검토</title>
          <p>먼저 철 목록 검토에 앞서 국가기록원에서 제공한 CAMS 원시 철 목록에 대한 정제 작업이 필요하다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 1 단계 참조). 원시 철 목록 정제를 위해 각 분석하려는 해당 생산기관별로 철 목록을 구분한 후 각 기관의 기록관리기준표, 기록물분류기준표를 참고하여 자동으로 추출하고, 엑셀(excel)에서 처리 가능한 형태로 출력한다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 1-1). 이후 분류체계명, 분류체계구분, 생산기관명, 기록물철제목, 생산년도, 종료년도, 이상치 구분, BSID<xref ref-type="fn" rid="fn003">3)</xref>의 순서로 정렬한다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 1-2). 해당 작업들은 간단한 코딩과 엑셀 기능으로 반&#x22C5;자동화가 가능하다. &#x3C;<xref ref-type="fig" rid="f004">그림 4</xref>&#x3E;는 상기한 정체 과정을 거처 작성된 철 목록 예시이다. 기존에 제공받은 필드 32개 중 중복된 필드를 제외한 30개의 필드(노랑색 표시)와 신규 필드 8개를 추가하여 총 38개의 필드로 작업을 진행하였다. 신규로 추가한 필드는 총 8개로 분류체계와 관련한 필드 6개(하늘색), 이상치 판단을 위한 2개의 필드(주황색)이다.</p>
          <fig id="f004" position="float">
            <label>&#x3C;그림 4&#x3E;</label>
            <caption>
              <title>철 목록 정제 작업 예시</title>
            </caption>
            <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f004.jpg" position="float"/>
          </fig>
          <p>다음 단계는 정제된 목록을 대상으로 검토 작업이다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 2). 가장 먼저 분석 대상 하위기관의 존립기관 목록과 전거데이터를 기준으로 생산년도 항목을 확인 한 후(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 2-1) 철 제목에 오타나 띄어쓰기의 오류가 있는지 확인(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 2-2)한다. 상기한 작업들은 간단한 문자열 비교 및 파일 처리로 자동화가 가능하다. 철 목록 검토를 마친 후 각 기관별 철 목록에 분류체계명을 구분하여 이상치 유형을 판별해야 한다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 2-3). 이때 철 목록 이상치 판별 유형의 자세한 기준은 &#x3C;<xref ref-type="table" rid="t002">표 2</xref>&#x3E;와 같으며, 판단 기준 난이도에 따라 자동화 가능 여부를 구분하였다.</p><table-wrap id="t002" position="float"> <label>&#x3C;표 2&#x3E;</label> <caption> <title>철 목록 이상치 판별 기준</title> </caption> <table rules="all" frame="hsides"> <thead> <tr valign="middle"> <th align="center" colspan="2">구분</th> <th align="center">이상치 후보 유형</th> <th align="center">기준</th> <th align="center">자동화 가능 여부</th> </tr> </thead> <tbody> <tr valign="middle"> <td align="center" rowspan="2">X</td> <td align="center">1</td> <td align="left">생산년도 오류/종료년도 오류</td> <td align="left">조사대상 하위기관 존립기관 목록</td> <td align="center">&#x25CB;</td> </tr> <tr valign="middle"> <td align="center">2</td> <td align="left">철명 오류</td> <td align="left">오타 및 띄어쓰기</td> <td align="center">&#x25CB;</td> </tr> <tr valign="middle"> <td align="center">&#x25B3;</td> <td align="center">1</td> <td align="left">전거데이터 부족</td> <td align="left">조사대상 하위기관 존립기관 목록</td> <td align="center">X</td> </tr> </tbody> </table> </table-wrap>
          <p>이상치 판별 결과는 2가지로, 세부 철 목록을 참조하지 않아도 오분류로 판단 가능한 경우에는 X, 세부 목록 및 원문 확인이 필요한 경우는 &#x25B3;로 표기하였다. 이상치 X 사례로는 생산년도 오류/종료년도 오류가 있으며, 공통 활용 기초분석 자료 중 조사대상 하위기관 존립기관 목록을 기준으로 자동으로 판별 가능하다. 철명 오류 역시 기록물분류기준표나 기록관리기준표를 참조하면 쉽게 판단할 수 있다. 그러나 애초 전거데이터가 부족하거나 CAMS에 이관된 정보에 결락이 발생해 작업자가 오분류 여부를 판단하지 못하는 경우가 다수 발생하였는데, 이러한 유형은 기계학습 기법 적용이 불가하다.</p>
        </sec>
        <sec id="s3ab">
          <title>3.1.2 건별 이상치 판단</title>
          <p>건별 이상치 판단을 위해 먼저 철 목록 검토와 마찬가지로 국가기록원에서 제공한 원시 건 목록의 정제 작업이 필요하다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 3단계 참조). 분석하려는 해당 생산기관별로 건 목록을 구분한 후(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 3-1), &#x2018;철 목록&#x2019;에서 제공하는 생산기관명, 분류체계명, 철제목, 생산년도/종료년도를 &#x2018;건 목록&#x2019;에 승계, 추가 기술한다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 3-2). 이 후 분류체계명, 생산기관명, 처리과명, 기록물철제목, 건제목, 이상치 구분, 기록물관리번호, 생산년도, 공개여부, BSID, DSID의 순서로 정렬한다(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;의 3-3). 해당 작업들 역시 철 목록 정제와 같이 간단한 코딩과 엑셀 기능으로 반&#x22C5;자동화가 가능하다. &#x3C;<xref ref-type="fig" rid="f005">그림 5</xref>&#x3E;는 정제 파일 부분이 상기한 과정을 거처 작성된 건 목록 예시이다. 기존에 제공받은 필드 25개(노랑색)와 신규로 9개의 필드를 추가하여 총 34개의 필드로 작업을 진행하였다. 신규로 추가한 필드는 총 9개로 철 목록에서 가져온 7개 필드(하늘색)와 이상치 판단을 위한 2개의 필드(주황색)이다.</p>
          <fig id="f005" position="float">
            <label>&#x3C;그림 5&#x3E;</label>
            <caption>
              <title>건 목록 정제 작업 예시</title>
            </caption>
            <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f005.jpg" position="float"/>
          </fig>
          <p>건별 이상치 판별 작업(&#x3C;그<xref ref-type="fig" rid="f003">림 3</xref>&#x3E;의 4)은 앞선 철 목록 검토사항을 반영하여 분류체계 및 철 제목 오류 사항을 분류하고(&#x3C;그<xref ref-type="fig" rid="f003">림 3</xref>&#x3E;의 4-1), 건 제목별 생산년도 각 기관의 생산기관 존립기간을 기준으로 항목을 확인한다(&#x3C;그<xref ref-type="fig" rid="f003">림 3</xref>&#x3E;의 4-2). 이 후 건별 이상치 기준(&#x3C;<xref ref-type="table" rid="t003">표 3</xref>&#x3E; 참고)에 따라 O/X/&#x25B3;를 기준에 맞게 선택하여 표기한다(&#x3C;그<xref ref-type="fig" rid="f003">림 3</xref>&#x3E;의 4-3).</p><table-wrap id="t003" position="float"> <label>&#x3C;표 3&#x3E;</label> <caption> <title>건 별 이상치 판별 기준</title> </caption> <table rules="all" frame="hsides"> <thead> <tr valign="middle"> <th align="center" colspan="2">구분</th> <th align="center">이상치 후보 유형</th> <th align="center">기준</th> <th align="center">자동화 가능 여부</th> </tr> </thead> <tbody> <tr valign="middle"> <td align="center" rowspan="4">X</td> <td align="center">1</td> <td align="left">분류체계 오류</td> <td align="left">계열별 기능어 분류표</td> <td align="center">X</td> </tr> <tr valign="middle"> <td align="center">2</td> <td align="left">생산년도 오류/종료년도 오류*</td> <td align="left">조사대상 하위기관 존립기관 목록</td> <td align="center">&#x25CB;</td> </tr> <tr valign="middle"> <td align="center">3</td> <td align="left">철_건 생산기관명 불일치</td> <td align="left">&#x2018;생산년도 오류/종료년도 오류&#x2019;인 경우 철 목록의 생산기관명과 건 목록의 처리과명 비교</td> <td align="center">X</td> </tr> <tr valign="middle"> <td align="center">4</td> <td align="left">철명 오류*</td> <td align="left">오타 및 띄어쓰기</td> <td align="center">&#x25CB;</td> </tr> <tr valign="middle"> <td align="center" rowspan="3">&#x25B3;</td> <td align="center">1</td> <td align="left">메타데이터만으로 확인 불가</td> <td align="left">메타데이터 부족으로 인해 건 제목만으로 해당 철과 분류체계에 해당되는 내용인지 확인 할 수 없는 경우</td> <td align="center">X</td> </tr> <tr valign="middle"> <td align="center">2</td> <td align="left">메타데이터만으로 확인 불가/공통</td> <td align="left">건 제목이 단순 기재되어 있는 경우</td> <td align="center">X</td> </tr> <tr valign="middle"> <td align="center">3</td> <td align="left">전거데이터 부족* </td> <td align="left">조사대상 하위기관 존립기관 목록</td> <td align="center">X</td> </tr> </tbody> </table> <table-wrap-foot> <p>*: 철 목록 이상치 승계</p> </table-wrap-foot> </table-wrap>
          <p>건 별 이상치 후보 유형으로는 철 목록 검토 사항을 반영한 후 건 제목 오류를 확인하여 이상 없는 경우 O, 오분류로 확인한 경우 X, 확인이 필요한 경우 &#x25B3;로 구분하였다. 이상치 X는 분류체계 오류, 생산년도 오류/종료년도 오류, 철_건 생산기관명 불일치, 철명 오류 등의 사례가 있으며, 이상치 &#x25B3;는 메타데이터만으로 확인 불가, 메타데이터 확인불가/공통, 전거데이터 부족 사례가 있다. 이상치 후보 중 CAMS 원문을 열람해서 확인해야 하거나 애초 메타데이터 등 관련 데이터가 결락되어 판단이 불가한 경우에는 기계학습 기법 적용 역시 불가하므로 자동화할 수 없다. 다만 철 목록 검토 결과와 마찬가지로 생산년도 오류/종료년도 오류, 철명 오류 이상치는 자동화가 가능한 유형이다.</p>
        </sec>
      </sec>
      <sec id="s3b">
        <title>3.2 분류 이상치 판별 학습데이터 구축</title>
        <p>본 연구는 궁극적인 목적은 이관된 기록물의 분류 이상치를 자동으로 판별하기 위한 기계학습 기술 개발에 있다. 이를 위해서는 원천이 되는 학습데이터 구축이 필수적이다. 본 연구에서는 3.1장에서 정의된 기록물 분류 이상치 판별 프로세스 과정을 실제 국가기록원에 이관된 전자기록물을 대상으로 적용, 그 결과를 학습데이터 형태로 구축하였다.</p>
        <sec id="s3ba">
          <title>3.2.1 학습데이터 구축 대상 기록물 선별</title>
          <p>본 연구 대상 기록물은 전자문서만을 대상으로 하였으며, 2016년부터 2020년도까지 이관된 기록물 중 경제 관련 기관에서 생산한 기록물 22,021건을 학습데이터 구축 기록물로 선별하였다. 경제 관련 기관을 특정한 이유는 먼저, 실제 국가기록원에서 해당 업무를 담당하고 있는 실무자의 요청이 있었으며, 분류 이상치 판별을 위해 필요한 공통지식자원인 생산기관 변천정보 및 직제 분석 자료 등의 완성도가 상대적으로 높게 관리되고 있었기 때문이다. 더불어 국가기록원으로 이관된 기록물 수량이 비교적 많고 국민들의 관심도가 높은 기관이라는 점도 고려되었다.</p>
          <p>&#x3C;<xref ref-type="table" rid="t004">표 4</xref>&#x3E;는 학습데이터 후보 집합을 기관 이력 및 규모에 따라 4그룹으로 나눈 것으로, 전체 22,021건 중 각 그룹별 건수는 [1] 재정운용 예산관리 관련 그룹이 1,607건, [2] 공공혁신 관련 그룹 1,189건, [3] 세제실 관련 그룹 15,304건, [4] 국고국 관련 그룹 3,921건으로 집계되었다. 이 중 [3] 그룹의 경우 1만5천 건 이상의 기록이 편중되어 있어, 실무자와의 협의를 통해 철 별 등록 건수가 100건 이상인 경우에는 각 15건, 100건 미만과 10건 이하 철은 각각 5건, 1건씩 산정하였다. 최종 학습데이터 구축 대상 기록물은 2,407철의 10,409건으로 선별되었다.</p><table-wrap id="t004" position="float"> <label>&#x3C;표 4.&#x3E;</label> <caption> <title>그룹별 구축 대상 철/건 수</title> </caption> <table rules="all" frame="hsides"> <thead> <tr valign="middle"> <th align="center" rowspan="2">구축 범위(그룹)</th> <th align="center" colspan="2">후보</th> <th align="center" colspan="2">학습데이터 구축 대상</th> </tr> <tr valign="middle"> <th align="center">철 수</th> <th align="center">건 수</th> <th align="center">철 수</th> <th align="center">건 수</th> </tr></thead> <tbody> <tr valign="middle"> <td align="left">[1] 기획예산처 재정운용실, 예산실, 예산관리국, 기금정책국, 성과관리본부 및 기획재정부 예산실</td> <td align="right">170</td> <td align="right">1,607</td> <td align="right">170</td> <td align="right">1,607</td> </tr> <tr valign="middle"> <td align="left">[2] 기획예산처 공공혁신국, 공공혁신본부 및 기획재정부 공공정책국</td> <td align="right">145</td> <td align="right">1,189</td> <td align="right">145</td> <td align="right">1,189</td> </tr> <tr valign="middle"> <td align="left">[3] 재정경제부 세제실 및 기획재정부 세제실</td> <td align="right">1,804</td> <td align="right">15,304</td> <td align="right">1,804</td> <td align="right">3.332</td> </tr> <tr valign="middle"> <td align="left">[4] 재정경제부 국고국 및 기획재정부 국고국</td> <td align="right">288</td> <td align="right">3,921</td> <td align="right">288</td> <td align="right">3,921</td> </tr> <tr valign="middle"> <td align="center">총계</td> <td align="right">2,407</td> <td align="right">22,021</td> <td align="right">2,407</td> <td align="right">10,049</td> </tr> </tbody> </table> </table-wrap>
        </sec>
        <sec id="s3bb">
          <title>3.2.2 학습데이터 검증</title>
          <p>고품질의 학습데이터를 구축하기 위해서는 다수의 작업자들의 결과를 취합, 검증하는 과정을 통해 오류 유형을 정리하고 이를 재학습시킴으로써 일관성을 유지하는 과정이 필요하다. 본 연구에서도 &#x3C;<xref ref-type="fig" rid="f006">그림 6</xref>&#x3E;과 같이 3.1 절에서 정립한 이관 기록물 분류 이상치 프로세스를 매뉴얼화하여 다수의 작업자에게 배포하고, 실제 적용시 명확한 기준을 수립하도록 교육하였다. 또한 개별 작업자의 결과물을 취합, 중간검수, 최종 검수자로 나누어 다단계 비교함으로써 결과의 일관성을 검증하였다. 최종적으로 이상치 판단 결과를 실제 국가기록원 실무자에게 제시하여 이상치 분류 정확도를 평가받고 제안한 프로세스의 유용성과 학습데이터의 일관성을 검증받았다.</p>
          <fig id="f006" position="float">
            <label>&#x3C;그림 6&#x3E;</label>
            <caption>
              <title>학습데이터 검증</title>
            </caption>
            <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f006.jpg" position="float"/>
          </fig>
          <p>본 연구에서는 중간 검수자 2명에 각각 2명의 작업자를 할당, 최종 검수자까지 총 7명의 작업자가 학습데이터를 구축하였으며, 초기에는 작업자 모두 같은 기록물을 판별하여 결과를 검증하는 단계를 거쳐 오류를 보정하는 재학습 과정을 반복 수행하고 업무지침서 및 학습데이터 구축 가이드라인을 보정해 나갔다.</p>
        </sec>
        <sec id="s3bc">
          <title>3.2.3 학습데이터 구축 결과</title>
          <p>&#x3C;<xref ref-type="table" rid="t005">표 5</xref>&#x3E;는 상기 과정(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E; 및 &#x3C;<xref ref-type="fig" rid="f006">그림 6</xref>&#x3E;)을 통해 연구 대상 4개 그룹의 이관 기록물의 이상치를 판별한 결과이다. 먼저 그룹별 철 목록의 이상치 수는 전체 2,407철 중 1,971철(81.8%)이 이상치 후보로 판별 되었다. 오분류로 확인된 경우(X)는 155철, 세부 확인이 필요한 경우(&#x25B3;)는 1,816철로 집계되었다. 건별 이상치 건수는 전체 10,049건 중 7,818건(77.7%)이 분류 이상치 후보로 판별되었다. 특히, [3]그룹의 경우 다른 그룹에 비해 이상치율이 약 95% 이상으로 높게 나타났다. 이상치 유형을 세부적으로 분석해본 결과, 건별 이상치(&#x25B3;)사례 2,625건 중 2,035건이 &#x2018;전거데이터 부족&#x2019;인 사례로 파악되었다. 이는 [3]그룹인 재정경제부 세제실 및 기획재정부 세제실의 대부분의 전거데이터가 제대로 구축되어 있지 않아서 생긴 문제로, 이 같은 결과는 기록관리를 위한 공통지식자원이 정확하고 일관되게 관리되어야 할 필요성이 있음을 반증하는 예이다.</p><table-wrap id="t005" position="float"> <label>&#x3C;표 5.&#x3E;</label> <caption> <title>분석범위 별 이상치 철/건수</title> </caption> <table rules="all" frame="hsides"> <thead> <tr valign="middle"> <th align="center" rowspan="2">구축범위(그룹)</th> <th align="center" colspan="4">철 수</th> <th align="center" colspan="4">건 수</th> </tr> <tr valign="middle"> <th align="center">대상</th> <th align="center">이상치 (&#x25B3;)</th> <th align="center">이상치 (X)</th> <th align="center">이상치율 (이상치/대상)</th> <th align="center">대상</th> <th align="center">이상치 (&#x25B3;)</th> <th align="center">이상치 (X)</th> <th align="center">이상치율 (이상치/대상)</th> </tr></thead> <tbody> <tr valign="middle"> <td align="center">[1]</td> <td align="right">170</td> <td align="right">46</td> <td align="right">15</td> <td align="right">35.8%</td> <td align="right">1,607</td> <td align="right">454</td> <td align="right">289</td> <td align="right">46.2%</td> </tr> <tr valign="middle"> <td align="center">[2]</td> <td align="right">145</td> <td align="right">54</td> <td align="right">6</td> <td align="right">41.3%</td> <td align="right">1,189</td> <td align="right">698</td> <td align="right">220</td> <td align="right">77.2%</td> </tr> <tr valign="middle"> <td align="center">[3]</td> <td align="right">1,804</td> <td align="right">1,619</td> <td align="right">97</td> <td align="right">95.1%</td> <td align="right">3,332</td> <td align="right">2,625</td> <td align="right">585</td> <td align="right">96.3%</td> </tr> <tr valign="middle"> <td align="center">[4]</td> <td align="right">288</td> <td align="right">97</td> <td align="right">37</td> <td align="right">46.5%</td> <td align="right">3,921</td> <td align="right">1.291</td> <td align="right">1,656</td> <td align="right">42.2%</td> </tr> <tr valign="middle"> <td align="center">총계</td> <td align="right">2,407</td> <td align="right">1,816(75.4%)</td> <td align="right">155(6.4%)</td> <td align="right">1,971(81.8%)</td> <td align="right">10,049</td> <td align="right">5,068(50.4%)</td> <td align="right">2,750(27.3%)</td> <td align="right">7,818(77.7%)</td> </tr> </tbody> </table> </table-wrap>
          <p>전체 1만여 건 중 오분류로 확인된 기록물(X)은 총 2,750건(27.3%), 세부 확인이 필요한 경우(&#x25B3;)가 5,068건(50.4%)으로 집계되었다. 이는 이관 기록물에 부여된 분류에 대해 담당자의 검수를 필요로 하는 기록물의 수량이 78%에 달함을 의미하는 수치로, 기록분류 업무의 난이도가 그만큼 높음과 해당 업무의 효율화, 지능화 필요성을 반증한다. 또 다른 한편으로 기존에 전수조사에 대비해 오분류가 비교적 명확한 경우(X, 27%)와 분류 이상치가 발견되지 않은 정상치(100-78=22%)는 담당자의 검수 우선순위를 후순위로 하거나 제외함으로써 수작업을 최소화할 수 있음을 함의한다.</p>
          <p>오류 유형 분포는 &#x3C;<xref ref-type="table" rid="t006">표 6</xref>&#x3E;과 같이 &#x2018;생산년도 오류/종료년도 오류&#x2019; 2,038건 (31%), &#x2018;철_건 생산기관명 불일치&#x2019; 2,020건 (31%), &#x2018;분류체계 오류&#x2019; 938건(14%), &#x2018;전거데이터 부족&#x2019; 883건(13%), &#x2018;메타데이터만으로 확인 불가&#x2019; 736건 (11%), &#x2018;철명 오류&#x2019; 1건(0%)의 순서로 나타났다. 건 목록 이상치(X) 결과에는 철 목록 검토 사항을 승계 받아 &#x2018;생산년도 오류/종료년도 오류&#x2019;, &#x2018;전거데이터 부족&#x2019;, &#x2018;철명 오류&#x2019; 사항이 포함되어 있으며, 이상치(&#x25B3;)의 사례 기준인 &#x2018;전거데이터 부족&#x2019;이 결과에 반영된 이유는 해당하는 기록물이 오분류로 판별되고 더불어 생산기관의 전거데이터가 미구축 된 사례가 포함되어 있기 때문이다.</p>
          <table-wrap id="t006" position="float">
            <label>&#x3C;표 6&#x3E;</label>
            <caption>
              <title>건 목록 이상치(X) 결과</title>
            </caption>
            <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-t006.jpg" position="float"/>
          </table-wrap>
          <p>특히 철 목록에서 승계받은 이상치 결과 중 ‘생산년도 오류/종료년도 오류’의 이상치가 다소 높아 업무 담당자와 인터뷰를 진행하여 원인을 파악한 결과, 전자문서시스템으로 생산된 기록물의 경우 종결 시점이 생산년도/종료년도 철 정보로 입력되기 때문에 온나라 문서시스템으로 생산된 기록물의 생산년도/종료년도와 차이가 날 수 있으며, 이러한 생산시스템 정보와 차이가 있음을 알고 있으나 이관시 이를 그대로 승계해 발생한 문제로 파악되었다.</p>
          <p>구체적인 이상치(X) 예시는 &#x3C;<xref ref-type="fig" rid="f007">그림 7</xref>&#x3E;과 같다. 먼저 &#x2018;1) 생산년도 오류/종료년도 오류&#x2019;는 조사대상 하위기관 존립기관 목록을 참조해 판별되었다. 이 기록물의 생산년도, 종료년도는 2004-2004(년도)로 입력되어 있었지만 기록물 생산기관 변천정보시스템과 국가기록원 전거목록을 확인 하였을 때, 기획예산처 재정운용실의 존립기간은 2005-2008(년도)로 나타나 오분류로 판별되었다. &#x2018;2) 철명 오류&#x2019;는 오타 및 띄어쓰기 기준으로 판별 가능하다. &#x2018;3) 전거데이터 부족&#x2019;은 기록물생산기관변천정보시스템, 국가기록원 전거목록을 확인한 후 조사대상 하위기관 해당 존립기관 목록에 존재하지 않는 경우에 해당한다. &#x2018;4) 분류체계 오류&#x2019; 사례의 경우, 이 기록물은 기존에 &#x2018;처리과업무계획(보고)평가&#x2019;로 편철되어 있었다. 그러나 앞선 &#x3C;<xref ref-type="table" rid="t003">표 3</xref>&#x3E;에서 제시한 기준에 의해 &#x2018;계열별 기능어 분류표&#x2019;를 기반으로 기록물의 생산기관, 처리과, 철 제목, 건 제목 등을 확인한 결과, 오분류로 판별되었으며 &#x2018;민간 투자사업 기본계획 운용&#x2019;이라는 정답 분류체계를 추천하였다. &#x2018;5) 철_건 생산기관명 불일치&#x2019; 사례는 &#x2018;생산년도 오류/종료년도 오류&#x2019;로 판별이 난 기록물을 대상으로 철 목록의 생산기관명과 건 목록의 처리과명을 비교하여 이상치를 판별되었다. 마지막으로 &#x2018;검토 부탁드립니다&#x2019;라는 제목의 기록물의 경우, 제목만으로는 해당 철과 분류 체계에 적합한 내용인지 확인 할 수 없어 &#x2018;6) 메타데이터만으로 확인 불가&#x2019;의 사례로 판별하였다.</p>
          <fig id="f007" position="float">
            <label>&#x3C;그림 7&#x3E;</label>
            <caption>
              <title>이상치(X) 유형별 사례</title>
            </caption>
            <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f007.jpg" position="float"/>
          </fig>
          <p>목록만으로는 최종 판단이 불가하고 실제 기록물 원문을 열람하거나 CAMS의 상세 정보 조회를 통해 확인이 필요한 기록물 이상치(&#x25B3;)는 총 5,068건으로 자세한 분포는 &#x3C;<xref ref-type="table" rid="t007">표 7</xref>&#x3E;과 같다. 사례의 분포는 전거데이터 부족 4,394건(74%), 메타데이터만으로 확인 불가 1,443건(24%), 메타데이터만으로 확인 불가/공통 123건(2%), 철명 오류 1건(0%) 순으로 나타났다. 또한 철 목록 검토 사항을 승계 받아 &#x2018;전거데이터 부족&#x2019;, &#x2018;철명 오류&#x2019; 사항이 포함되어 있다.</p>
          <table-wrap id="t007" position="float">
            <label>&#x3C;표 7&#x3E;</label>
            <caption>
              <title>건 목록 이상치(&#x25B3;) 결과</title>
            </caption>
            <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-t007.jpg" position="float"/>
          </table-wrap>
          <p>구체적인 이상치(&#x25B3;) 예시는 &#x3C;<xref ref-type="fig" rid="f008">그림 8</xref>&#x3E;과 같다. &#x2018;1) 전거데이터 부족&#x2019; 사례는 기록물생산기관변천정보시스템, 국가기록원 전거목록을 확인한 후 조사대상 하위기관 해당 존립기관 목록에 존재 하지않아 목록만으로 최종 판단이 불가능한 경우였고, &#x2018;2) 철명 오류&#x2019;는 오타 및 띄어쓰기 기준으로 판별되었다. &#x2018;3) 메타데이터만으로 확인 불가&#x2019;는 &#x2018;공무원 제안 검토&#x2019;라는 건 제목으로 해당 철과 분류체계에 해당되는 내용인지 확인할 수 없는 사례로, 추가 확인이 필요한 기록물로 판별하였다. 마지막으로 &#x2018;4) 메타데이터만으로 확인 불가/공통&#x2019;에 해당하는 예시는 &#x2018;관보 게재 의뢰&#x2019;라는 건 제목으로 다양한 철 목록에 동일한 건제목이 다수 존재하여 해당 철과 분류체계에 해당되는 내용인지 확인 할 수 없어 이상치 &#x25B3;로 판별하였다. 이렇듯 이상치(&#x25B3;) 기록들은 실제 오분류 여부 판단을 위해 담당자가 전문을 열람하거나 CAMS 내 상세 데이터를 추가로 검토하는 작업을 요한다.</p>
          <fig id="f008" position="float">
            <label>&#x3C;그림 8&#x3E;</label>
            <caption>
              <title>이상치(&#x25B3;) 유형별 사례</title>
            </caption>
            <graphic xlink:href="../ingestImageView?artiId=ART002815120&amp;imageName=jksarm-2022-22-1-43-f008.jpg" position="float"/>
          </fig>
        </sec>
      </sec>
      <sec id="s3c">
        <title>3.3 분류 이상치 판별 자동화 방안</title>
        <p>본 절에서는 &#x3C;<xref ref-type="fig" rid="f002">그림 2</xref>&#x3E;와 &#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E;에서와 같이 분류 이상치 판별 프로세스를 정립하는 과정을 통해 자동화가 가능한 세부 업무를 도출, 세부적인 구현 방안에 대해 기술한다. 판단 기준은 반복적으로 수행되고 기계적으로 학습 가능 혹은 처리 가능한 업무는 &#x2018;자동화&#x2019;로, 관련 자료 수집 및 정리 등 일정 부분만 자동화가 가능하고 이외는 기록물 담당자의 작업을 필요로 하는 업무는 &#x2018;반자동화&#x2019;로 구분하였다. 또한 기록물 담당자의 고차원적인 사고과정을 필요로 하여 현재의 AI 기술로는 적용이 불가능하거나, 기계학습에 들어가는 비용이 너무 커 비효율적인 업무는 &#x2018;자동화 불가&#x2019;로 구분하였다.</p>
        <p>먼저 자동화가 가능한 영역은( &#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E; &#x2018;자동화&#x2019; 녹색 겹선 박스 표시)는 원시 목록을 정제하는 과정 중 철&#x22C5;건 목록의 분석 범위별 목록 분류, 건 목록 정제 과정 중 철 목록 필드 추가 입력 과정이 있다. 이는 비교적 단순하면서도 반복적으로 수행되는 작업으로, 해당 작업들은 문자열 처리를 수행하는 간단한 코딩과 엑셀에서 제공하는 정렬 기능을 활용하는 방식으로 자동화가 가능하다. 또한 철 목록 검토와 건별 이상치 판별 프로세스에서 생산년도 항목을 확인하는 과정 역시 공통지식자원 중 조사대상 하위기관 존립기관 목록을 기준으로 자동 판별이 가능하다. 마지막으로 철 목록 검토 프로세스에서 철 제목 오류를 확인하는 과정은 기록물분류기준표나 기록관리기준표를 참조하여 웹 크롤링 기법을 포함해 기계학습 기반 언어분석 기술 등을 적용하여 자동화가 가능하다.</p>
        <p>반자동화가 가능한 영역(&#x3C;<xref ref-type="fig" rid="f003">그림 3</xref>&#x3E; &#x2018;반자동화&#x2019; 주황 음영 박스 표시)은 각 철과 건 목록의 필드를 재정렬하는 과정이다. 분석 범위별 목록 자체는 자동으로 추출, 엑셀(excel)에서 처리 가능한 형태로 출력되나, 이후 기록물 담당자가 이상치 판별을 위한 필드를 추가하고 재정렬하는 검수 단계가 필요하다. 이 과정은 자동화와 기록물 담당자의 역할이 공존하는 과정이기 때문에 반자동화에 해당한다.</p>
        <p><xref ref-type="bibr" rid="r013">한국고용정보원(2016)</xref>은 인공지능과 로봇기술에 따른 자동화의 직무 대체는 단순반복 과업 중심으로 대체될 것이고 중요한 의사결정과 감성, 지적능력에 기초한 직무는 여전히 인간이 맡게 될 것이라고 제언했다. 즉, 사람의 지각력과 사고방식, 지적능력이 필요한 업무는 자동화되기 힘들다는 것이다. 이상치 판별 과정 중 대체되기 어려운 업무는 철 목록 검토 과정에서 오분류를 확인하는 영역과, 건 별 이상치를 판단하는 과정에서 분류체계 및 철 제목과 건 제목 오류를 확인하는 영역이다. 상기한 과정은 기록물 담당자의 고차원적인 판단이 필요로 하는 영역으로, 공통지식자원 외에 담당자의 배경 지식과 생산기관별 세부 이력이나 규정 등 추가 정보를 활용하는 등 사전에 정의되지 않은 다양한 정보들을 필요로 하게 된다. 이러한 유형의 오분류 판단은 규격화되지 않은 추가 과정을 필요로 하는 것으로, 기계학습을 적용하기 불가능한 유형이다. 그 외 &#x3C;<xref ref-type="table" rid="t002">표 2</xref>&#x3E;와 &#x3C;<xref ref-type="table" rid="t003">표 3</xref>&#x3E;에 나타난 바와 같이 오류 이상치 유형의 판단 기준이 비교적 일반적이고 단순해 기계에 학습시킬 수 있는 부분들은 &#x3C;<xref ref-type="fig" rid="f004">그림 4</xref>&#x3E;와 &#x3C;<xref ref-type="fig" rid="f005">그림 5</xref>&#x3E;와 같이 각각 철 목록과 건 목록에 태깅된 이상치 유형을 학습데이터로 활용, 기계학습 모델을 구축하면 된다.</p>
      </sec>
    </sec>
    <sec id="s4" sec-type="conclusions">
      <title>4. 결 론</title>
      <p>4차 산업혁명 시대가 도래하면서 점차 일상생활과 업무의 영역에 영향을 미치고 있다. 특히 전자기록 환경에서 지능형 문서 처리는 기록관리 업무에 광범위한 변화를 초래할 수 있다. 학습데이터를 활용하여 반복되는 업무의 처리를 자동화할 수 있으며, 기록물의 기술 업무에도 문서 요약 엔진 활용 및 색인어 추출 자동화 등을 적용할 수 있다. 또한 전거정보의 활용 및 기록물 분류 업무에도 자동화 기술의 적용 가능성이 높다. 이러한 기록관리업무 변화에 맞추어 기록물 담당자는 수행해야 하는 업무 내용을 확인하고 이에 걸맞은 역량을 준비할 필요가 있다. 그러나 매년 이관되는 기록물의 방대한 양에 비해 관리 과정은 대부분 수작업으로 진행하고 있으며, 참조하고 있는 자료 역시 산발적으로 관리되고 있어 어려움이 매우 크다.</p>
      <p>이에 본 연구는 먼저 국가기록원을 대상으로 기록물 담당자와 FGI를 수행하여 세부 업무를 분석하였으며, 심층면담 결과에 따라 요구사항을 도출하였다. 업무 프로세스 정립, 재편철, 이상치 판별 등의 요구사항에 따라 기록물 분류 이상치 판별 프로세스를 정립한 후 학습데이터를 구축하였다. 이를 통해 업무 효율화를 꾀하고, 업무 프로세스의 정립을 통한 체계적이며 일관된 업무 수행을 도모하였다. 연구 결과를 정리하면 다음과 같다.</p>
      <p>먼저 분류 이상치 판별 프로세스를 정립하는 과정을 통해 자동화가 가능한 세부 업무를 도출, 자동화, 반자동화, 자동화 불가로 구분하였다. 이후 정립된 이상치 판별 업무 프로세스를 실제 국가기록원으로 이관된 기록물을 대상으로 적용한 결과, 구축 대상 전체 1만여 건 기록물 중 약 78%(7,818건)의 기록물이 분류 결과에 대한 재고가 필요하다고 판별되었다. 철 목록으로 기준으로 전체 2,407철 중 1,971철, 약 82% 철에 오분류 가능성이 있는 기록물이 포함된 것으로, 이는 애초 국가기록원으로 이관된 기록물의 편철 정보가 명확히 이해되는 경우가 적다는 것을 함의한다. 다시 말해 실제 기록물 원문 전체를 열람하지 않고 주요 메타데이터를 기반으로 작성된 목록만을 대상으로 판단할 수 있는 부분이 매우 제한적임을 의미한다. 이는 본 연구의 목적이 기존의 기록물 분류&#xB7;기술 업무의 지능화 방안을 도출하는 데 있다는 점을 감안하면 매우 큰 괴리가 있는 결과로, 애초 해당 업무의 상당 부분이 기계학습에 부적합한 난이도의 업무임을 반증한다.</p>
      <p>그럼에도 불구하고 다른 한편으로는 분류 이상치 판별 프로세스를 적용하여 도출된 학습데이터를 통해 입수된 이관 기록물의 메타데이터와 기록관리기준표 등과 같은 공통지식자원만을 참조하여 분류 오류 이상치로 판별된 유형은 기계적으로 학습 가능하며 이는 자동화할 수 있는 영역임을 다시 한 번 검증할 수 있었다. 또한 필수 메타데이터로 구성된 목록에 기반해 이상치를 판별, 원문 열람 후보를 추천함으로써 담당자의 수작업을 최소화하는데 일조할 수 있음을 보였다.</p>
      <p>본 연구는 기록물 담당자의 개별적인 노하우와 수작업에 의존하여 진행하는 기록물 분류 업무의 지능화를 위한 사전 작업으로, 추후 새로운 담당자가 해당 업무를 명확히 이해하고 수행할 수 있는 지침서를 마련하고 실질적 업무 경감에 따른 효율성을 높이기 위해 시작되었다. 향후 연구 방향으로는 현재 경제 관련 주요 생산기관을 대상으로 연구를 수행한 점에서 확장해 다양한 계열의 공공기관 이관 기록물을 대상으로 적용함으로써 학습데이터 구축 프로세스의 실효성을 검증하고자 한다. 나아가 현재는 자동화가 어렵다고 판단한 이상치 후보의 세부 유형을 분석해 학습 가능한 요소를 규명, 이에 대한 학습데이터 구축을 확장하고자 한다. 본 연구의 결과가 이관 기록물의 분류 자동화를 위한 기초 자료로 활용되고 나아가 현업에서 직접적으로 적용할 수 있는 실효성 있는 연구 결과이길 고대한다.</p>
    </sec>
  </body>
  <back>
    <fn-group>
      <fn fn-type="supported-by">
        <label>▪</label>
        <p>본 논문은 &#x2018;2021년 국가기록관리 활용기술 연구개발(R&amp;D) 사업&#x2019;의 연구비를 지원받아 수행되었음.</p>
      </fn>
      <fn fn-type="supported-by">
        <label>▪</label>
        <p>본 논문은 2019년 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임(과제번호: NRF-2019S1A5B8099507).</p>
      </fn>
      <fn id="fn001">
        <label>1)</label>
        <p>2021년 4월 29일 ~ 2021년 5월 21일 국가기록원 방문(대전, 성남) 총 3회 수행, 면담자: 5명</p>
      </fn>
      <fn id="fn002">
        <label>2)</label>
        <p>2021년 6월 21일 ~ 2021년 7월 28일 국가기록원(대전, 성남) 방문 및 온라인 회의 총 7회 수행, 면담자: 7명</p>
      </fn>
      <fn id="fn003">
        <label>3)</label>
        <p>CAMS에서 기록물이 등록되고 관리되는 번호로 관리번호는 철단위로 부여되는 총 9자리 숫자로 알파벳 2자리+숫자 7자리로 구성된다. BSID는 철에, DSID는 건에 각각 부여되는 12자리 숫자이다.</p>
      </fn>
    </fn-group>
    <ref-list>
      <ref id="r001">
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>강</surname>
              <given-names>윤아</given-names>
            </name>
            <name>
              <surname>박</surname>
              <given-names>태연</given-names>
            </name>
            <name>
              <surname>김</surname>
              <given-names>현진</given-names>
            </name>
            <name>
              <surname>오</surname>
              <given-names>효정</given-names>
            </name>
          </person-group>
          <article-title>생산기관 직제분석 자동화 및 공통 활용 방안</article-title>
          <source>한국기록관리학회지</source>
          <year>2021</year>
          <volume>21</volume>
          <issue>4</issue>
          <fpage>81</fpage>
          <lpage>99</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2021.21.4.081</pub-id>
        </element-citation>
      </ref>
      <ref id="r002">
        <element-citation publication-type="book">
          <collab>국가기록원</collab>
          <source>기록관리 AI 기술적용을 위한 공통 학습데이터 세트 구축 연구</source>
          <year>2021a</year>
        </element-citation>
      </ref>
      <ref id="r003">
        <element-citation publication-type="other">
          <collab>국가기록원</collab>
          <source>영구기록물관리기관 표준모델: 기능 및 업무절차(v2.2)</source>
          <year>2021b</year>
        </element-citation>
      </ref>
      <ref id="r004">
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>김</surname>
              <given-names>인택</given-names>
            </name>
            <name>
              <surname>안</surname>
              <given-names>대진</given-names>
            </name>
            <name>
              <surname>이</surname>
              <given-names>해영</given-names>
            </name>
          </person-group>
          <article-title>인공지능을 활용한 지능형 기록관리 방안</article-title>
          <source>한국기록관리학회지</source>
          <year>2017</year>
          <volume>17</volume>
          <issue>4</issue>
          <fpage>225</fpage>
          <lpage>250</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2017.17.4.225</pub-id>
        </element-citation>
      </ref>
      <ref id="r005">
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>김</surname>
              <given-names>해찬솔</given-names>
            </name>
            <name>
              <surname>안</surname>
              <given-names>대진</given-names>
            </name>
            <name>
              <surname>임</surname>
              <given-names>진희</given-names>
            </name>
            <name>
              <surname>이</surname>
              <given-names>해영</given-names>
            </name>
          </person-group>
          <article-title>기계학습을 이용한 기록 텍스트 자동분류 사례 연구</article-title>
          <source>정보관리학회지</source>
          <year>2017</year>
          <volume>34</volume>
          <issue>4</issue>
          <fpage>321</fpage>
          <lpage>344</lpage>
          <pub-id pub-id-type="doi">10.3743/KOSIM.2017.34.4.321</pub-id>
        </element-citation>
      </ref>
      <ref id="r006">
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>설</surname>
              <given-names>문원</given-names>
            </name>
          </person-group>
          <article-title>기록분류를 위한 정부기능분류체계의 적용 구조 및 운용 분석</article-title>
          <source>한국비블리아학회지</source>
          <year>2013</year>
          <volume>24</volume>
          <issue>4</issue>
          <fpage>23</fpage>
          <lpage>51</lpage>
          <pub-id pub-id-type="doi">10.14699/kbiblia.2013.24.4.023</pub-id>
        </element-citation>
      </ref>
      <ref id="r007">
        <element-citation publication-type="confproc">
          <person-group person-group-type="author">
            <name>
              <surname>오</surname>
              <given-names>진관</given-names>
            </name>
          </person-group>
          <source>영구기록 관리와 서비스를 위한 자동화, 지능화 기술</source>
          <conf-name>한국기록관리학회 춘계 학술대회 논문집</conf-name>
          <year>2019</year>
          <fpage>69</fpage>
          <lpage>74</lpage>
          <pub-id pub-id-type="doi">10.14404/PKSARM.2019.S.069</pub-id>
        </element-citation>
      </ref>
      <ref id="r008">
        <element-citation publication-type="thesis">
          <person-group person-group-type="author">
            <name>
              <surname>윤</surname>
              <given-names>상우</given-names>
            </name>
          </person-group>
          <source>업무기능분석을 통한 공공기관 기록분류체계 구축방안: A기관 기록관리기준표 수립사례를 중심으로. 석사학위논문</source>
          <publisher-name>강릉원주대학교 대학원 기록관리협동과정</publisher-name>
          <year>2020</year>
        </element-citation>
      </ref>
      <ref id="r009">
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>장</surname>
              <given-names>지숙</given-names>
            </name>
            <name>
              <surname>이</surname>
              <given-names>해영</given-names>
            </name>
          </person-group>
          <article-title>맥락정보를 이용한 기록 자동분류시스템 설계</article-title>
          <source>한국기록관리학회지</source>
          <year>2009</year>
          <volume>9</volume>
          <issue>1</issue>
          <fpage>151</fpage>
          <lpage>173</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2009.9.1.151</pub-id>
        </element-citation>
      </ref>
      <ref id="r010">
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>장</surname>
              <given-names>현종</given-names>
            </name>
            <name>
              <surname>노</surname>
              <given-names>지현</given-names>
            </name>
          </person-group>
          <article-title>국립대학 기록물 분류체계의 운영현황과 개선방안에 관한 연구</article-title>
          <source>한국기록관리학회지</source>
          <year>2021</year>
          <volume>21</volume>
          <issue>2</issue>
          <fpage>115</fpage>
          <lpage>134</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2021.21.2.115</pub-id>
        </element-citation>
      </ref>
      <ref id="r011">
        <element-citation publication-type="journal">
          <person-group person-group-type="author">
            <name>
              <surname>최</surname>
              <given-names>정렬</given-names>
            </name>
          </person-group>
          <article-title>기계학습 활용을 위한 학습 데이터세트 구축 표준화 방안에 관한 연구</article-title>
          <source>한국디지털정책학회논문지</source>
          <year>2018</year>
          <volume>16</volume>
          <issue>10</issue>
          <fpage>205</fpage>
          <lpage>212</lpage>
          <pub-id pub-id-type="doi">10.14400/JDC.2018.16.10.205</pub-id>
        </element-citation>
      </ref>
      <ref id="r012">
        <element-citation publication-type="thesis">
          <person-group person-group-type="author">
            <name>
              <surname>최</surname>
              <given-names>철민</given-names>
            </name>
          </person-group>
          <source>국가기록원 소장 기록의 논리적 재편철 연구. 석사학위논문</source>
          <publisher-name>한남대학교 대학원 기록관리학과</publisher-name>
          <year>2018</year>
        </element-citation>
      </ref>
      <ref id="r013">
        <element-citation publication-type="web">
          <collab>한국고용정보원</collab>
          <source>인공지능(AI), 로봇과 사람의 협업시대</source>
          <year>2016</year>
          <month>3</month>
          <day>24</day>
          <comment>출처: <uri>http://www.keis.or.kr/user/bbs/main/137/3963/bbsDataView/32721.do?page=38&amp;column=&amp;search=&amp;searchSDate=&amp;searchEDate=&amp;bbsDataCategory=</uri></comment>
        </element-citation>
      </ref>
      <ref id="r014">
        <element-citation publication-type="thesis" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Choi</surname>
              <given-names>Cheol-min</given-names>
            </name>
          </person-group>
          <source>A Study on the Logical Reorganization of Records Owned by the National Archives of Korea. Master&#x2019;s thesis</source>
          <publisher-name>Department of Archival Studies, Graduate school of Hannam University</publisher-name>
          <publisher-loc>South Korea</publisher-loc>
          <year>2018</year>
        </element-citation>
      </ref>
      <ref id="r015">
        <element-citation publication-type="journal" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Choi</surname>
              <given-names>Jung Yul</given-names>
            </name>
          </person-group>
          <article-title>A study on the standardization strategy for building of learning data set for machine learning applications</article-title>
          <source>Journal of Digital Convergence</source>
          <year>2018</year>
          <volume>16</volume>
          <issue>10</issue>
          <fpage>205</fpage>
          <lpage>212</lpage>
          <pub-id pub-id-type="doi">10.14400/JDC.2018.16.10.205</pub-id>
        </element-citation>
      </ref>
      <ref id="r016">
        <element-citation publication-type="journal" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Jang</surname>
              <given-names>Hyun-Jong</given-names>
            </name>
            <name>
              <surname>Rho</surname>
              <given-names>Jee-Hyun</given-names>
            </name>
          </person-group>
          <article-title>Problems encountered by and improvement strategies of the records classification system for national universities</article-title>
          <source>Journal of Korean Society of Archives and Records Management</source>
          <year>2021</year>
          <volume>21</volume>
          <issue>2</issue>
          <fpage>115</fpage>
          <lpage>134</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2021.21.2.115</pub-id>
        </element-citation>
      </ref>
      <ref id="r017">
        <element-citation publication-type="journal" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Jang</surname>
              <given-names>Ji-Sook</given-names>
            </name>
            <name>
              <surname>Rieh</surname>
              <given-names>Hae-Young</given-names>
            </name>
          </person-group>
          <article-title>Design of automatic records classification system using contextual information</article-title>
          <source>Journal of Korean Society of Archives and Records Management</source>
          <year>2009</year>
          <volume>9</volume>
          <issue>1</issue>
          <fpage>151</fpage>
          <lpage>173</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2009.9.1.151</pub-id>
        </element-citation>
      </ref>
      <ref id="r018">
        <element-citation publication-type="journal" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Kang</surname>
              <given-names>Yoona</given-names>
            </name>
            <name>
              <surname>Park</surname>
              <given-names>Tae-yeon</given-names>
            </name>
            <name>
              <surname>Kim</surname>
              <given-names>Hyunjin</given-names>
            </name>
            <name>
              <surname>Oh</surname>
              <given-names>Hyo-Jung</given-names>
            </name>
          </person-group>
          <article-title>utomation and common utilization plans of job and organization analysis of producing institutions</article-title>
          <source>Journal of Korean Society of Archives and Records Management</source>
          <year>2021</year>
          <volume>21</volume>
          <issue>4</issue>
          <fpage>81</fpage>
          <lpage>99</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2021.21.4.081</pub-id>
        </element-citation>
      </ref>
      <ref id="r019">
        <element-citation publication-type="journal" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Kim</surname>
              <given-names>Hae Chan Sol</given-names>
            </name>
            <name>
              <surname>An</surname>
              <given-names>Dae-Jin</given-names>
            </name>
            <name>
              <surname>Yim</surname>
              <given-names>Jin Hee</given-names>
            </name>
            <name>
              <surname>Rieh</surname>
              <given-names>Hae-Young</given-names>
            </name>
          </person-group>
          <article-title>A study on automatic classitification of record text using machine learning</article-title>
          <source>Korean Society for Information Society</source>
          <year>2017</year>
          <volume>34</volume>
          <issue>4</issue>
          <fpage>321</fpage>
          <lpage>344</lpage>
          <pub-id pub-id-type="doi">10.3743/KOSIM.2017.34.4.321</pub-id>
        </element-citation>
      </ref>
      <ref id="r020">
        <element-citation publication-type="journal" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Kim</surname>
              <given-names>Intaek</given-names>
            </name>
            <name>
              <surname>An</surname>
              <given-names>Dae-Jin</given-names>
            </name>
            <name>
              <surname>Rieh</surname>
              <given-names>Hae-Young</given-names>
            </name>
          </person-group>
          <article-title>Intelligent records and archives management that applies artificial intelligence</article-title>
          <source>Journal of Korean Society of Archives and Records Management</source>
          <year>2017</year>
          <volume>17</volume>
          <issue>4</issue>
          <fpage>225</fpage>
          <lpage>250</lpage>
          <pub-id pub-id-type="doi">10.14404/JKSARM.2017.17.4.225</pub-id>
        </element-citation>
      </ref>
      <ref id="r021">
        <element-citation publication-type="web" xml:lang="en">
          <collab>Korea Employment Information Service</collab>
          <source>Artificial intelligence(AI), the era of collaboration between robots and humans</source>
          <year>2016</year>
          <month>March</month>
          <day>24</day>
          <comment>Available: <uri>http://www.keis.or.kr/user/bbs/main/137/3963/bbsDataView/32721.do?page=38&amp;column=&amp;search=&amp;searchSDate=&amp;searchEDate=&amp;bbsDataCategory=</uri></comment>
        </element-citation>
      </ref>
      <ref id="r022">
        <element-citation publication-type="book" xml:lang="en">
          <collab>National Archives of Korea</collab>
          <source>Study on Common Training Dataset Construction for appling AI technology for Records Managements</source>
          <year>2021a</year>
        </element-citation>
      </ref>
      <ref id="r023">
        <element-citation publication-type="other" xml:lang="en">
          <collab>National Archives of Korea</collab>
          <source>Standard Model for Archives: Function and Procedure Version 2.2</source>
          <year>2021b</year>
        </element-citation>
      </ref>
      <ref id="r024">
        <element-citation publication-type="confproc" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Oh</surname>
              <given-names>Jin Kwan</given-names>
            </name>
          </person-group>
          <source>Automated and intelligent technology for archives management and services</source>
          <conf-name>Proceedings of Korean Society of Archives and Records Management</conf-name>
          <year>2019</year>
          <fpage>69</fpage>
          <lpage>74</lpage>
          <pub-id pub-id-type="doi">10.14404/PKSARM.2019.S.069</pub-id>
        </element-citation>
      </ref>
      <ref id="r025">
        <element-citation publication-type="journal" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Seol</surname>
              <given-names>Moon-Won</given-names>
            </name>
          </person-group>
          <article-title>An analysis of the application framework of the business reference model to records classification schemes in Korean central government agencies</article-title>
          <source>Journal of the Korean Biblia Society for Library and Information Science</source>
          <year>2013</year>
          <volume>24</volume>
          <issue>4</issue>
          <fpage>23</fpage>
          <lpage>51</lpage>
          <pub-id pub-id-type="doi">10.14699/kbiblia.2013.24.4.023</pub-id>
        </element-citation>
      </ref>
      <ref id="r026">
        <element-citation publication-type="thesis" xml:lang="en">
          <person-group person-group-type="author">
            <name>
              <surname>Yun</surname>
              <given-names>Sang-Woo</given-names>
            </name>
          </person-group>
          <source>A Plan to Establish a Record Classification System for Public Institutions through Business Function Analysis: Focused on the Example of Establishment of A Organization Record Management Standard Table. Master&#x2019;s thesis</source>
          <publisher-name>Department of Archival Studies, Gangnung-wonju National University Graduate school</publisher-name>
          <publisher-loc>South Korea</publisher-loc>
          <year>2020</year>
        </element-citation>
      </ref>
    </ref-list>
  </back>
</article>
