연구 참여자는 소화기계 증상을 호소하는 환자들로, 부산대학교 한방병원에서 모집이 되었다.* 한의사가 환자들에게 질환에 대한 문진을 한 후, 문진 결과를 텍스트 데이터로 생성하는 작업을 수행하였다. 총 200명의 환자에 대해 원시 데이터(Raw data)가 수집되었다. 이후 주요한 한의학파에서 선별된 한의사들이 원시 자연어 데이터를 분석해서 2차 데이터를 생성했다.

구체적으로, 환자의 질환과 관련 있는 증상들이 학파 한의사들에 의해서 선정 되었다. 또한 한의사들은 그 증상과 관련된 자연어 서술 부분을 원시 데이터로부터 발췌하였다. 사상체질의학회, 대한형상의학회, 대한상한금궤의학회의 3개의 학파에서 각각 한의사 3인의 합의에 의해서 환자의 질환과 관련된 증상들이 추천되었다. 3개의 학파 별로 데이터셋이 만들어졌다.

증상의 추천은 텍스트 분류 모델(Text classification model)을 사용하여 이루어진다. 분류 모델은 Term frequency (TF) 행렬을 입력으로 사용한다.

행(Row)는 각 데이터이고 열(Column)은 형태소이다. 행렬의 값은 형태소가 한 번도 등장하지 않으면 0, n번 등장하면 n이다. 예를 들어 i번째 데이터가 "갈증을 자주 느낀다''이고 j번째 형태소가 ‘ 갈증'이면 TF 행렬의 i행의 j열의 값은 1이다. 행 렬의 구성을 위해 Python의 KoNLPy 패키지의 Twitter 형태소 분석기가 사용되었다. 명사, 동사, 영단어, 숫자 등이 형태소로 추출 되었다. 5-fold cross validation으로 성능 측정을 위해서 최소 10개의 데이터를 가진 증상들만 학습 및 평가에 사용했다.

시스템은 다양한 증상을 판별해야하므로 Multi-label classification이 가능한 SVM모델이 사용되었다. Label은 증상이다. 증상 간의 비교를 위해 One-vs-one decision function이 사용되었다. 성능 평가를 위해 5-fold cross validation이 사용되었고, 각 증상에 해당하는 데이터들이 Fold별로 고르게 샘플링 되도록 계층적 샘플링을 사용했다. Fold별로 약 80%의 데이터가 모델 생성을 위한 학습 데이터로 사용되었고 나머지 20%가 테스트 데이터로 사용되었다. 학습된 모델은 입력에 대해 각 증상일 확률 값을 반환한다. 자연어 입력에 대한 전문가들에 의해 레이블링(Labeling)된 증상명이 모델에서 얼마나 높은 순위로 예측 되었는지를 아래의 수식을 이용해서 계산하고 이를 성능 평가에 사용하였다.

N은 테스트 데이터의 총 개수, M은 증상의 개수이다. AUC(i,j)는 다음과 같다.

model(i,k)은 i번째 테스트 데이터를 모델에 넣었을 때, 모델이 반환한 k번째로 높은 확률 값에 대한 증상명이다. label(i)는 i번째 테스트 데이터에 대해서 한의사들이 지정한 증상명이다. I는 indicator 함수로 model(i,k)과 label(i)이 같으면 1을 다르면 0을 반환한다. 즉 i번째 입력 데이터를 학습된 모델에 넣었을 때 모델이 반환한 j번째 추천 증상까지 봤을 때 한의사들이 선정한 증상이 포함되면 1, 아니면 0의 값을 반환한다. 임의로 생성한 데이터에의한 AUC값은 0.5이므로, 모델이 0.5 이상의 값을 반환하면 이것은 모델의 추천 성능이 무작위 결과 이상임을 함의한다. Python 패키지 Sklearn을 이용해서 데이터 샘플링, 모델 생성, 성능평가가 수행되었다.

모집된 환자들로부터 사상체질의학회 한의사들은 628개, 대한형상의학회는 802개, 대한상한금궤의학회는 468개의 자연어서술-증상명 쌍 데이터를 만들었다. 이 데이터들에 대해서, 사상체질의학회는 125개, 대한형상의학회는 164개, 대한상한금궤의학회는 167개의 구별되는 증상명을 이용해서 환자의 증상을 지정하였다. 증상별 데이터 개수는 사상체질의학회는 평균 5개, 중앙값은 1개, 대한형상의학회는 평균 5개, 중앙값은 1개, 대한상한금궤의학회는 평균 3개, 중앙값은 2개였다.

<그림 2>는 각 학파에서 사용한 증상 용어들을, 데이터 개수가 많은 순으로 상위 20개를 나열한 것이다. 사상체질의학회의 경우는 ‘외한’을 가지는 데이터의 수가 59개로 가장 많았고, 대한형상의학회는 ‘소화불량’이 112개로 가장 많았고, 대한상한금궤의학회는 ‘하리’가 23개로 가장 많았다. 이후의 과정에서는 모델 학습을 위해서 데이터가 10개 이상인 증상들로 그리고 한의사들이 증상 관련 자연어 기술을 근거로 달아준 증상들로 한정했다. 사상체질의학회의 경우는 20개, 대한형상의학회의 경우는 14개, 대한상한금궤의학회는 6개의 증상이 남았다. <표 1>은 실제 모델의 개발에 사용된 증상별 데이터 개수 및 총 데이터 개수를 보여준다. 데이터의 총 개수는 사상체질의학회의 경우는 426개, 대한형상의학회의 경우는 364개, 대한상한금궤의학회의 경우는 87개였다. 대한상한금궤의학회의 경우는 총 167개의 증상들 중 데이터 개수가 10개 이상인 증상은 단 6개였기 때문에 468개 중 87개의 데이터만 연구모델 구축 및 평가에 사용되었다.

<그림 3>은 사상체질의학회의 데이터에 대한 모든 증상을 아우르는 전반적인 성능 및 Fold별 성능을 보여준다. X축은 모델이 반환한 추천 증상을 어디까지 고려할지를 의미하고, Y축은 그때 각 학파의 한의들이 지정한 증상이 모델의 추천 증상에 포함되는 경우의 총 개수를 의미한다. 각 Fold에서의 테스트 데이터의 개수는 85개 이상이고, AUC값은 모두 0.92이상 이었다. 모든 결과를 합한 AUC값은 0.93이었다.

<그림 4>는 대한형상의학회의 데이터에 대한 성능을 보여준다. 각 Fold에서의 테스트 데이터의 개수는 72개 이상이고 AUC값은 모두 0.92이상 이었다. 모든 결과를 합한 전반적인 성능은 0.94였다.

<그림 5>는 대한상한금궤의학회의 데이터에 대한 성능을 보여준다. 각 Fold에서의 테스트 데이터의 개수는 17개 이상이고 AUC값은 모두 0.78이상 이었다. 모든 결과를 합한 AUC값은 0.85였다. 대한상한금궤의학회의 경우는 데이터의 수가 적기 때문에 다른 학파들에 비해 고르지 않은 Fold별 AUC값을 보였다. 이후에는 학파별 증상별 추천 성능 및 성능과 관련하여 다빈도로 등장하는 형태소의 분석 결과를 설명한다.

<표 2>은 사상체질의학회의 전문가가 생성한 데이터를 모델에 적용했을 때의 증상별 추천 성능을 AUC값 순으로 보여준다. 행은 각 증상에 등장했던 다빈도 형태소 10개를 설명한다. 괄호 안의 숫자는 데이터에서 형태소의 등장 빈도수이다. ‘외열다한’의 경우는 가장 높은 AUC값을 가지며, 모든 데이터에 ‘다한’ 및 ‘더위’라는 형태소가 포함되어 있었다. ‘외한’은 두 번째로 높은 AUC값을 보였다. 59개의 데이터 중 추위를 직접적으로 표현한 경우는 54개 였다. ‘외열구갈’의 경우는 ‘더 위’와 ‘구갈’ 형태소가 높은 비중을 차지하였다. ‘상열’의 경우는 ‘오르다’, ‘올라오다’, ‘위로’, ‘(열이)나다’ 와 같은 더위와 관련된 형태소 들이 상위에 있다. ‘한출다’의 경우는 땀이 많이 나는 것과 관련한 증상명인데 모두 ‘다한’이라는 형태소를 가지고 있었다. ‘비만’은 속이 더부룩한 상태와 관련이 있는데 ‘먹다’, ‘소화’, ‘가스’와 관련한 형태소들이 자주 등장 했다. ‘대변연’은 변이 무른 양상을 나타낸다. ‘대변연’과 ‘설사’의 형태소 등장 패턴은 유사 하나 ‘무르(다)’는 형태에 대한 형태소가 더욱 많이 등장하여 둘 사이의 구분에 기여한 것으로 보인다. ‘외열’ 증상에 대해서는 ‘더위’라는 형태소가 가장 빈번하게 등장했다. ‘수면불녕’은 양방의 불면증과 관련이 있는 증상명으로 ‘(잠이)깨다’라는 형태소가 자주 등장하여 예측 성능에 기여를 한 것으로 보인다. 증상‘대변비’는 양방의 변비와 관련이 있다. 직접적으로 ‘변비’ 형태소가 가장 많이 등장했고 ‘(변을)보다’, ‘(변이)나오다’와 같은 배변을 묘사하는 형태소들이 많이 등장했다.증상 ‘과식’의 경우는 ‘(과식을)하다’와 같은 형태소와 먹는 행위에 대한 ‘먹다’와 같은 형태소들이 다빈도로 등장했다. 또는 직접적으로 ‘과식’을 기술한 형태소가 나오기도 했다. 과식을 하는 상황 예를 들어 ‘스트레스’와 같은 것을 기술 하는 경우도 5건이 있었다. ‘구갈’은 양방의 갈증과 관련성이 있는 증상으로 16개의 샘플에서 ‘구갈’을 직접적으로 사용했고 ‘갈증’을 기술한 샘플도 5개였다. ‘소화불량’과 관련된 형태소로는 17개의 데이터가 ‘소화’를 직접적으로 기술하였고 ‘먹다’, ‘불량’, ‘스트레스’와 같이 상황을 기술하는 형태소들이 등장했다. ‘탄산’은 신물이 올라오는 증상으로 ‘먹다’와 같은 형태소, ‘식도염’, ‘신물’, ‘역류성’, ‘올라오다’와 같은 형태소들이 다빈도로 등장한다. ‘두통’의 경우는 ‘간헐적’이라는 원 표현이 형태소 분석 후 변형되어 나온 ‘헐다’라는 형태소와 NRS (Numeric rating scale) 통증 척도와 관련된 형태소인 ‘nrs’, ‘통증’, ‘두통’과 같은 형태소들, 머리를 지칭하는 ‘두부’, ‘머리’와 같은 형태소들이 자주 등장했다. ‘심계’는 가슴이 두근거리면서 불안해하는 증상을 이르는데, ‘가슴’, ‘느낌’, ‘스트레스’ 등의 형태소들이 자주 등장했다. ‘대변난’은 변을 보기 어려운 상황과 관련이 있고 ‘보다’, ‘않다’, ‘느낌’과 같은 형태소들이 자주 등장을 한다. ‘변비’가 직접적으로 언급이 되기도 한다.

‘대변견’은 단단한 변의 상태를 나타내는 증상으로 다른 증상에 비해서 상대적으로 낮은 AUC를 보인다. 실제 자연어 기술에는 단단함을 기술한 표현이 등장하는데 형태소 분석과정에서 누락되었고 이것이 성능에 영향을 주었다. ‘소식’은 음식 섭취가 적은 것과 관련이 있는 증상으로 다른 증상들에 비해 가장 낮은 성능을 보인다. 주로 섭취의 양태와 관련된 용어들이 많이 등장한다. ‘과식’ 하지 ‘않다’와 같은 부정 표현으로 기술이 되는데 TF행렬로 데이터를 변환하면서 부정 의미가 특징으로 표현이 되지 못했기 때문에 낮은 AUC를 보인 것으로 보인다.

<표 3>는 AUC 기준 가장 하위의 증상인 ‘소식’에 대해 cutoff를 달리 했을 경우의 결과를 보여준다. 각 행은 모델의 증상 예측결과를 상위 부터 cutoff개까지 참고하는 것을 고려하는 것이고, 각 열은 그때 모델이 추천한 증상의 개수를 가장 많이 추천한 순으로 보여준다. ‘소식’의 경우는 상위 5개 까지 보았을 때 14개 중 7개(50%)가 포함되었고 상위 6개 까지 보았을 때 11개(78.5%)를 포함하였다. 그러나 ‘소식’과 관련한 자연어 기술에 대해서 모델이 예측한 증상들은 ‘비만’, ‘과식’, ‘소화불량’, ‘탄산’ 같은 소화와 관련된 증상들이 주로 예측되어 유사한 증상의 군을 형성했다. 이는 대변의 양상을 나타내거나 열감을 나타내는 다른 증상 군들과는 구별되었다.

<표 4>는 대한형상의학회의 전문가가 생성한 데이터를 모델에 적용했을 때의 증상별 추천 성능을 보여준다. 형상의학은 얼굴을 포함한 신체의 외형을 진단 및 치료에 고려한다. 이 학파의 전문가들이 선정한 일부 증상들은 환자의 사진을 보고 판단되었다. 우리는 사진에 근거하여 선정된 데이터들을 제외하고 자연어 기술에 근거한 데이터들로 한정하여 모델에 적용을 시켜보았다. 총 164개의 증상들 중 14개의 증상들이 자연어 기술에 근거한 10개 이상의 데이터를 가지고 있었다. ‘복부압통’은 복부에 느껴지는 통증과 관련이 있는 증상명으로 ‘중완부’, ‘하부’, ‘하복부’와 같은 통증의 위치 및 압통을 직접적으로 표현하는 형태소들이 자주 등장했다. ‘흉비’는 가슴의 답답함과 관련된 증상으로 ‘가슴’, ‘스트레스’, ‘긴장’과 같은 형태소가 주를 이루었다. 증상 ‘소화 불량’은 가장 많은 데이터를 가진다. ‘먹다’, ‘소화’와 같은 직접적인 형태소들이 자주 등장을 하고 ‘(소화가 안되는) 느낌’과 같은 형태소들의 비중도 컸다. 증상‘대변’은 대변과 관련된 설사, 변비와 같은 다양한 양상을 포괄한다. 증상명 ‘설사’는 설사가 나오는 상황에 대한 묘사가 많았다. 형태소에서도 그러한 상황과 관련된 것들이 다수였다. ‘상열’은 열이 나는 상황에 대한 묘사나 열이 나는 부위에 대한 묘사가 많았다. 형태소에도 ‘머리’, ‘얼굴’과 같은 것들이 등장했다. ‘탄산’은 식도염이나 신물, 쓴물 올라오는 상태에 대한 묘사가 많았다. ‘복만’은 ‘가스(가 차다)‘ 또는 ‘더부(룩하다)’와 증상을 나타내는 묘사가 많았다. 증상 ‘변비’는 자연어로‘변비’를 직접 기술하거나 변을 보는 주기를 기술한다.

‘음주’는 ‘맥주’나 ‘소주’와 같은 주종이나 주량에 대한 표현이 많았다. ‘칠정’은 심적인 어려움이나 스트레스와 관련한 형태소가 자주 등장했다. ‘복진’은 ‘복부압통’과 유사한 자연어 기술을 보였고 주로 특정 부위의 긴장감에 대한 기술이 주를 이루었다. 증상 ‘두통’은 두통의 양상, 위치, 조건에 대한 내용 및 두통의 정도를 표현한 ‘NRS’를 기술하는 경우가 많았다. 증상 ‘조잡’은 기술된 내용에서 증상‘탄산’과 유사했으나 속이 쓰리거나 미식거리는 증상표현이 두드러졌다.

<표 5>는 가장 낮은 예측 성능을 보인 ‘조잡’에 대한 모델의 예측 결과를 상위부터 Cutoff까지 보았을 때 빈번하게 등장한 증상 순으로 보여준다.

‘조잡’의 경우는 상위의 6개까지 고려할 때 10개 중 9개(90%)의 조잡 관련 데이터가 포함되었다. 모델은 ‘조잡’에 대한 입력에 대해 ‘소화불량’과 ‘탄산’을 상위로 추천했다. 이는 ‘소화불량’이나 ‘탄산’의 특징들과 다른 증상들보다 ‘조잡’과 가까웠기 때문으로 보인다. 즉 모델은 유사한 증상 군을 상위로 추천한다.

<표 6>는 대한상한금궤의학회의 전문가가 생성한 데이터를 모델에 적용했을 때의 증상별 추천 성능을 보여준다. 이 학파는 상한론(傷寒論)에 바탕을 둔 독자적인 치료 체계를 가지고 환자의 진단 및 치료에 적용한다는 특징이 있다. 데이터가 개별 증상들에 고르게 분포하고 있어 AI모델에 적용하기에 충분한 데이터가 없어 6개의 증상들에 대해서 모델의 성능이 측정되었다. 가장 높은 성능을 보인 ‘구’는 소화가 안 되는 상황과 관련한 증상명이다. ‘과식’, ‘(소화)문제’등을 직접 언급하는 형태소의 빈도수가 높았다. ‘하리’는 설사를 이르는 증상 용어로 실제 자연어 입력에서도 ‘설사’를 직접 언급하는 경우가 많았다. ‘건구’는 속쓰림과 관련이 큰 증상으로 속쓰림이 발생하는 상황인 ‘공복’, ‘빈속’등이 직접 언급되거나 원 표현인 ‘속쓰림’이 자연어의 형태소 분석 과정에서 변형된 형태소인‘속이다’가 빈번하게 등장하였다. ‘맥세’는 과민한 장의 상태와 관련해서 빈번하게 사용되는 증상명으로 어려서부터 문제 상황이 발생 했다는 자연어 기술이 형태소 분석을 통해서 추출된 ‘어리다’라는 형태소가 빈번하게 등장하였다. ‘왕래한열’의 경우는 추위와 열감을 번갈아 느끼는 증상으로 해당 증상이 생기는 조건인 ‘환절기’, ‘날궂(이)’와 같은 형태소들이 많이 등장했다. ‘토’는 속쓰림, 식도염, 구취와 관련한 자연어 기술들이 주를 이루었으나 형태소 분석 과정에서 형태소로 추출되지 않았기에 가장 낮은 AUC값을 보였다.

<표 7>은 가장 낮은 AUC를 보인 증상인‘토’의 자연어 입력에 대해 모델이 예측한 증상들을 Cutoff별로 나타낸 결과이다. 상위 3개 까지 보았을 때 11개 중 10개를 맞출 수 있었다. ‘토’의 자연어 입력에 대해 ‘구’,‘건구’같은 증상들이 상위로 추천되었다. ‘토’의 자연어 입력에 대해 ‘토’가 상위에 오지는 못했지만, ‘토’와 유사한 증상군인 ‘구’, ‘건구’를 추천함을 확인 했다.