사상의학은 개인의 신체적, 심리적, 생리적 특성의 차이를 고려한 맞춤형 의학으로 우리나라 고유의 전통의학이다1. 동무 이제마선생은 사람을 태양인, 소양인, 태음인, 소음인의 네 가지 체질로 구분하고 체질에 따라 그 치료가 달라야 한다고 주장하였다. 사상체질을 진단하는 방법에는 용모사기, 체형기상, 성질재간, 병증약리 등이 있다2. 특히 안면은 용모사기의 일부로서 안면정보를 이용한 체질진단은 정보를 습득하기 쉽다는 접근성의 용이함 때문에 자주 사용되어 왔다3. 하지만 한의사의 체질진단은 개인별 복합적인 요소로 인하여 정확한 구분이 어렵고 주관적 판단으로 오차 범위가 크다는 게 단점이다. 이러한 단점을 극복하고자 안면을 이용하여 정량적이고 객관적으로 체질을 진단하는 연구들이 수행되어왔다2-5. 2차원의 광학적 사진을 이용한 연구는 1996년 이후로 지속적으로 이루어져6 이러한 연구결과를 토대로 체질별 대표 얼굴이 도출되기도 하였으며7 통합형 사상체질 진단 프로그램의 개발에 기여하기도 하였다8. 그러나 이 연구들은 사진에서 특징점과 특징점간 거리를 수동으로 획득하여 안면 변수를 수치화하는 과정을 거쳐야만 하였다.

최근 머신러닝 기법 중 하나인 인공신경망을 기반하여 많은 양의 데이터를 학습해 뛰어난 분류 및 회귀 예측 성능을 내는 연구들이 이뤄지고 있다9. 딥러닝(Deep Learning)은 여러 층을 가진 인공신경망(Artificial Neural Network, ANN)을 사용하여 학습을 수행하는 것으로 기존의 머신러닝에서는 학습하려는 데이터의 여러 특징 중에서 어떤 특징을 추출할지를 사람이 직접 분석하고 판단해야만 했다. 예를 들면 기존의 연구들은 안면영상에서의 형태학적 특징점간의 거리2-5, 컬러3,4 등의 정보를 추출하여 체질을 진단한다. 반면 딥러닝에서는 기계가 자동으로 학습하려는 데이터에서 특징을 추출하여 학습한다. 다시 말해 딥러닝은 대규모 데이터에서 기계가 자동으로 중요한 패턴을 학습하고, 이를 토대로 의사결정이나 예측을 수행한다10. 신경망(Neural Network)이란 인간의 뇌의 뉴런의 연결 구조를 가리키며, 이러한 신경망을 모방하여 만든 네트워크 구조를 인공신경망(Artificial Neural Network, ANN)이라 한다. 콘볼루션신경망(CNN; Convolutional Neural Network)은 콘볼루션(convolution)연산을 사용하는 인공신경망 중 하나이며 주로 시각적 이미지를 분석하는 데 사용된다. 콘볼루션이란 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 연산자이다.

본 논문에서는 콘볼루션신경망(CNN)을 이용하여 안면영상으로부터 객관적인 사상체질 분류방법을 제시하고자 한다. 안면만으로 사상체질 분류 가능성을 알아보는 측면에서 태음인과 비태음인, 소음인과 비소음인, 소양인과 비소양인의 이진분류(Binary Classification) 성능을 알아본다.

본 연구에서는 사상체질 전문의에 의해 진단된 3,738명(태음인 1,503명, 소음인 996명, 소양인 1,239명)의 안면영상에 대해 콘볼루션신경망(CNN)을 이용하여 각 체질과 나머지체질을 분류하는 이진분류를 수행하였다. 그 결과 소음인과 비소음인의 분류가 85.96% (Precision-Recall AUC)와 85.17% (F1 score)의 성능으로 다른 체질에 비해 분류 성능이 가장 우수하여 소음인이 나머지 체질보다 가장 이질적인 얼굴특징을 갖고 있음을 알 수 있었다. 태음인과 비태음인의 분류도 80.02% (Precision-Recall AUC)와 77.24% (F1 score)의 성능을 보여 태음인만의 구별되는 얼굴 특징이 있음을 알 수 있었다. 이러한 결과는 얼굴의 뺨-턱 너비 비율을 활용하여 태음인 진단을 용이하게 할 수 있을 것이라는 이전의 연구와 유사한 결과라고 할 수 있었다20. 소양인과 비소양인의 분류는 72.76% (Precision-Recall AUC)와 80.18% (F1 score)로 다른 체질과 구별되는 특징이 비교적 적었다. 이는 이전 사상체질 진단 프로그램 개발 연구에서 안면 점수만으로 체질진단을 수행하였을 때 소양인 남성은 43.8% 소양인 여성은 51.5%로 낮은 일치율을 나타낸 것과 유사한 결과이다21. 해당 연구에서 언급하였듯 사상체질 전문가가 언급하는 소양인 안면 특징인 눈빛, 매서움 등은 안면변수로 표현되기 어렵기 때문에, 인공신경망에서도 학습 데이터로 특징 추출이 어려웠던 것은 아닌가라고 추정된다.

테스트 단계에서의 증강기법(TTA)을 태음인과 소음인에 적용시 원본영상의 결과에 비해 성능개선은 없었지만 소양인과 비소양인의 분류에서는 0.46%의 미약한 성능개선이 있었다.

본 연구는 체질확진자 3,738명의 방대한 데이터를 사용하여 결과를 도출하였다는 강점이 있다. 기존의 2차원 사진을 이용한 연구 중 연구대상이 가장 많았던 연구는 1,140명의 데이터를 사용한 예가 있었으나 이 연구는 체질별 안면 분석의 선행 연구 성격으로 성별 특징과 연령별 특징을 분석한 것이었다22. 또한 본 연구는 이전의 연구들과는 달리, 최근 기존 머신러닝보다 뛰어난 성능을 보이는 인공신경망의 콘볼루션신경망(CNN)을 안면영상을 이용한 체질진단에 최초로 적용했다는 측면에서도 강점을 가진다.

그럼에도 불구하고 본 연구는 몇 가지 한계가 존재한다. 첫째, 태양인은 그 수가 적어 실험에서 제외하여 태양인의 안면특성은 알 수 없다. 둘째, 콘볼루션신경망이 데이터 자체를 입력하여 스스로 특징을 추출하고 분류를 수행하는 장점이 있는 반면, 안면의 어떠한 특징이 체질을 분류하는데 중요한지 추론하기 어렵다는 단점이 있다. 일반적으로 영상분석에서 자주 이용되는 특징은 형태(shape), 색(color), 질감(texture)인데, 특징을 미리 통제하여 입력하지 않는 한, 어떤 특징이 중요한 특징인지 알기 어렵다.

본 연구는 체질확진자 3,738명의 안면사진만으로 태음인, 소음인, 소양인의 세 체질에 대하여 각 체질과 나머지 체질을 분류하여 안면사진만으로 체질 진단 가능성을 실험해보았으며 얼굴 영상만으로 체질을 분류할 가능성이 있음을 보여주었다. 태음인과 비태음인의 분류, 소음인과 비소음인의 분류, 소양인과 비소양인의 분류 성능은 각각 79.94%, 86.05%, 73.22%로 딥러닝 알고리즘이 다른 체질과 구별되는 특징을 추출하고 있음을 알 수 있었다. 향후 연구는 각 체질의 분류성능을 더 높일 수 있는 특징을 안면사진에서 찾는 것뿐 아니라 BMI나 성격설문 등의 추가 데이터를 통해 분류성능을 높이는 연구가 될 것이다.