사상의학은 『동의수세보원』에서 소개되었으며, 사람들을 네 가지 체질 유형인 사상체질(四象體質, Four Constitutional Types)로 구분한다. 사상체질은 태양인, 태음인, 소양인, 소음인으로 나뉘며, 환자의 신체, 정신, 감정, 사회적 상황 및 환경 요소를 종합적으로 고려하여 각 체질 유형에 맞춤 치료와 예방 전략을 제공하기 위해 사용된다1. 사상체질은 신체 특징, 성격 특징, 식습관 및 섭취물에 대한 반응 등을 종합하여 사상의학을 교육받은 전문가에 의해 진단된다2. 최근 IT 기술을 통해 신체의 상태를 카메라, 맥진기, 챗봇 등을 활용하여 객관적으로 측정하는 연구가 활발하게 진행되고 있다3,4. 특히, 『동의수세보원』에서는 체질에 따라 용모사기가 다르다고 하였으며, 전문가 집단에서도 사상체질을 판단하는 데 안면의 활용도가 높다고 조사되었다5. 기존의 안면 기반 사상체질 검출은 안면의 특징점을 검출하여 분류하는 방법이 제안되고 있다6,7. 하지만 최근 이미지에서 직접 설계된 특징 (hand-crafted features)이 아닌 학습 과정에서 특징을 자체적으로 추출하고 학습까지 함께 수행하는 방법 (end-to-end)인 딥러닝이 이미지 분야에서 높은 검출 성능을 가져왔다. 따라서 안면 기반 사상체질 검출에서도 안면 특징 검출 없이 딥러닝을 적용한 연구가 제안되었다8.

도준형은 안면 사진으로부터 얼굴의 형태적 특징을 자동으로 선택하는 방법과 수동으로 추출한 특징점을 활용하여 체질을 분류하였다. 자동으로는 안면 윤곽선과 윗눈꺼풀 라인을 사용하였고, 수동으로는 특징점 관리 프로그램을 이용하여 얼굴 가로길이 5가지, 얼굴 세로길이 4가지, 측정 항목 간 비율 6가지를 특징으로 선정하였다. 획득된 특징으로부터 20대에서 60대의 1,007명 피험자를 대상으로 태양인을 제외한 세체질을 분류하기 위해 서포트 벡터 머신을 사용하였으며, 5-fold 교차 검증을 통해 성별과 연령에 따라 74.0~80.8%의 정확도를 얻었다6.

안일구는 컨볼루션 신경망 VGG16 아키텍처를 기반으로 사상체질 전문의에 의해 진단된 3,738명(태음인 1,503명, 소음인 996명, 소양인 1,239명)의 피험자의 얼굴 이미지를 이용해 사상체질을 분류하였다. 분류 성능을 높이기 위해 데이터 증대 기술을 사용하여 좌우 반전, 회전, 무작위 확대, 무작위 왜곡, 무작위 색상, 무작위 대비, 무작위 밝기, 무작위 삭제 등의 변이를 수행하였다. 분류 결과는 F1 점수를 사용하여 태음인, 소음인, 소양인에 대해 각각 0.77, 0.85, 0.80을 얻었다8.

이정윤은 백인계 미국인과 한국인의 안면 인체 변인을 분석하여 사상 유형에 따른 얼굴 특징을 비교하고 사상 유형 분류를 위한 예측 모형을 개발하는 것을 목적으로 미국인 180명과 한국인 302명 등 총 482명의 피험자를 분석하였다. 얼굴 분석 프로그램을 이용하여 얼굴 랜드마크와 얼굴 특징 변수를 자동으로 할당하고 계산하였다. 로지스틱 회귀 분석을 이용하여 안면 변수와 BMI에 따른 사상 유형의 분류를 예측하였다. 로지스틱 회귀 모델은 태음 유형과 비태음 유형을 모두 81.2% 이상의 정확도로 예측했다. 백인계 미국인의 사상 유형을 구별하는 데 도움이 되는 예측 변수로 얼굴 변수와 BMI를 사용할 가능성을 제시하였다7.

감정 분석은 안면을 활용한 가장 활발하게 연구되고 있는 분야이다. 안면 기반의 감정 분석 연구에서 딥러닝 인풋으로 이미지를 전처리 없이 적용하면 낮은 성능을 보였으나, 특징 추출 결과를 딥러닝 입력으로 적용하여 높은 성능을 얻은 연구들이 보고되고 있다9,10. 따라서 안면 기반의 사상체질 검출에서도 적절한 특징 검출은 중요한 요소이다. 최근에는 중요한 특징을 분석하는 기술로 설명 가능한 인공지능 기술이 주목받고 있으며, 헬스케어 분야에서 중요 특징을 활용하여 더 높은 분류 결과를 얻고 있다11,12.

KS-15는 사상체질을 판별하는 소증 8문항, 성격 6문항, 체형(BMI) 1문항으로 구성되어 있는 설문지이다13. 로지스틱 회귀분석을 통해 KS-15와 전문가의 분류 성능을 검증한 결과 63.1% (태음인 63%, 소음인 83.3%, 소양인 51.9%)의 일치도였다. 기존 연구에서 확인한 것과 같이 태음인은 체구가 크고 몸이 튼튼한 체형으로 비만의 가능성이 높으며, 소음인은 대체로 마른 체형으로 BMI가 낮게 나타나는 경향이 있어 BMI는 사상체질을 검출하는 중요한 인자이다7,13. 본 연구에서는 사상체질 검출을 위해 성별, 나이, 키, 몸무게, BMI와 같은 최소한의 인구학적 정보와 KS-15, 안면 특징을 기반으로 설명 가능한 인공지능을 활용하여 중요 인자를 분석하고, 안면 특징과 BMI를 기반으로 사상체질을 분류하는 모델을 제안한다.

본 연구에서는 안면 영상 기반의 사상체질 검출을 위해 사상의학 전문가에 의해 진단된 773명(태음: 309명, 소음: 207명, 소양: 257명)의 안면사진에서 특징을 추출하고, 사상체질 검출 모델을 검증하였다. 안면 영상에서 눈썹, 눈, 코, 입, 얼굴형의 68개의 랜드마크를 검출하고, 이 랜드마크로부터 2,279개의 안면 비율 특징을 추출하였다. 이 2,279개의 특징에 대해 설명가능한 인공지능 기술인 SHAP을 활용하여 태음, 소음, 소양인을 분석하고, 10개의 중요한 얼굴 특징을 도출하였다. 기존 연구에서 얼굴의 길이를 측정할 수 있는 보조 수단을 사용하여 얼굴 특징점과 BMI를 기반으로 태음인에 대해 81.2%의 정확도를 얻은 바 있다7. 제안된 방법은 table 3과 같이 길이 측정 도구 없이 얼굴 비율 특징점과 BMI로 태음인, 소음인, 소양인에 대해 각각 81.64%, 84.76%, 68.75%의 정확도를 얻었다.

사상의학 전문의 또는 사상체질 임상 경력 5년 이상의 한의사가 약리 점수, 체형 점수, 병증/소증 및 성정을 기반으로 진단한 사상체질에 대해 KS-15를 인풋으로 사용하여 태음인, 소음인, 소양인을 검출한 정확도는 각각 86.20%, 93.23%, 84.89%로 매우 높았다. KS-15는 사상체질을 판별하는 소증 8문항, 성격 6문항, 체형(BMI) 1문항으로 구성되어 있어 높은 정확성을 가지지만, 주관적이거나 전문가의 도움이 필요하다. 따라서 객관적인 지표인 안면과 최소한의 정보만을 이용하여 사상체질을 검출하는 방법이 요구되었다. 이를 위해 안면 특징에 BMI와 성격 외향성을 추가하여 각각 81.90%, 90.49%, 81.90%의 정확도를 얻었다. 성격 외향성 설문은 외향, 중간, 내향의 세 개 항목으로 구성되었다.

사상체질의 안면을 분석한 연구로 이선영은 안면을 활용한 사상체질 진단 연구에서 태음인은 얼굴이 넓적하고 눈이 편평하며 코가 크고 폭이 넓다고 하였으며, 소음인은 인상이 유순하고 얼굴이 갸름하며 눈꼬리가 약간 처진 곡선형이고 코 폭이 좁고 코 아래가 처진 편이라고 하였다. 소양인은 눈 끝이 올라가 있고 이마가 돌출되었으며 상하로 넓다고 하였다19. 이정윤은 태음인이 다른 사상 유형에 비해 얼굴 너비와 눈 너비가 더 넓고 얼굴이 정사각형 모양을 가지며, 얼굴 너비 변수가 태음인 유형을 구별하는 주요 지표로 확인되었다. 얼굴 중앙부(눈에서 입까지)의 폭을 나타내는 변수들은 태음인에서 가장 크고 소음인에서 가장 작았다. 소음인은 다른 사상 유형에 비해 얼굴이 더 타원형인 것으로 나타났다7.

제안된 사상체질 분석 방법에서는 절대적인 크기를 알 수 없지만, 얼굴의 비율을 분석한 결과 태음인은 얼굴이 넓적하고, 얼굴의 가로 비율 대비 다른 체질에 비해 눈은 작고 입은 큰 비율을 가졌다. 소음인은 기존 연구에서 얼굴이 갸름하고 눈꼬리가 약간 처진 곡선형이라고 묘사되었는데, 본 연구에서도 눈썹이 길고, 볼과 눈, 볼과 코 사이의 거리가 짧게 나타났다. 이는 기존의 연구와 같이 얼굴이 갸름하고 타원형임을 나타냈다. 소양인은 기존 연구에서 눈 끝이 올라가 있다고 묘사되었는데, 본 연구에서도 얼굴 가로 비율 대비 눈과 코 사이의 비율이 길고, 눈과 눈썹 사이의 비율이 짧게 나타나는 등 눈과 눈썹에 대한 관련성이 두드러지게 나타났다.

본 연구는 안면의 비율 특징점을 기반으로 사상체질을 검출하는 방법을 제안하였다. 안면 기반의 사상체질 검출은 모바일 환경에서 전문가의 도움 없이 최소한의 인구학적 정보와 한 장의 사진으로도 사상체질을 검출하는 데 활용될 수 있다. 그러나 길이를 측정하는 추가적인 도구 없이는 영상에서 눈, 코, 입 등의 정확한 길이를 추정하기 어렵다. 따라서 본 연구에서는 안면 비율 기반의 특징을 검출하고 설명 가능한 인공지능 기술인 SHAP을 이용하여 태음인, 소음인, 소양인의 주요 얼굴 특징을 분석하였다.

분석 결과, 태음인은 얼굴의 너비, 소음인은 볼과 눈, 코 사이의 비율, 소양인은 눈과 눈썹에 관련된 비율이 중요한 것으로 나타났으며, 이는 기존 연구 결과와 일치하였다. 사상체질별 안면 비율의 10개의 중요 특징과 BMI, 성격 외향성 설문을 인풋으로 XGBoost 모델을 사용하여 태음, 소음, 소양인을 분류한 정확도는 각각 81.90%, 90.49%, 81.90%를 얻었다. XAI 모델인 SHAP을 활용하면 제안하는 특징점에 대한 사상체질 분류 모델의 결과뿐만 아니라 기여도를 해석 가능하기 때문에, 환자별로 사상체질이 진단된 내용에 대한 해석을 제공할 수 있다는 장점이 있다. 연구의 한계점은 추가된 성격 외향성 설문이 소양인의 낮은 정확도를 개선하였지만 주관적인 요소이므로 객관적인 도구가 필요하다. 향후 연구로는 안면 특징 및 분류 모델의 고도화와 웨어러블 장치 및 스마트폰에서 얻을 수 있는 생활 정보를 기반으로 설문이 아닌 외향성을 나타내는 마커를 분석하여 일상에서 객관적인 사상체질 평가를 위한 연구를 진행하고자 한다.

본 연구는 2024년도 한국한의학연구원 기관주요사업인 “빅데이터 기반 한의 예방치료 원천기술 개발”(Grant No. KSN1732121)의 지원을 받아 수행된 연구이다.