예측 모델의 성능을 평가하는 중요한 지표로서 정확도(Accuracy), 재현율(Recall), F₁ 측정(F₁-measure) 지표가 있다.

정확도는 참(True)을 예측했을 때 해당 예측이 얼마나 자주 정확하게 예측되는지를 나타내는 성능지표이다. 정확도 성능지표는 (1)식에서와 같이 정확하게 예측한 결과 값(TP, FP) 중에서 정확하게 예측한 결과 값(TP)의 비율로 측정한다[2].

재현율은 참(True)을 예측한 결과에 대해 얼마나 신뢰할 수 있는지를 나타내는 성능지표이다. 재현율 성능지표는 (2)식에서와 같이 실제 참 값들 중에서 정확히 예측한 결과 값(TP)과 부정확하게 예측한 결과 값(FN)들 중에서 정확하게 예측한 결과값(TP)의 비율로 측정한다[3].

F₁ 측정(F₁ measure)은 정확성과 재현율 성능지표의 신뢰도를 높이기 위해 조정되는 측정 데이터에 따라 상반된 결과를 나타내기 때문에 사용되는 성능지표이다[4]. 정확성을 높이기 위해서 성능지표의 모수인 추천 상품의 수를 줄이면 되지만 재현율이 낮아지는 결과를 초래한다. 이에 (3)식과 같이 정확성과 재현율을 이용하여 정확성과 재현율을 모두 고려할 수 있는 성능지표이다.

연구 [5]는 순환신경망(Recurrent Neural Network) 기반의 상품 추천 시스템 성능 평가 비교 연구이다. 사용자의 전자상거래 상품 접근순서를 순환신경망에 적용한 것으로서 RNN, LSTM, GRU의 성능평가를 하였다. 연구 [5]는 RecSys Challenge 2015에서 공개된 e-commerce session 데이터를 이용하여 클릭과 같은 상품의 접근 순서를 학습시켜 성능을 평가하였다. 최적화 알고리즘으로는 Adagrad, RMSProp, Adam을 사용하였으며, 학습시 순환신경망 알고리즘과 최적화 알고리즘 조합에 따라 은닉층의 뉴런 개수를 RNN은 100, 250, 500 개, LSTM은 25, 63, 126 개, GRU는 33, 83, 166개로 설정하여 실험하였다. 최종적으로 RNN 순환신경망 알고리즘과 RMSProp 최적화 알고리즘으로 뉴런수가 100개 일 때 성능이 가장 좋은 것으로 평가되었다.

연구 [5]에서 시계열 데이터를 기반으로 상품을 추천할 수 있는 효과적인 성능 실험이었으나, 학습 모델에 대한 검증 데이터로 실제 구매 데이터가 아닌 세션 데이터 중에 일부 데이터를 활용하였다. 이에 전자상거래에서 발생하는 사용자와 상품 관련 정보를 추가하였으면 더 좋은 비교 결과를 도출했을 것으로 사료된다.

연구 [6]은 CNN(Convolution Neural Network) 학습 모델을 통해 전자상거래 상에서 고객의 행태를 예측하기 위한 연구이다. CNN 모델이 이미지 부분에 대한 합성곱을 통해 이미지 인식에 활용하는 점을 활용하여 전자상거래 상에서 발생하는 비정형 데이터와 정형 데이터의 이종 정보 결합을 통해 기존의 정형적인 데이터만을 통한 예측보다 정확도가 더 향상될 수 있음을 연구하였다. 고객 형태 예측의 변수로는 재구매 고객, 이탈 고객, 고빈도 구매 고객, 등 6개의 형태로 한정하여 학습하였다. 연구 [6]의 실험을 통해 CNN을 통한 고객형태예측이 NBC(Naïve Bayes classification), SVM(Support vector machine), ANN(Artificial neural network) 보다 예측 성능이 좋은 것으로 평가되었다.

연구 [6]이 CNN 기반으로 전자상거래 상의 비정형 데이터를 이용하여 고객의 행태를 예측한다는 측면에서 충분한 가치가 있다. 본 연구는 전자상거래에서 고객의 행태를 예측하기 보다는 고객이 구매하고자 하는 상품을 예측한다는 측면에서 연구 [6]과 차이를 보인다.

본 연구에서 성능평가 분석은 협업적 필터링과 딥러닝 기술을 기반으로 하는 상품추천 기법을 연구한다. 사용자기반 협업적 필터링 추천 기법, 아이템기반 협업적 필터링 추천 기법, 내용기반 필터링 추천 기법, RNN 추천 기법, LSTM 추천 기법, Word2Vec 추천 기법에 대해 연구한다.

사용자 기반 협업적 필터링(User based Collaborative Filtering) 추천 기법은 유사한 평가를 한 사용자 집단을 구성하여 추천하는 기법이다. 특정 사용자와 유사하게 평가한 사용자 집단으로부터 특정 사용자가 구매하지 않는 다른 상품에 대해 추천하는 방식이다. 이러한 협업적 필터링 기법은 사용자의 평가가 정확하게 구분되는 제품일 경우 적합한 기법이다. 만약에 사용자의 평가가 정확하지 않거나 평가정보가 없는 상품이라면 적용하지 쉽지 않다. 전자상거래에서는 상품의 평가에 대한 정보 대신에 사용자의 상품에 대한 접근성을 나타내는 정보로 구매, 검색, 장바구니 담기, 클릭, 등이 제품에 대한 관심도로 평가정보를 간접적으로 대체하여 이용할 수 있을 것이다.

협업적 필터링은 사용자와 상품간의 유사도를 계산해야 한다. 여러 유사도 계산 방법이 있으며 코사인 유사도(Cosine Similarity)[7]나 피어슨 상관계수(Pearson Correlation Coefficient)[8]를 사용할 수 있다. (4)식과 같이 피어슨 상관계수에 의한 유사도를 계산할 수 있으며, 이를 기반으로 (5)식을 통해 추천 상품을 위한 예측치를 도출할 수 있다. 예측치를 통해 Top-k를 도출하여 순위별로 상품을 추천한다.

아이템 기반 협업적 필터링(Item based Collaborative Filtering) 추천 기법은 사용자들의 평가를 기반으로 상품 간에 유사도를 계산하여 사용자가 해당 상품을 구매하거나 평가하면 그 상품과 유사한 상품을 추천하는 기법이다. 아이템 기반 협업적 필터링 추천은 사용자별로 추천을 계산하지 않기 때문에 상품 간의 유사도 계산이 빠르다[9]. 단지 정확도는 사용자 기반 협업적 필터링 보다는 낮지만 추천을 위한 정확한 데이터의 영향을 사용자 기반 협업적 필터링 보다 덜 받는다. 주로 데이터가 크기가 큰 경우에 적합하다. 아이템 기반 협업적 필터링의 유사도 및 상품 추천은 (4)식, (5)식과 같으며 단지 이웃 사용자와의 유사도 계산 대신 상품과 상품 간의 유사도를 계산하여 상품을 추천한다.

내용 기반 필터링(Content-Based Filtering) 추천 기법은 상품에 포함된 내용을 분석하여 추천하는 기법이다. 텍스트 정보가 많이 포함된 상품에 적합할 것이다. 예를 들면 전자책, 뉴스, 등이 될 수 있을 것이다. 상품의 내용에 포함된 텍스트 정보에 대해 형태소 분석을 통해 핵심 키워드를 도출하여 사용자의 관심 정보를 찾아 낼 수 있을 것이다[10]. 찾아진 관심 정보를 기반으로 다른 유사한 키워드를 가진 상품을 추천하는 방식이다. 내용 기반 필터링 기법은 문서에서 단어에 대해 벡터 스페이스 모델(Vector Space Model)을 구성하고 TF-IDF(Term Frequency-Inverse Document Frequency)를 이용하여 발생하는 단어의 빈도를 기반으로 평가하는 방법이다[11]. 전자상거래에서의 내용 기반 필터링 추천 기법은 상품의 속성을 이용하여 (6)식, (7)식과 같이 상품 간에 유사도를 계산하여 추천하는 기법이다[11]. 내용 기반 필터링 추천 기법은 상품들 간의 직접적인 관계뿐만 아니라 숨겨진 관계까지 도출하여 추천할 수 있다.

하이브리드 필터링(Hybrid Filtering) 추천 기법은 2가지 이상의 추천 기법을 융합하여 추천하는 기법이다. 대체적으로 기존 전자상거래 업체의 추천 시스템은 협업적 필터링 추천 기법을 기반으로 다양한 추천 기법을 융합하고 있다. 대표적인 사례가 아마존의 경우 협업적 필터링을 기반으로 다른 기법들을 활용하고 있다. 일반적으로 하나의 추천 기법을 사용하는 것 보다 다양한 추천 기법을 적용했을 때 추천의 정확도가 향상되는 것으로 분석된다. 각 추천 기법의 장단점을 보완하여 융합했을 때 정확도가 향상되는 결과를 나타낼 것이다.

딥러닝(Deep Learning) 추천 기법은 사용자의 행위(구매, 장바구니, 검색, 등) 데이터를 기반으로 추천 모델을 생성하는 기법이다. 사용자의 행위에 대한 데이터를 반복적으로 학습시켜 사용자의 동일한 패턴이나 분류를 도출하는데 이러한 패턴이나 분류를 추천 모델이라고 할 수 있다. 학습을 시킬 때 데이터의 종류와 도출하려는 모델에 따라 다양한 기법을 고려할 수 있다. 전자상거래에 적합한 기법으로는 순차적인 사용자의 행위에 대해 패턴이나 분류를 도출하기 위해서는 RNN 이나 LSTM 같은 기법을 사용할 수 있을 것이다. 또 다른 측면에서 전자상거래 상에서 누적된 데이터의 정량적인 정보를 이용하여 추천 모델을 생성하는 방법으로는 기존의 협업적 필터링 기법이나 내용 기반필터링 기법을 이용할 수 있을 것이다.

RNN(Recurrent Netural Network) 추천 기법은 반복적으로 사용되는 시계열 데이터를 학습하여 예측하기 위한 모델링 기법이다. RNN은 단어 예측, 음성인식, 번역 등의 예측에 활용될 수 있으며 연속적인 시계열 데이터 처리에 적합하다. RNN 기법을 전자상거래의 상품 추천에 사용하는 경우는 사용자에게 의해 순차적으로 구매한 경우나 상품을 순차적으로 클릭한 경우의 데이터를 기반으로 상품을 예측하는 사례에 적용할 수 있을 것이다.

RNN은 순차적인 데이터를 시간 순서로 현재 상태에 입력하여 상태 값을 도출하며 해당 상태 값과 가중치 값을 다음 상태로 입력한다. 그리고 현재의 상태 값을 기반으로 예측 값을 도출한다. <그림 1>에서와 같이 현재 상태 S_t 는 활성화 함수 f에 의해 전 상태 S_t-1 과 현재 상태의 가중치 W_s 그리고 시간 순서에 의한 입력 값 X_t 와 입력 가중치 W_x 를 입력 받아 현재 상태 값을 생성한다. 예측은 현재 상태 S_t 와 출력 가중치 W_y 를 통해 예측 값 y_t 를 도출할 수 있다.

LSTM(Long Short Term Memory) 추천 기법은 RNN의 장기간의 학습 결과가 소실되는 문제점을 개선하기 위한 기법이다[12]. LSTM은 장기간의 의존성 문제를 피하기 위해 장기간 저장되는 정보를 선택적으로 저장할 수 있도록 한다[13]. LSTM은 과거의 학습 데이터를 현재의 학습에 이용할 수 있도록 은닉층에 Forget Gate, Input Gate, Output Gate로 구성하여 Cell State를 통해 전달되는 정보를 제어하는 역할을 한다. Forget Gate는 Cell State로부터 삭제할 정보를 결정한다. 1일 경우 보존하고 0일 경우 삭제한다. Input Gate는 Cell State에 새로운 정보를 저장할지를 결정한다. Forget Gate와 Input Gate에 의해 삭제할 정보와 새로운 정보가 결정되면 Cell State에 새로운 정보로 업데이트를 할지를 결정한다. Output Gate는 Cell State에 업데이트된 정보를 보내는 역할을 한다. 이와 같이 Input Gate로 입력된 정보를 기반으로 Output Gate에 의해 예측하는 정보를 얻을 수 있다.

LSTM 추천 기법을 이용할 경우 사용자에 의해 상품에 대한 장기간의 순차적인 행위(구매, 검색, 클릭, 등)에 대한 학습을 통해 더욱 의미 있는 추천 정보를 제공할 수 있을 것이다.

Word2Vec 추천 기법은 단어들을 벡터로 표현하며 벡터로 표현된 단어들 간에 유사도를 계산하여 예측 단어를 도출하는 기법이다. 벡터로 단어를 표현할 때 모든 단어에 대해 원 핫 벡터(One-Hot Vector)로 표현할 경우 단어들 간에 유사도를 도출할 수 없다. <그림 3>에서와 같이 전체 단어 개수만큼 벡터의 크기가 결정된다. 해당 단어에 해당하는 인덱스 만 1로 저장되고 벡터의 나머지 인덱스에는 0으로 채워진다. 이러한 방법은 단어들 간에 중복이 발생하지 않으므로 단어들 간의 유사도를 계산하면 0으로 도출된다.

따라서 유사도를 도출하기 위해서는 단어에 의미를 부여해야 하며 벡터에 해당 단어가 갖는 정보를 다차원의 정보를 기반으로 표현된다. 이러한 방법을 임베딩 벡터(Embedding Vector)라고 한다. <그림 4>에서와 같이 임베딩 벡터는 벡터의 차원을 단어들의 개수만큼 정의하지 않으며 단어를 나타내는 벡터에 의미 있는 정보들을 포함한다.

Word2Vec 기법은 단어를 예측하기 위한 알고리즘으로 Skip-Gram과 Continuous Bag of Words 가있다. Skip-Gram은 단어를 기반으로 문장의 맥락을 예측하며, Continuous Bag of Words는 문장의 맥락에서 단어를 예측한다.

Word2Vec 기법은 RNN이나 LSTM과 같이 순차적인 사용자의 행위(구매, 검색, 클릭, 등)를 벡터로 표현할 때 사용하기도 한다. NN(Natural Network)이 정확도를 높이기 위해 많은 학습 데이터와 학습 시간이 오래 걸리는 것에 반해 Word2Vec는 처리가 간단하고 학습 시간이 빠르다는 장점으로 실시간 상품 추천에 적합할 것으로 판단된다. 따라서 본 연구에서 Word2Vec 기법 만을 따로 상품 추천에 사용했을 때 성능을 분석한다.

본 연구에서 상품 추천 기법의 성능을 평가하기 위해 학습 및 테스트 데이터 수집, 데이터 전처리, 추천 모델 생성, 그리고 검증 과정으로 수행한다. 성능평가 절차 중에 학습 모델을 생성하지 않는 추천 기법의 경우가 있기 때문에 과정을 선택으로 수행한다.

- 학습 및 테스트 데이터 수집

상품 추천 기법의 성능을 평가하기 위해 전자상거래 트랜잭션 데이터를 이용한다. 공개된 트랜잭션 데이터 중에 UCI Machine Learning Repository에서 제공하는 트랜잭션 데이터를 사용한다[14]. 해당 트랜잭션 데이터는 54만 건의 트랜잭션으로 이루어져 있으며, 2010년에서 2011년 사이의 데이터이다. 데이터의 필드는 트랜잭션 번호(InvoiceNo), 상품코드(StockCode), 상품명(Description), 수량(Quantity), 단가(UnitPrice), 고객ID(CustomerID), 국가(Country) 로 구성된다.

추천 기법의 학습과 테스트를 위해 <그림 5>와 같이 일자별로 분리하여 사용한다. 학습 데이터를 통해 추천 모델이 생성된 후 추천의 성능을 평가하기 위해 학습에 사용되지 않은 테스트 데이터를 이용하여 평가한다. 학습 모델을 생성하지 않는 협업적 필터링 추천 기법에서는 학습 데이터에서 유사도를 계산하여 추천 상품을 도출한다.

- 데이터 전처리

트랜잭션 데이터를 기반으로 학습 모델을 생성을 위해 전처리 작업을 한다. 전처리 작업한 데이터는 협업적 필터링 추천 기법 시에도 동일하게 사용한다.

1. 학습모델 생성 시 처리 불가능한 데이터를 삭제한다. <그림 6>과 같이 반품 데이터, 고객 정보가 없는 데이터, 상품명이 존재하지 않는 데이터, 상품명을 확인할 수 없는 데이터를 삭제한다.

2. 사용자 정보와 상품 정보를 분리하여 저장한다. 유사도 계산 시 참조할 수 있도록 <그림 7>과 같이 사용자 정보와 상품 정보를 트랜잭션 데이터로부터 추출하여 저장한다. 사용자는 4338명의 데이터 이며, 상품은 3877개의 데이터이다.

3. 구매 상품의 정보를 시계열 데이터로 재구성한다. <그림 8>과 같이 트랜잭션 데이터의 구매 상품들을 사용자별로 구분자(,)를 이용하여 순서대로 한 열(column)에 재구성한다. 본 전처리 작업의 데이터는 머신러닝 기반의 Word2Vec 추천 기법을 적용할 때 이용한다.

- 추천 모델 생성

상품 추천 기법의 추천 모델을 생성하기 위해 트랜잭션 데이터를 이용하여 추천 기법별 학습 및 유사도 측정을 진행한다.

머신러닝 및 딥러닝 기반의 추천 기법은 학습 과정을 통해 추천 모델을 생성하며 기존의 협업적 필터링 기법은 유사도 계산을 통해 추천 상품을 도출한다.

- Top-k 추천 상품 도출

추천 상품은 최적화된 Top-k 개를 제시한다. <그림 9>에서와 같이 추천 상품의 개수가 증가 할수록 정확도가 높아지지 않기 때문에 추천 성능이 임계치(Threshold)에 도달하는 Top-k 상품을 추천한다. 실험에서는 Top-k의 여러 사례들을 검증하여 최적의 Top-k를 찾을 수 있도록 한다.

- 상품 추천 검증

생성된 추천 모델을 기반으로 <그림 5>에서와 같이 2011년 10월부터 12월까지의 테스트 데이터를 이용하여 추천 한 상품 중에 실제로 구매했는지를 통해 추천의 성능을 평가한다. 학습 데이터의 편중된 문제로 인해 검증 시 콜드 스타트나 희소성 문제가 발생할 수 있기 때문에 학습 데이터와 테스트 데이터를 교차해 가면서 반복적으로 검증하기 위한 k겹 교차검증(k-fold cross validation)을 이용할 수 있을 것이다[15]. 그러나 본 연구에서와 같은 전자상거래 사례인 경우 기간별로 학습 및 테스트 데이터를 분리해서 검증해야 하는 경우에는 k겹 교차검증이 적합하지 않을 수도 있다. 따라서 본 연구의 검증에서는 k겹 교차검증을 이용하지 않고 <그림 5>와 같이 분리하여 검증한다.

상품 추천 기법에 대한 성능평가를 위해 기존의 정확성, 재현율, F₁ 측정에 대해 전자상거래 상품 추천에 적합하도록 정의 한다.

전자상거래 상품 추천에서 정확성 성능지표는 (8)식과 같이 사용자에게 추천한 상품 중에서 사용자가 실제로 구매한 상품의 비율로 측정한다[16].

전자상거래 상품 추천에서 재현율 성능지표는 (9)식과 같이 사용자가 구매한 상품 중에서 추천된 상품의 비율로 측정한다.

상품 추천 F₁ 측정(F₁ measure)은 기존의 F₁ 측정 지표를 기반으로 (10)식과 같이 상품 추천 정확성과 재현율 성능을 모두 고려 측정할 수 있다.

추천 기법별 생성된 학습 모델을 기반으로 상품 추천 성능을 검증한다. 본 성능 실험의 추천 기법은 사용자 기반 협업적 필터링 추천 기법, 아이템 기반 협업적 필터링 추천 기법, LSTM, Word2Vec을 대상으로 검증하며, 상품 추천의 성능은 정확성, F₁ 측정 지표를 분석한다. F₁ 측정 지표를 위해 재현율 또한 측정한다.

추천 상품은 Top-k를 기반으로 5개, 10개, 30개, 50개, 100개를 추천하였으며 <그림 5>에서와 같이 테스트 데이터를 활용하여 추천 성능을 검증한다. 측정 결과는 <표 1>, <표 2>와 같다.

<그림 10>, <그림 11>의 정확도, F₁ 측정 성능그래프에서와 같이 LSTM이 다른 추천 기법에 비해 추천 성능이 우수한 것으로 분석할 수 있으며, 특히 추천 개수 Top-10 일 때 가장 우수한 것으로 판단할 수 있다.

본 연구의 상품 추천 성능평가에서는 트랜잭션 정보를 기반으로 검증하였으며, 사용자 정보와 사용자의 온라인 행동패턴 정보 등을 추가한다면 추천 성능이 더 향상될 수 있을 것이다.