TF-IDF(Term Frequency-Inverse Document Frequency) 알고리즘[4]은 검색 엔진에서 사용되며, TF와 IDF의 곱으로 계산되는 형태의 알고리즘이다. 주로 단어의 등장 빈도수를 통해 문서들에 대해 스코어링(scoring)하여 문서 간 유사도를 판단한다.

식 (1)에서 tf(t,d)는 단어 빈도수인 TF(Term Frequency)를 나타내며, 개별 문서 d에 검색 단어 t가 등장한 횟수로 계산한다. 만일 특정 문서에 ‘word’라는 단어가 4번 들어갔을 경우 TF는 4가되며, 문서 내에 단어가 자주 등장할 경우 의미 있는 단어로 계산된다.

IDF는 역문서 빈도로, 전체 문서에서 검색 단어에 대한 가중치를 조정하기 위한 식이다. 전체 문서 집합에서 자주 등장하는 단어일수록 의미가 없는 단어로 계산된다.

이와 같은 방식으로 질의에 대해 각 문서에 대한 점수를 산출하여 연관성 있는 문서를 검색할 수 있으나, 특정 문서 내에 질의에 사용된 단어의 개수가 많아질수록 TF가 발산하여 검색된 문서의 부정확성이 발생할 수 있다는 문제가 존재한다.

BM25(Best Maching 25) 알고리즘[5]은 검색 엔진에서 문서 간의 유사성을 산출해내기 위한 알고리즘으로, score를 토대로 문서들이 얼마나 유사한지를 판단한다. 식 (3)을 통해 유사한 문서들을 score로 도출 후 점수가 높은 순, 즉 순위로서 정렬하여 나타낸다.

식 (3)은 검색 질의 q에 대해 특정 문서 d에 대한 점수를 산출하는 공식이다. 특정 문서 내에 존재하는 각 단어 t의 점수의 합으로 score가 계산이 되며, tf_t,d는 해당 문서에서 등장하는 단어 t의 빈도수, k는 상수값을 의미하며, TF이다. 식 (4)는 역문서 빈도로, 단어 t가 전체 문서에서 등장 빈도수의 역수를 조정한 식이다. 식 (5)는 TF의 점수편중을 막기 위한 표준화이다. q에 대해 식 (3)을 적용하여 높은 score를 지닌 문서를 산출하며, 이는 가장 유사도가 높은 추천 리스트이다.

BM25는 표준화 작업을 통해 특정 문서의 TF가 높아질 경우 이에 비례하여 score가 높아지지 않고 특정 값에 수렴한다는 점에서 기존의 TF-IDF보다 데이터 검색에 대한 안정성을 보인다.

연구 [3]은 순환 신경망을 세션 기반의 추천 시스템에 적용한 연구로서 기존 추천 시스템으로 널리 사용되던 Factor Model은 사용자들의 특정 상황 에서의 정보 부재로 인해 세션 기반 추천 시스템에 활용하기 어렵다는 점에 기인하여 세션의 순차적 클릭에 대한 정보를 순환 신경망에 적용하였다. 평가를 위한 데이터셋으로 2015년 RecSys Challenge에서 제공한 클릭 세션에 대한 정보가 포함된 데이터와, Youtube와 비슷한 형태의 OTT(Over The Top Service) 플랫폼에서 형성된 일정 시간 이상의 영상을 시청한 사용자의 세션 정보를 사용하였다.

성능 비교를 위한 기준점이 되는 모델은 item-KNN(k-nearest neighbors)을 사용하였고, 실제 모델 구성은 GRU를 통해 Hidden size를 100개와 1,000개로 각각 지정한 후, rmsprop과 adagrad를 최적화 함수로 구성하였다. 또한 최종 도출된 GRU 모델의 성능을 item-KNN과 비교하였으며, Hidden size가 100이고 Adagrad를 활용하였을 때 기준 모델보다 약 20~30%의 성능 향상이 있음을 입증하였다.

연구[3]은 사용자의 순차적인 클릭 정보를 시계열로 구성하였고 이를 순환 신경망에 직접 적용함으로써 추천 시스템에 강점을 보이는 기존 KNN기법보다 월등한 성능을 도출하였다는 점에 의의가 있다. 그러나 본 연구에서는 사용자의 클릭 정보가 아닌 구매 데이터를 활용한다는 점에서 연구[3]과 차이가 있으며, 또한 순환 신경망은 새로운 추천을 만들어내기 전까지는 정적인 추천 데이터를 기반으로 한다는 측면이 차별성을 보인다.

연구 [6]은 연구 [7]에서 제안한 가중치 결합 기법을 통하여 입력 데이터에 대한 임베딩(Embedding)을 수행한 후, 각 데이터에 대해 유사도를 측정한 후 이를 순환 신경망에 적용한 추천 시스템 연구이다. 활용 데이터로는 2014년 RecSys Challange 데이터와 Movielens 1M 데이터를 활용하였으며, user-KNN(k-nearest neighbors), BPR-MF(Bayesian Personalized Ranking-Matrix Factorization), FPMC(Factorizing Personalized Markov Chains), Fossile, LSTM(Long Short-Term Memory), 그리고 가중치 결합 기법을 활용한 임베딩 기법이 적용된 LSTM 등의 모델을 통해 평가를 진행하였다. 평가 방법으로는 모델 구성을 위해 사용자가 특정한 시점까지 시청한 영화의 기록으로 입력 데이터를 구성하고, 타겟 데이터로는 그 이후에 시청한 영화 데이터를 바탕으로 구성하였으며, 또한 학습 모델이 생성한 추천 리스트를 순회하며 사용자가 실제로 시청한 영화가 있을 경우 추천에 성공하였다고 판단하여 정확도를 도출하였다. 연구[6]의 경우 기존 LSTM 기반 추천 시스템과 비교하여 약 1~2%의 유의미한 정확도를 제공한다.

연구 [6]은 임베딩 기법을 변형하여 LSTM을 학습시켜 그 정확도를 기존보다 더 높였다는 측면에서 의미가 있으나, 정적인 데이터를 기반으로 추천되며 추가적인 동적인 데이터를 추천하기 위해서는 재학습을 해야 한다.

본 연구에서는 스코어링 알고리즘인 BM25를 사용하는 Elasticsearch 엔진[8]을 동적 상품 추천 아키텍쳐에 적용한다.

본 연구에서는 두 가지의 목표를 제시한다. 첫번째, 동적으로 검색되어 추천되는 상품을 정적인 추천 리스트에 추가하여 추천한다. 이는 정적인 추천 리스트라고 하더라도 순환신경망 기반의 추천 시스템에 의해 학습되고, 그 결과로 생성된 의미있는 데이터라고 할 수 있다. 두 번째는 동적으로 추천되는 상품은 특정 사용자에 대해 만들어진 정적인 추천 리스트 내의 상품과 유사해야 한다. 사용자가 관심 상품에 접근 하였을 때 데이터베이스내에 존재하는 정적 추천 상품과 동적으로 추가된 상품의 특성이 관심 상품과 연관성이 없다면 이는 경험적으로 신뢰하기 어려울 수 있다.

Elasticsearch 기반의 동적 추천을 위한 아키텍쳐는 <그림 1>과 같다. 사용자는 Mobile, PC와 같은 환경에서 추천 상품이 포함된 웹에 접근한다. 해당 웹은 웹서버로 접속한 사용자의 아이디인 uid와 접근한 상품의 아이디인 pid를 전송한다. 이후 웹서버는 정적 추천 리스트가 담긴 데이터베이스에 uid와 pid를 보내고, 해당 id와 일치하는 정적인 추천 리스트를 검색한 후 웹서버로 전달한다. 웹서버는 전달 받은 데이터를 다시 Elasticsearch 서버에 전송하며, 전달받은 정적 상품 리스트에 대해 순위함수를 통해 유사한 추천 리스트들을 검색한다. 그 중 score가 가장 높은 리스트를 도출하여 웹서버로 전송하고 웹서버는 정적 상품 리스트의 상품과 score가 높은 추천 상품 리스트가 지닌 상품 중에서 중복되는 추천 상품을 제거한다. 최종적으로 본래의 정적 리스트와 새로 도출된 추천 리스트를 통합하여 동적 구성된 추천 상품 리스트를 제공한다.

본 연구에서는 동적으로 추천 상품을 관리하기 위해 Elasticsearch 엔진을 기반으로 하며, 정적 추천 상품과 동적 상품을 관리한다. Elasticsearch에서 내부적으로 동적 추천 상품 리스트를 도출하는 절차는 <그림 2>와 같다.

Elasticsearch는 정적 추천 리스트가 구성하고 있는 모든 개별 상품을 내부 저장소에 inverted index[9] 형태로 저장한다. 이때 웹서버로부터 전달받은 정적 추천 리스트인 q가 구성하고 있는 개별상품 p₁, p₂...,p₁₀을 Elasticsearch의 inverted index를 통해 가능성 있는 추천 리스트 r_n을 도출한다. 이후 BM25 연산으로 이들을 scoring 함으로써 유사 후보 추천 리스트들을 최종 도출한다. 그러나 검색에 사용될 정적 추천 리스트는 Top-10으로 항상 고정된 길이를 갖으며, 해당 추천 리스트내에 내재된 상품은 같은 리스트 내의 상품과 중복되지 않는다. 즉, 기존의 BM25 연산을 진행할 때 TF의 값이 항상 동일한 현상이 발생하여 계산된 TF 값의 의미가 없어지는 현상이 발생한다. 이와 더불어 기존의 IDF는 전체 문서에서 자주 등장하는 단어에 대해서는 의미를 가지지 않는 단어라고 보고 가중치를 낮춰 해당 단어 대한 score를 낮게 산출한다. 이를 정적 추천 리스트의 관점에서 바라본다면 인기 있는 상품의 경우 유사 상품 리스트에 등장하는 빈도수가 다른 상품에 비해 높음에도 불구하고 의미 없는 단어로 간주되어 오히려 score가 낮게 책정되는 문제가 발생한다. 따라서 기존의 식을 약간 수정하여 계산에 사용한다.

식 (6)은 유사 후보 추천 리스트를 도출하기 위한 변형된 스코어 함수로서, 본 연구에서 사용되는 데이터의 특성에 부합하도록 기존 BM25 식을 커스터마이즈한다. 각 유사 추천 리스트 d의 최종 score는 검색할 정적 추천 리스트 q가 지닌 개별상품 t에 대한 score의 합으로 산출된다. 이때, 인기 있는 상품은 전반적으로 사용자들 사이에서 선호되는 상품이므로 전체 정적 추천 리스트에서 자주 등장할수록 score를 더 높게 책정한다.

식 (6)을 통해 산출된 유사 후보 추천 리스트들은 질의에 사용된 정적 추천 리스트 내에 담긴 상품 p_n을 최소 1개 이상 내포하고 있다. 만일, 유사후보 추천 리스트 r_n이 구성하는 상품들이 q과 완전히 동일할 경우, 각 상품에 대한 score인 s_n의 합이 가장 높을 것이며, 한 개의 상품을 제외한 나머지 상품들만 일치할 경우, 그 다음 순위가 될 것이다. 그러나 질의에 사용된 정적 추천 리스트와 완전히 동일한 형태로 구성된 유사 후보 리스트는 사용할 이유가 없다. 결론적으로 동일한 후보이기 때문이다. 따라서, 완전히 동일한 후보군을 제외한 유사 후보군의 상품을 활용한다.

<그림 3>은 도출된 여러 유사 후보군들이 지닌 상품 중 하나가 최종적으로 도출되어 정적 추천 리스트와 병합되는 과정을 나타낸다.

r_n이 지닌 상품들 중 기존 정적 추천 리스트 q내의 상품 p_n과 겹치지 않는 상품만을 골라서 최종 상품 후보 리스트를 형성한다. 이때 형성된 최종 리스트 내의 상품들 중 하나의 상품을 선택하여 기존 정적 추천 리스트와 병합하며, 선택되는 상품은 랜덤 함수를 통해 임의로 설정한다. 다만, 최종적으로 형성된 상품 후보 리스트의 상품 중, 상대적으로 score가 낮아 연관성이 떨어지는 유사 리스트의 상품도 포함하고 있으므로, 상위 10%의 점수를 가진 상품만 재취합한 후, 최종적으로 상품을 선택한다.