본 논문에서 사용한 UrbanSound8K 데이터셋은 도시 일상에서 흔히 들을 수 있는 에어컨 소리, 개 짖는 소리, 자동차 경적 등과 같은 10종류의 소리로 구성되어 있다. 데이터셋의 전체 음원의 수는 총 8732개이며, 각 음원은 4초 이하 길이의 wav형식으로 저장되어 있다. 소리의 종류와 데이터의 수는 <표 1>과 같다.

CNN을 이용해서 오디오를 분류하기 위해서는 먼저 각 음원에서 특징을 추출해야 한다. 오디오의 특징 추출 방법은 여러 가지가 있으나 본 논문에서는 심층 신경망을 이용한 음향 분류 문제에서 타 특징에 비해 높은 인식률을 나타내는[12, 13] 로그 멜 스펙트로그램(log mel spectrogram)을 사용하였다. 추출 과정은 먼저 각 음원을 46.4ms 단위로 프레임을 구성하고 이를 50%씩 중첩하며 총 174개의 프레임을 생성한 다음, 각 프레임당 128개의 멜밴드 에너지를 계산하여 128×174 크기의 로그 멜 스펙트로그램 데이터를 추출하였다.

ecognition Challenge (ILSVRC)[14]에서 우수한 성능을 나타낸 16층으로 구성된 CNN구조의 심층 신경망으로서 이미지 분류 문제에서 자주 사용되는 모델이다. 실험에서는 VGG16의 출력단에 3개층의 relu 활성 함수와 1개층의 softmax 층을 추가하여 UrbanSound8K 데이터셋의 10개 소리를 구분하도록 하였다. 그리고 Keras에서 제공되는 VGG16 모델은 이미지넷의 데이터로 학습한 것이기 때문에 오디오 데이터에 그대로 사용할 수 없으므로 전체 네트워크의 가중치를 UrbanSound8K 데이터로 다시 학습시켰다. 학습 시 오디오의 로그 멜 스펙트럼은 VGG16에 적합한 224 x 224 x 3 크기의 jpg형식으로 변환하여 인가하였고, 학습 파라미터로 미니 배치 크기는 32, 학습률은 0.0001, 최적화 함수는 Adam 알고리즘을 사용하였다. 이때 전체 데이터의 10%는 검증용으로 사용하여 최대 100 에포크 동안 훈련하였으며, 과적합 방지를 위해 검증 정확도가 12 에포크 동안 개선되지 않으면 학습을 조기 종료하였다. 또한 인식 성능을 높이기 위해 20%의 시간축 쉬프트를 적용한 데이터 증강(augmentation)을 사용하였다. 인식률은 UrbanSound8K데이터에서 권장하는 10-겹(10-fold) 교차 검증법을 사용하여 10회 평균 인식률을 구하였다.

방해음으로 사용할 소리는 일상에서 흔히 들을 수 있는 것으로 선택하였으며, 음원의 특성과 종류를 고려하여 다음과 같은 소리를 사용하였다.

• 생활 소음 : 헤어드라이어, 청소기, 싱크대 물 소리, 망치 소리

• 음성 : 남성, 여성, 합성음

• 음악 : 첼로, 피아노, 트럼펫

이들 음원에는 해당 소리 이외의 다른 소리는 포함되지 않았으며, 공개 음원 사이트인 freesound.org[15]에서 얻은 압축되지 않은 wave 포맷의 녹음 데이터(샘플링율 44.1kHz, 양자화 16비트 이상) 또는 고성능 마이크(Rode NTG4+)를 사용하여 직접 녹음한 소리를 사용하였다.

실험 데이터는 이들 방해음과 UrbanSound8K 음원 각각을 다음 식 1과 같이 특정 SNR이 되도록 합성하여 생성하였다.

여기에서 s(k)는 방해음이 없는 UrbanSound8K 의 소리이고, n(k)는 방해음이다. SNR은 –50dB ~ 50dB 범위에서 구했으며, 인식률이 급격하게 변하는 -20dB ~ 20dB 구간에서는 5dB간격으로 데이터를 생성하고 그외 구간에서는 10dB ~ 20dB간격으로 실험 음원을 생성하였다. 생성한 데이터는 방해음 15종, SNR 13개로서 총 1,702,740개로 구성된다.

먼저 방해음이 없는 UrbanSound8K 데이터를 이용하여 소리를 분류하도록 심층 신경망을 학습시킨 다음 이때의 인식률을 기준 인식률로 사용한다.

기준 인식률 학습 시 10-fold 평균 인식률은 0.764(76.4%)이고, 각 음원별로는 최대 97%(gun_shot), 최저 53.1% (aircon)의 인식률을 나타내었다. <그림 1>은 방해음이 없을 때의 혼동 행렬(confusion matrix)을 나타낸 것이다.

가정에서 흔히 듣는 소음으로 헤어 드라이어, 진공 청소기, 망치질 소리(0.8초에 1회), 그리고 수돗물 소리를 사용하였다. SNR에 따른 상대 인식률을 <그림 2>에 나타내었다.

인식률에 가장 영향이 적은 것은 망치 소리였으며, 물소리와 헤어드라이어는 비슷하며 진공 청소기 소리는 상대적으로 가장 높은 방해 요인으로 나타났다.

인간이 청감적으로 2배 크기로 인식되는 SNR 10dB에서 생활 소음의 상대 인식률 평균은 87.9% 였으며, 가장 높은 인식률을 보인 망치 소리와 가장 낮은 청소기 소리의 차이는 12.3%로 방해음의 종류에 따라 인식률 차이가 크다는 것을 알 수 있다. 방해음이 없는 경우와 거의 동등한 성능을 내기 위해서는 4종의 방해음 모두 SNR이 30dB 이상이 되어야 하며, 이때 기준 대비 98% 이상의 인식률을 나타내었다.

방해음이 음성일 때의 인식률 영향을 실험하기 위해 남성, 여성, 남성 기계 합성음, 여성 기계 합성음으로 동일한 문장을 녹음하여 실험하였다. <그림 3>은 음성 방해음의 상대 인식률 결과를 나타낸 것이다. 가장 영향이 적은 것은 남성 음성이었고 다음으로 남성 합성음, 여성 음성, 그리고 여성 합성음 순으로 나타났다.

SNR=10dB 일 때 상대 인식률은 평균 89.5%로 생활 소음에 비해 방해 정도가 덜한 것으로 나타났으며, 최대 상대 인식률과 최소 상대 인식률 간의 편차가 9.2%로 생활 소음보다 낮게 나타났다. 또한 남성 음성이 여성 음성보다 방해 정도가 낮게 나타났다. 예를 들어 SNR=10dB에서 남성 음성과 여성 음성의 상대 인식률 평균은 각각 92.6%와 86.5%로 남성 음성이 약 6.1% 더 높았다.

악기음을 평가하기 위해서 현악기(첼로), 관악기(트럼펫), 그리고 건반악기(피아노) 3종의 악기에 대해 각각 멜로디 연주와 음계 연주일 때에 대해 실험하였다. <그림 4>는 그 결과를 나타낸 것이다. 악기음 중 가장 영향이 가장 낮은 것은 첼로 였고 다음으로 피아노, 트럼펫 순으로 나타났다.

피아노는 음악의 종류에 따라 SNR 5dB 이하에서 차이를 보였지만 SNR이 10dB 이상인 경우에는 거의 동일한 인식률을 보였다. 10dB에서 평균 상대 인식률은 77.3% 였으며, 최대 인식률과 최저 인식률의 차이는 29%(첼로 91.9%, 트럼펫의 62.9%)의 차이를 보여 세 가지 방해음 유형 중에서 가장 큰 편차를 나타냈다. 이는 어느 정도 스펙트럼이 제한된 생활 소음이나 음성과는 달리 악기 종류에 따라 스펙트럼 대역이 차이가 나기 때문이며, 고음을 내는 악기가 방해의 정도가 큰 경향을 나타냈다.

<그림 5>는 SNR에 따른 각 방해음 유형별 상대 인식률 평균을 나타낸 것이다. 소음 유형(일상 소음, 음성, 악기음)별로 방해 정도는 음성이 평균적으로 가장 낮았고, 다음으로 생활 소음, 악기의 순서였다. 음성과 생활 소음의 차이는 대략 1~2% 정도로 그렇게 크지 않았으나, 악기음은 악기 종류에 따라 일상 소음 대비 최대 20%까지도 차이가 나는 경우가 있어서 악기 종류에 따라 방해의 정도가 크게 달라지는 것을 알 수 있다.

<표 3>은 방해음 없을 때 대비 90% 인식률과 95% 인식률을 얻을 수 있는 SNR값을 유형별로 나타낸 것이다. 일상 소음이나 음성만 존재하는 경우에는 SNR이 11.8dB 이상이면 무소음 대비 90%의 상대 인식률을 얻을 수 있으며, 17.2dB 이상이면 95%의 상대 인식률이 얻어진다. 그러나 악기음이 존재하는 경우는 90%의 상대 인식률을 얻기 위해서는 16.3dB, 95%의 상대 인식률을 얻기 위해서는 21.5dB의 SNR이 필요함을 알 수 있다.