음성처리에서의 가장 중요한 요소로서는 음성인식에 대한 분류이다. 이러한 처리는 인식대상이 특정 대화의 단독 숫자음을 출력하는 방식으로서, 기기기상에 음성 데이터를 전달 시 문장으로 출력되어 나오는 시스템을 의미한다 [13]. 이외에 다른 기술적 요인으로서는 어휘수, 음성의 종류 등에 따라 다양하게 분류할 수 있다. 음성인식에 대한 분류 중 사용자의 음성을 훈련시켜 특정 사용자만 인식하도록하는 회자종속방식과 사용자 제한과 훈련과정 없이 모든 사람의 음성을 인식하는 회자독립방식이 있다. 또한 발음방법적 측면에 있어 조사, 접두사, 접미사나 어미등에 대한 부가적 처리를 하지 않고 음성의 시작과 끝점으로 구현할 수 있는 고립단어 인식과 연결단어 인식, 그리고 연속으로 발음된 음성에서 특정 단어만을 검색하여 인식할 수 있는 핵심어 인식이 있다 [14]. 이에 대한 발전적 음성 인식으로는 일반적 사람과 대화하듯 대화체로 발성을 하면 이를 인식하는 기술이다. 이처럼 사람의 음성은 스마트 기기 뿐 만 아니라 유무선인터넷 환경에서 쓰여지는 다양하고 대규모적인 데이터를 사용해야 하고 있기 때문에, 고품질의 음성인식 서비스를 위해서는 많은 데이터와 다양한 지식을 활용하여 성능을 개선할 필요가 있다 [15]. 음성인식 기술의 보편적 활용에 제약을 주고 있는 해결 과제로사용자에 따른 인식률의 차이, 주변 잡음에 따른 인식률 저하, 인식대상 어휘의 제한으로 인한 인식 오류 발생을 들 수 있다. 이에 대한 문제들을 해결하기 위해서는 많은 데이터 스토리지와 처리 및 이를 활용하는 방법론, 다양한 지식을 활용하는 음성인식 프레임이 필요하다. 음성인식을 활용한 수 많은 데이터 및 다양한 지식은 두 가지 측면인 음향학적 관점과 언어학적 관점으로 살펴볼 수 있다. 첫째, 음향학적 관점에서는 화자, 배경잡음, 마이크로폰 등의 다양한 환경을 표현하는 데이터 및 지식을 제공하고 있으며, 둘째로, 언어학적 관점에서는 어휘, 문법, 문맥 등을 모델링하여 많은 데이터 및 언어정보를 정확하게 추출하고, 지식 정보로 제공된다. 이러한 두 관점의 지식을 메타 데이터로 표현함으로서, 지식 정보 신뢰적 통계 결과를 얻기 위한 다양한 의미론적 데이터와 통계적 음성인식 프레임에 결합하기 위한 방법론으로 음성인식의 성능은 크게 개선 될 수 있다.

다음으로 음성처리에서의 중요한 요소로서는 음성인식방법으로 이는 인식 알고리즘이 동적정합법과 은닉 마코프 모델, 신경망등을 들 수 있다 [16]. 동적 정합법은 대표 패턴과 이미 정의된 패턴 건을 비교하여 둘 사이의 유사성을 판별하는 방법이다. 지속길이의 불일치를 비선형적으로 최적화하는 방법으로 이러한 처리는 인식대상이 특정 대화의 단독 숫자음을 출력하는 방식으로서, 부분 최적화에 기반을 두어 전체의 최적화를 수행하는 방법을 또한 말한다. 은닉 마코프 모델은 음성 인식에 있어 가장 많이 사용되는 방법으로 높은 인식률과 편리한 학습성, 음성의 시간적 변화를 모델링하는 천이확률과 스펙트럼 변화를 모델링으로 하는 출력활률로 나타낼 수 있다. 마지막으로 인간의 뇌가 정보를 암호화하고 해독하는 과정을 모델링한 신경 회로망으로 퍼지 기능을 가진 인공뉴런 상호 밀도성과 연결성에 따른 다양한 기능을 수행하는 방법이다. 아래의 <그림 1>은 음성인식 과정을 나타내는 흐름도 이다.

위에 언급한 음성인식 방법은 오늘날 스마트 기기 기반 유무선 환경과 클라우드 서비스의 이용이 증가하고 있으며 [17], 다양한 사용자들은 음성인식을 통해 대규모의 사용자 로그 데이터를 수집하고 있다. 나아가 상황적 여러 환경에서 화자의 다양한 어휘를 활용한 의미론적 음성 데이터를 제공하고 있으며, 자연어 음성인식을 위한 빅데이터 수집에 필수적인 요소로 적용되고 있다. 이와 같은 사례로, 구글은 2년 동안 한 사용자가 제공한 음성을 자체 음성 검색 서비스를 이용하여 음성 데이터 수집, 음향학적 정보와 다양한 분야에 적용 가능한 텍스트 자료 수집을 한다. 또한, 문법 구조를 학습함으로서 음성인식 성능 개선을 위해 활용되고 있다.

유·무선 환경(웹기반/앱기반)에서의 언어처리에 서 대규모 데이터를 사용해야 함에 따라, 개인 보호법 상 특정 사용자의 음성 데이터가 아닌 Trek에서 제공하는 음성 데이터를 활용하였다.이 데이터는 실제 사용자가 제공하는 데이터 보다는 일부 음성적 패턴이 있다. 본 연구에서 활용되는 음성데이터는 음성합성을 통해 사용자의 목소리 파형과 함께 빅데이터 기억장치에 저장해 놓고, 주어진 문장에 따라 이들을 합성하여 의미있는 음성으로 만든다. 빅데이터 시스템은 기존 구글(Google N-Gram1)을 통해 언어적 처리부와 음성합성부로 분류하고, 음성합성부에서는 운율생성부와 데이터베이스 및 합성기부로 분류하였다. 실제 응용적 데이터를 처리하는 제한된 어휘 개수와 구문 구조의 문장만을 합성하는 제한 및 무제한 어휘 합성 두 가지 단계를 통합하여 수행하였다. 결국 한국어의 특성상 모든 음소에 대한 발음 데이터상에 음성의 크기, 길이, 높낮이 등을 조절해야하는 자연어 처리가 요구되기 때문이다. 아래의 <그림 2>는 음성합성 과정을 나타내는 플로우이다.

이와 같이 대규모 음성 데이터 사용의 필요성과 웹/앱 기반 n-gram 빈도 수와 웹/앱 기반 모델로서의 8개 언어처리 생성과 분석 문제가 적용 가능하다.

음성신호처리는 아래의 <그림 3>과 같이, 음성파 형생성과 음성DB로 구성된다. 음성파형은 PCM, ADPCM과 같은 부호화를 통해 DB를 구축하고, 이에 대한 알고리즘을 적용하여 원음 생성을 하는데 있다. 이에 대한 파형을 위해, 첫째로 Vocoding은 수학적 모델링 방식으로 음성을 합성하여 Pitch 조절을 한다. Format 합성방식에서는 음성고유의 포맷을 추출한 후 DB를 생성하여 음소와 음소가 연결되는 포맷 변화를 규칙화함으로서 이를 합성하는 Synthesis-by-Rule을 활용한다.

둘째로, 음성 데이터 경우, 기본적 합성 단위간 연결에 의해 이루어지는 음성단위를 연결시 발행사는 스펙트럼의 불연속성을 최소화하고자 음성DB를 생성하였다.

위에서 언급했듯이, 음성합성과 음성신호처리부에 의해 동작되는 언어 처리는 음성합성 알고리즘에 의해 구현된다. 이 알고리즘을 위한 과정 흐름도는 <그림 4>와 같으며, 언어학적 처리부와 음성 신호 처부로 구성되어 동작한다. 언어학적 처리부 측면에서는 텍스트 전처리, 발음표기 알고리즘, 문장분석과정 동작으로 나뉜다. 텍스트 전처리에서는 한글을 포함한 반정형 데이터 즉, 숫자, 기호, 영어, 약어 등을 적절한 동의어 사전을 통해 한글로 변형하여 생성하고, 발음표기 변환 알고리즘에 의해 그 표기로 다시 변환된다. 또한, 문장분석과정에서 입력문장의 구조를 선행 처리하여, 음성합성에 필요한 운율 정보를 추출한다.

언어학적 처리부에서 처리된 운율정보와 음성 데이터베이스를 활용하여 음성 파형을 생성 시킨 후 음성의 기본적 단위들에 대한 정보를 저장 한 후 RLS 알고리즘을 활용하여 파라미터 추척을 위해 적용된다. 기존 LPC 방식에 비해 저장해야 할 데이터 양이 많기 때문에 음성 합성에 적용하기 위해서는 적절한 데이터를 생성하고자 빅데이터를 활용한 이유이기도 하다. 하지만, RLS 알고리즘은 잡음의 형태에 따라 다양한 음성의 노이즈를 처리한데 어려움이 있어, 일반적 반향 잡음 제거를 위한 HMM이 특정 파라미터의 음성 신호를 직접 모델링하는 연출 출력 확률 분포와 벡터 양자화를 위한 이산 출력분포로도 적용가능하다.