[CodeBook (feat. wav2vec2)] CodeBook a.k.a. Quantization

ASR SOTA모델 중 하나인 Wav2vec2 논문을 살펴보며, CodeBook, Quantization이라는 개념이 나오고, 잘 와닿지 않아 정리해본다.

 

왜... 왜 이산화를 해????? 정보가 많이 사라질텐데..?

 

이산화를 하는 이유는 인간이 발음할 수 있는 음소의 수가 한정되어 있기에 CodeBook을 사용한다고 한다

(물론, Continuous -> Discrete화 -> Continuous 하여 사용하는 것만은 아니다.)

(...모델 경량화 할 때 사용된다고 한다.)

(...GumbleSoftmax를 찾아보면 좋겠다.)

(...Continuous -> Discrete 화 하면, 코드 관점에서는 torch graph가 깨지고, 학문적 관점에서는 샘플링을 하는 것과 같기에 reparameterize trick과 같은것이 필요하다. -> 이것을 gumbleSoftmax로 풀어냄)

 

Feature Extracted된 부분이 Encoder 및 CodeBook으로 따로 흘러가며, 나중에 Concatenate을 하게 된다.

 

 

 

그렇다면 CodeBook은 어떻게 진행될까?

구체적으로 코드와 같이 살펴보자

 

wav2vec2를 기준으로 설명하자면

## shape들 ##

input_mfcc.shape = [bs, seq_len, feature]                            # wav -> mfcc 변환
input_mfcc_cnn.shape = [bs, seq_len, cnn_feature]           # mfcc -> cnn encoder로 특징 추출

input data가 mfcc 및 cnn으로 위와같이 변환된다.

 

이때 input_mfcc_cnn데이터가 FeatureExtractor(Masking 처리된 부분)과 CodeBook으로 흘러가게 된다.

여기서는 CodeBook부분만 살펴보자.

 

추후 GumbleSoftMax에 대해서 다루겠다.. 이만...

 

 

 

 

source code

https://github.com/HarunoriKawano/Wav2vec2.0

GitHub - HarunoriKawano/Wav2vec2.0: Implementation of the paper "wav2vec 2.0: A Framework for Self-Supervised Learning of Speech

 

gumble softmax

https://data-newbie.tistory.com/263

[ Python ] gumbel softmax 알아보기

https://kaen2891.tistory.com/81

Gumbel-Softmax 리뷰