“내 10분의 1만이라도 아프다 행복해줘😭❤️” NLP로 이별 노래 플레이리스트 만들기

cleanUrl: 'articles/playlist'

🎧 Intro. What is E-byul? (feat. NLP)

🎧 Track 1. CBOW로 감정 사전 구축하기

1) Word2Vec

2) CBOW

class MatMul:
    def __init__(self, W):
        self.params = [W]
        self.grads = [np.zeros_like(W)]
        self.x = None
    
		# 순전파
    def forward(self, x):
        W, = self.params
				# 넘파이의 matmul은 행렬 곱을 수행합니다.
        out = np.matmul(x, W)
        self.x = x
        return out

		# 역전파
    def backward(self, dout):
        W, = self.params
        dx = np.matmul(dout, W.T) # T는 전치행렬
        dW = np.matmul(self.x.T, dout)
				# [...] 사용 시 깊은 복사
        self.grads[0][...] = dW
        return dx

# 소프트맥스 함수 구현
def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a - c) # 오버플로 대책
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    
    return y

# 교차 엔트로피 오차 함수 구현
def cross_entropy_error(y, t):
    if y.ndim == 1:
        t = t.reshape(1, t.size)
        y = y.reshape(1, y.size)
    
    batch_size = y.shape[0]
    return -np.sum(t * np.log(y + 1e-7)) / batch_size

# 소프트맥스 계층과 교차 엔트로피 오차 계층을 합한 것입니다!
class SoftmaxWithLoss:
    def __init__(self):
        self.loss = None # 손실
        self.y = None # softmax의 출력
        self.t = None # 정답 레이블 (원-핫 벡터)
    
		# 순전파
    def forward(self, x, t):
        self.t = t
        self.y = softmax(x)
        self.loss = cross_entropy_error(self.y, self.t)
        return self.loss
    
		# 역전파
    def backward(self, dout=1):
        batch_size = self.t.shape[0]
        dx = (self.y - self.t) / batch_size
        return dx

class SimpleCBOW:
		def __init__(self, vocab_size, hidden_size):
				# 어휘 수, 은닉층의 뉴런 수
        V, H = vocab_size, hidden_size
    
        # 가중치 초기화
				# random.randn을 통해 임의의 가중치를 설정합니다.
				# astype('f') 는 넘파이 배열 데이터 타입, 32비트 부동소수점 수로 초기화
        W_in = 0.01 * np.random.randn(V, H).astype('f')
        W_out = 0.01 * np.random.randn(H, V).astype('f')

        # 계층 생성
				# MatMul 계층은 윈도우의 크기만큼 생성해야 합니다!
        self.in_layer0 = MatMul(W_in)
        self.in_layer1 = MatMul(W_in)
        self.out_layer = MatMul(W_out)
        self.loss_layer = SoftmaxWithLoss()

        # 모든 가중치와 기울기를 리스트에 추가
        layers = [self.in_layer0, self.in_layer1, self.out_layer]
        self.params, self.grads = [], []
        for layer in layers:
            self.params += layer.params
            self.grads += layer.grads
        
        # 인스턴스 변수에 단어의 분산 표현 저장
        self.word_vecs = W_in

		# 순전파
		def forward(self, contexts, target):
        h0 = self.in_layer0.forward(contexts[:, 0])
        h1 = self.in_layer1.forward(contexts[:, 1])
        h = (h0 + h1) * 0.5
        score = self.out_layer.forward(h)
        loss = self.loss_layer.forward(score, target)
        return loss
    
		# 역전파
    def backward(self, dout=1):
        ds = self.loss_layer.backward(dout)
        da = self.out_layer.backward(ds)
        da *= 0.5
        self.in_layer1.backward(da)
        self.in_layer0.backward(da)
        return None

import sys
from common.trainer import Trainer
from common.optimizer import Adam
from simple_cbow import SimpleCBOW
from common.util import preprocess, create_contexts_target, convert_one_hot


window_size = 1
hidden_size = 5
batch_size = 3
max_epoch = 1000

text = 'You say goodbye and I say hello.'
corpus, word_to_id, id_to_word = preprocess(text)

vocab_size = len(word_to_id)
contexts, target = create_contexts_target(corpus, window_size)
target = convert_one_hot(target, vocab_size)
contexts = convert_one_hot(contexts, vocab_size)

model = SimpleCBOW(vocab_size, hidden_size)
optimizer = Adam()
trainer = Trainer(model, optimizer)

trainer.fit(contexts, target, max_epoch, batch_size)
trainer.plot()

word_vecs = model.word_vecs
for word_id, word in id_to_word.items():
    print(word, word_vecs[word_id])

GitHub - WegraLee/deep-learning-from-scratch-2: 『밑바닥부터 시작하는 딥러닝 ❷』(한빛미디어, 2019)

✅ 2019.07.02 - 책 본문의 수식과 그림 파일들을 모아 공유합니다. 스터디 자료 등을 만드실 때 필요하면 활용하세요. 다음은 역자가 추천하는 선수지식입니다. hanbit.co.kr 학습된 가중치 파일(6장, 7장에서 사용)은 아래 URL에서 받을 수 있습니다. https://www.oreilly.co.jp/pub/9784873118369/BetterRnnlm.pkl 소스 코드에 관한 설명은 책을 참고하세요. 소스 코드를 실행하려면 아래의 소프트웨어가 설치되어 있어야 합니다. 또한 선택사항으로 다음 라이브러리를 사용합니다.

https://github.com/WegraLee/deep-learning-from-scratch-2

3) CBOW로 감정 사전 구축하기

🎧 Track 2. LSTM으로 감정 분류 학습하기

1) 데이터의 순서를 고려하여 학습하는 순환신경망 RNN(Recurrent Neural Network)

2) RNN의 단점을 보완한 LSTM

3) LSTM으로 감정 분류 학습하기

🎧 Outro. More & More

🎧 참고문헌

• ✨ AI ML DL, [케라스] 무작정 튜토리얼1 - Sequential Model 구현, 2019.12.11., https://ebbnflow.tistory.com/120

• ✨ AI ML DL, [인공지능] ANN, DNN, CNN, RNN 개념과 차이, 2019.12.10., https://ebbnflow.tistory.com/119?category=895675

• [딥러닝] RNN 기초 (순환신경망 - Vanilla RNN), Minsuk Heo 허민석, 2018.9.2., https://www.youtube.com/watch?v=PahF2hZM6cs

• 하얀종이개발자, 딥러닝에서 가중치(W), 편향(Bias)의 역할, 2021.8.30. https://jh2021.tistory.com/3

• [텐서플로2 딥러닝] RNN, Minsuk Heo, 2020.5.25. https://youtu.be/9c4RupbiuZU

• [딥러닝] LSTM 쉽게 이해하기, Minsuk Heo 허민석, 2018.9.9, https://www.youtube.com/watch?v=bX6GLbpw-A4

• 임명진, 박원호, 신주현.(2020).Word2Vec과 LSTM을 활용한 이별 가사 감정 분류.스마트미디어저널,9(3),90-97. https://www-dbpia-co-kr-ssl.access.ewha.ac.kr/journal/articleDetail?nodeId=NODE10659164

• https://wikidocs.net/22886

• ifdean, RNN & LSTM - 시퀀셜 데이터 학습, 2021.5.22., https://ifdean.tistory.com/5?category=859814

• 27. RNN(순환신경망), 2020.10.5., https://welcome-to-dewy-world.tistory.com/102?category=913368

• 28 . LSTM(Long Short-Term Memory), 2020.10.5., https://welcome-to-dewy-world.tistory.com/103?category=913368