5-3 CBOW 임베딩 학습하기

프랑켄슈타인 데이터셋을 이용한 전처리 과정

데이터셋 구축하기

파이토치 데이터셋 클래스 만들기

class CBOWDataset(Dataset):
		@classmethod
		def load_dataset_and_make_vetorizer(cls, cbow_csv)
		
				'''데이터셋을 가져오고 Vectorizer 만들기
			  매개변수:
						cbow_csv(str) 데이터셋의 위치
				반환값:
						CBOWDataset의 instance'''

				cbow_df = pd.read_csv(cbow_csv)
				train_cbow_df = cbow_df[cbow_df.split == 'train']
				return cls(cbow_df, CBOWVectorizer.from_dataframe(train_cbow_df))

		def __getitem__(self, index):

				'''파이토치 데이터셋의 주요 진입 메서드
				매개변수:
						index(int) 데이터 포인트의 인덱스
				반환값:
						특성(x_data)과 레이블(y_target)로 이루어진 딕셔너리'''

				row = self._target_df.iloc[index]
				
				context_vector = \
						self._vectorizer.vectorize(row.context, self._max_seq_length)
				target_index = self._vectorizer.cbow_vocab.lookup_token(row.target)

				return {'x_data': context_vector,
								'y_target': target_index}			

데이터셋을 train set, validation set, test set으로 나누어주기

Vocabulary, Vectorizer, DataLoader

class CBOWVectorizer(object):

		'''어휘 사전을 생성하고 관리함'''

		def vectorize(self, context, vector_length = -1):

				'''매개변수:
							context(str) 공백으로 나누어진 단어 문자열
							vector_length(int) 인덱스 벡터의 길이 매개변수'''

				indices = \
						[self.cbow_vocab.lookup_token(token) for token in context.split(' ')]
				if vector_length < 0:
						vector_length = len(indices)
			
				out_vector = np.zeros(vector_length, dtype = np.int64)
				out_vector[:len(indices)] = indices
				out_vector[len(indices):] = self.cbow_vocab.mask_index

				return out_vector

CBOWClassifier 모델

class CBOWClassifier(nn.Module):
		def __init__(self, vocabulary_size, embedding_size, padding_idx = 0):

				'''매개변수:
							vocabulary_size(int) 어휘 사전의 크기, 임베딩 개수와 예측 벡터 크기를 결정함
							embedding_size(int) 임베딩 크기
							padding_idx(int) 기본값 0 (임베딩이 사용하지 않는 인덱스)'''

				super(CBOWClassifier, self).__init__()

				self.embedding = nn.embedding(num_embeddings = vocabulary_size,
																		embedding_dim = embedding_size,
																		padding_idx = padding_idx)
				self.fc1 = nn.Linear(in_features = embedding_size,
															out_features = vocabulary_size)

		def forward(self, x_in, apply_softmax = False):

				'''분류기의 정방향 계산
				매개변수:
						x_in (torch.Tensor) 입력 데이터 텐서
								x_in.shape는 (batch, input_dim)임
						apply_softmax (bool) 소프트맥스 활성화 함수를 위한 플래그
								크로스 엔트로피 손실을 사용하려면 False로 저장
				반환값: 
						결과 텐서 tensor.shape는 (batch, output_dim)임'''

				x_embedded_sum = self.embedding(x_in).sum(dim = 1)
				y_out = self.fc1(x_embedded_sum)

				if apply_softmax:
						y_out = F.softmax(y_out, dim = 1)

				return y_out