5-2 사전 훈련된 임베딩 가져와 사용하기

사전 훈련된 단어 임베딩 이용하기

GloVe 임베딩 다운받기

GloVe: Global Vectors for Word Representation

GloVe is an unsupervised learning algorithm for obtaining vector representations for words. Training is performed on aggregated global word-word co-occurrence statistics from a corpus, and the resulting representations showcase interesting linear substructures of the word vector space. Getting started (Code download) Download the latest latest code (licensed under theApache License, Version 2.0).

https://nlp.stanford.edu/projects/glove/

스탠포드 대학교의 웹페이지에서 Download pre-trained word vectors 중 마음에 드는 것을 선택해 다운로드합니다. 저는 가장 용량이 적은 glove.6B.zip을 선택했습니다.

 

Google Colab에서 단어 임베딩 파일 로드하기

구글 Colab에서 단어 임베딩을 불러와 코드를 실행할 수 있게 하는 단계입니다. 로컬환경에서 코드를 실행하는 경우에는 필요없는 과정입니다.

 

먼저 다운받은 임베딩 파일은 구글 드라이브에 업로드해줍니다. 저는 GloVe 폴더 째로 Colab Notebooks에 넣어주었습니다.

 

다음, 구글 드라이브와 colab을 연결해줍니다.

from google.colab import drive
drive.mount('/content/gdrive')

 

그 다음, file_path에 내가 방금 넣어준 파일의 주소를 적어줍니다.

file_path = '/content/drive/MyDrive/Colab Notebooks/glove/glove.6B.100d.txt'

파일 주소는 왼쪽 폴더 탭으로 들어가서 파일을 선택하면 쉽게 경로 복사를 할 수 있습니다 🙂

 

이제 파일명 대신, file_path를 전달해주면 해당 파일을 colab에서도 활용할 수 있습니다!

---

!pip install annoy

import numpy as np
from annoy import AnnoyIndex

class PreTrainedEmbeddings(object):
    def __init__(self, word_to_index, word_vectors):
        self.word_to_index = word_to_index
        self.word_vectors = word_vectors
        self.index_to_word = {v: k for k, v in self.word_to_index.items()}
        self.index = AnnoyIndex(len(word_vectors[0]), metric = 'euclidean')
        
        for _, i in self.word_to_index.items():
            self.index.add_item(i, self.word_vectors[i])
        self.index.build(50)

		# 단어를 입력하면 단어 임베딩 값(행렬값)을 출력
    def get_embedding(self, word):
        return self.word_vectors[self.word_to_index[word]]

		# 벡터를 입력하면 가장 가까운 벡터를 하나 찾음
    def get_closest_to_vector(self, vector, n=1):
        nn_indices = self.index.get_nns_by_vector(vector, n)
        return [self.index_to_word[neighbor]
                for neighbor in nn_indices]
    
		# 단어 3개를 입력하면, word1, word2와 동일한 관계를 갖는 word3의 단어쌍 word4를 찾아서 출력
    def compute_and_print_analogy(self, word1, word2, word3):
        vec1 = self.get_embedding(word1)
        vec2 = self.get_embedding(word2)
        vec3 = self.get_embedding(word3)

        spatial_relationship = vec2 - vec1

        vec4 = vec3 + spatial_relationship
        
        closest_words = self.get_closest_to_vector(vec4, n=4)
        existing_words = set([word1, word2, word3])
        closest_words = [word for word in closest_words
                         if word not in existing_words]

        if len(closest_words) == 0:
            print("계산된 벡터와 가장 가까운 이웃을 찾을 수 없습니다!")
            return
        
        for word4 in closest_words:
            print("{} : {} :: {} : {}".format(word1, word2, word3, word4))

    @classmethod
    def from_embeddings_file(cls, embedding_file):
        word_to_index = {}
        word_vectors = []

        with open(embedding_file) as fp:
            for line in fp.readlines():
                line = line.split(" ")
                word = line[0]
                vec = np.array([float(x) for x in line[1:]])

                word_to_index[word] = len(word_to_index)
                word_vectors.append(vec)

            return cls(word_to_index, word_vectors)

embeddings = PreTrainedEmbeddings.from_embeddings_file(file_name)

embeddings.compute_and_print_analogy('man', 'he', 'woman')
>>> output
man : he :: woman : she


embeddings.compute_and_print_analogy('fly', 'plane', 'sail')
>>> output
fly : plane :: sail : ship


embeddings.compute_and_print_analogy('cat', 'kitten', 'dog')
>>> output
cat : kitten :: dog : puppy


embeddings.compute_and_print_analogy('blue','color', 'dog')
>>> output
blue : color :: dog : pets


embeddings.compute_and_print_analogy('food', 'delicious', 'cat')
>>> output
food : delicious :: cat : adorable

embeddings.compute_and_print_analogy('man', 'doctor', 'woman')
>>> output
man : doctor :: woman : nurse
man : doctor :: woman : pregnant