3강 - 컨텐츠 기반 모델 - Word2Vec(CBOW)

3강 컨텐츠 기반 모델

Intoduction

Word2Vec

CBOW

Word2vec 추천시스템 구현

#필요한 라이브러리 불러오기
import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import TfidfVectorizer
import gensim

#경로설정하기
path_meta = "./drive/MyDrive/machine_learning/movies_metadata.csv"
path_ratings = "./drive/MyDrive/machine_learning/ratings.csv"

#판다스를 이용해 데이터 불러오기, 데이터 정렬
movie = pd.read_csv(path_ratings)
movie = movie.sort_values(by='timestamp', ascending=True).reset_index(drop=True)

#데이터 전처리, column이름을 바꾸고 데이터 병합
meta = pd.read_csv(path_meta)
meta = meta.rename(columns={'id':'movieId'})
movie['movieId'] = movie['movieId'].astype(str)
meta['movieId'] = meta['movieId'].astype(str)
movie = pd.merge(movie, meta[['movieId', 'original_title']], how='left', on='movieId'

movie = movie[movie['original_title'].notnull()].reset_index(drop=True)

#userId를 기준으로 묶어주기 
agg = movie.groupby(['userId'])['original_title'].agg({'unique'})
agg.head()

#각각의 user가 본 영화끼리 묶어서 저장하기
sentence = []
for user_sentence in agg['unique'].values:
    sentence.append(list(map(str, user_sentence)))

#word2vec 모델 학습
from gensim.models import Word2Vec
embedding_model = Word2Vec(sentence, size=20, window = 5, 
                           min_count=1, workers=4, iter=200, sg=1)

#결과확인
embedding_model.wv.most_similar(positive=['The Phantom of the Opera'], topn=10)