시퀀스를 모델링할 때 지난 단어와 앞으로 나올 단어를 함께 관찰하면 도움이 됩니다. 아래 예시를 보시죠.

💬

짧은 문장 The man who hunts ducks out on the weekends.

이 문장에서 왼쪽부터 처리할 때와 오른쪽부터 처리할 때 ‘ducks’를 다르게 표현할 가능성이 있습니다. (’duck’에는 오리(명사), 피하다(동사) 두 가지 의미가 있습니다.) 사람은 항상 이런 의미 업데이트를 수행하고 있습니다. 양방향 순환 모델은 과거와 미래의 정보를 합쳐 문장에 있는 단어의 의미를 더욱 안정적으로 표현하는 것이 목적입니다.

위 그림에서는 모델이 어떻게 양방향으로 문장을 읽고, 정방향과 역방향을 합친 감성 분류를 위한 표현 을 만드는지 보여줍니다. 참고로 선형 층과 소프트맥스 함수는 생략되어 있습니다.

위 그림에서 는 단어 ‘love’가 입력되는 타임 스텝에서 신경망의 은닉 상태에 대한 표현 혹은 인코딩입니다. 이 상태 정보는 다음 장에서 다룰 어텐셜 모델에서 중요한 역할을 합니다.

이전 글 읽기

8-1 조건부 생성 모델, 인코더-디코더 모델, 시퀀스-투-시퀀스 모델

다음 글 읽기

8-3 어텐션 메커니즘

8-2 양방향 순환모델