Transformer 자연어 처리

Transformer 자연어 처리

분류

챌린지

세션 시간

챌린지 토요일 오후 1시 - 3시

리더

🗒️ Transformer NLP 2023 여름 커리큘럼

`챌린지`

일정 2023년 7월 29일 - 9월 27일 (10주)

시간 매주 토요일 오후 1시 - 3시

주차	날짜	모듈
1주차	7월 29일(토)	`Transformer`
2주차	8월 5일(토)	`Text Classification`
3주차	8월 12일(토)	`NER` `Text Generation`
4주차	8월 19일(토)	`Summarization` `Question Answering`
5주차	8월 26일(토)	`BERT` `GPT`

교재

트랜스포머를 활용한 자연어 처리 - YES24

챗GPT처럼 자연어를 찰떡같이 알아듣는트랜스포머 완벽 해부트랜스포머는 우리 주변에 가득하다! 트랜스포머 아키텍처는 순식간에 자연어 처리 분야를 지배했고, 챗GPT가 전 세계를 강타했다. 이 책은 데이터 과학자나 프로그래머가 트랜스포머 모델을 훈련하고 확장하도록...

트랜스포머를 활용한 자연어 처리 - YES24

https://www.yes24.com/Product/Goods/115633781

트랜스포머를 활용한 자연어 처리 - YES24

Transformer 자연어처리 상세 커리큘럼

1주차 Transformer

Transformer 논문을 읽고, 이후에 진화해온 과정에 대해서 함께 공부합니다.

2주차 Transformer from Scratch

Transformer의 코드를 밑바닥부터 쌓아봅니다. Tokenizer, Positional Encoding, Multi-Head Attention 등 주요한 기능을 코드로 작성합니다.

3주차 Text Classification NER

Transfromer를 활용하여 다양한 다운스트림 태스크를 다룹니다. 팀별로 데이터를 수집하고 사전 학습 모델을 파인튜닝한 뒤에 텍스트 분류와 개체명 인식을 진행합니다.

4주차 Text Generation Summarization

3주차와 마찬가지로 진행되며 텍스트 생성 및 요약을 위한 태스크를 진행합니다.

5주차 BERT GPT

트랜스포머를 기반으로 구성된 언어 모델 논문을 읽고 리뷰합니다. Hugging Face에서 이미 학습된 모델을 불러와 문장을 임베딩합니다.

클래스 Q&A

Python 및 NLP에 대한 기본적인 이해가 있어야 합니다.

책은 반드시 구매할 필요는 없습니다. 영어로 된 코드 자료는 아래에서 쉽게 구할 수 있습니다.

Natural Language Processing with Transformers

Notebooks and materials for the O'Reilly book "Natural Language Processing with Transformers" - Natural Language Processing with Transformers

Natural Language Processing with Transformers

https://github.com/nlp-with-transformers

Natural Language Processing with Transformers

참고자료

GitHub - Denis2054/Transformers-for-NLP-2nd-Edition: Transformer models from BERT to GPT-4, environments from Hugging Face to OpenAI. Fine-tuning, training, and prompt engineering examples. A bonus section with ChatGPT, GPT-3.5-turbo, GPT-4, and DALL-E including jump starting GPT-4, speech-to-text, text-to-speech, text to image generation with DALL-E, Google Cloud AI,HuggingGPT, and more

Transformer models from BERT to GPT-4, environments from Hugging Face to OpenAI. Fine-tuning, training, and prompt engineering examples. A bonus section with ChatGPT, GPT-3.5-turbo, GPT-4, and DALL...

GitHub - Denis2054/Transformers-for-NLP-2nd-Edition: Transformer models from BERT to GPT-4, environments from Hugging Face to OpenAI. Fine-tuning, training, and prompt engineering examples. A bonus section with ChatGPT, GPT-3.5-turbo, GPT-4, and DALL-E including jump starting GPT-4, speech-to-text, text-to-speech, text to image generation with DALL-E, Google Cloud AI,HuggingGPT, and more

https://github.com/Denis2054/Transformers-for-NLP-2nd-Edition

GitHub - Denis2054/Transformers-for-NLP-2nd-Edition: Transformer models from BERT to GPT-4, environments from Hugging Face to OpenAI. Fine-tuning, training, and prompt engineering examples. A bonus section with ChatGPT, GPT-3.5-turbo, GPT-4, and DALL-E including jump starting GPT-4, speech-to-text, text-to-speech, text to image generation with DALL-E, Google Cloud AI,HuggingGPT, and more

리더를 소개합니다!

😃

비전공자로 데이터 분석(시각화)을 거쳐 AI에 입문하였습니다. 현재 인공지능 대중화를 목표로 입문자들을 위한 콘텐츠를 제작하는 프로젝트 팀 deep daiv.를 리드하고 있습니다.

약력

강의평 기반 강의 추천시스템, 뉴스 기사 의미 연결망 분석 등 자연어 처리(NLP) / 추천시스템 관련 프로젝트 다수 진행

2022년부터 머신러닝 / 텍스트마이닝 / 추천시스템 강의 진행

AI 뉴스레터, 아티클, 매거진을 제작하며 네이버커넥트, 셀렉트스타 등 기업에 기고

데이터 분석 경진대회 DACON 최우수상 및 공모전 수상 경험 다수