🗒️ Multimodal 2024 봄 커리큘럼
모집 인원 4명
활동 시간 매주 토요일 오후 5시 - 7시
활동 방법 주 1회 대면 정기 세션 + 주 1회 필수 팀별 미팅(대면 권장)
Overview
모달리티(Modality)란 ‘양식’이라는 뜻으로 딥러닝에서는 데이터의 형태를 의미합니다. 그 중에서도 멀티모달 딥러닝(Multi-Modal Deep Learning)은 두 가지 이상의 서로 다른 양상을 가진 모달리티를 사용하여 문제를 해결합니다. 이전에는 이미지 분류를 위해 이미지 모달리티 하나만을 사용했다면, 멀티 모달에서는 이미지와 텍스트 데이터를 함께 사용하는 것입니다.
이는 마치 인간이 새로운 것을 배워나갈 때 한 가지 감각이 아닌 여러 가지 감각에 의존하여 경험하고 또 지식을 쌓는 것과 유사하다고 할 수 있습니다. 그래서 종종 멀티모달 딥러닝은 인간의 사고 방식과 유사해지는 과정을 연구하는 분야라고도 합니다.
‘24년 딥다이브 봄 기수 멀티모달분야에서는 다음과 같은 목표를 가지고 있습니다:
- 기존 연구의 문제점과 해결 방안을 깊게 고민해보기
- 프로젝트 결과보다 과정에 집중하여 풍부한 프로젝트 스토리 만들기
좋은 프로젝트란 무엇일까요? 보통 결과물이 화려하고 잘 나온 프로젝트라고 말할 수도 있지만, 저의 경우 “충실하게 깊이 탐색해본 프로젝트”라고 생각합니다. 여러분이 멀티모달 분야라는 심화 과정에 지원하는 이유는 엔지니어나 리서처가 하고 싶어서 지원하는 이유가 있다고 생각합니다.
자소서와 면접에 분명 좋은 결과물을 보여주는 프로젝트가 있어야 할 수도 있지만, 이에 못지 않게 중요한 것은 “프로젝트를 깊이 파 본 경험” 또한 있어야 한다고 생각합니다. 또한 코드 구현 경험과 문제 해결을 위한 과정은 반드시 다른 프로젝트에서 따라서, 멀티모달 분야는 성공을 향한 과정에 더 집중하여 프로젝트를 진행하고자 합니다.
‘24년 딥 다이브 봄 기수에서는 3-4명으로 구성된 리서치 1팀을 모집할 예정입니다. 미세조정(Fine-Tuning)은 일절 진행되지 않습니다. 사전 학습된 거대 모델을 사용할 수는 있으나, 효율적 학습을 위한 모듈을 추가하는 등 딥러닝 아키텍처를 설계하는 방향으로 프로젝트를 진행해나갈 예정입니다.
deep daiv. Multimodal 분야 GitHub
아래는 ‘23년 가을 기수와 ‘24년 겨울 기수에서 진행한 프로젝트 코드를 아카이빙한 깃허브입니다.
모집 과정
신규 모집 멤버 필수 과제 → 면접(4월 28일 일요일) → 선발(4월 29일)면접 안내
⚠️ 안내된 바와 다소 차이가 있을 수 있습니다
일시4월 28일 일요일 오후 2시-10시
구성다대일 면접, 온라인 ZOOM 면접
내용딥러닝에 대한 기본적인 지식 및 프로젝트 협업 능력
예상 소요 시간1인당 약 30분
방식- 4월 27일 오후 10시 면접 대상자 일정 안내 메일 일괄 발송 예정
- 4월 28일 오전 10시 면접 링크 전송 예정
- 면접 메일을 읽지 않아 생기는 불이익은 책임지지 않습니다.
과제 안내
필수 과제
간단한 딥러닝 모델 구현
- 자세한 사항은 노션을 확인해주세요.
과제 목적
- 최소한의 코드 구현 역량과 딥러닝 기초 지식을 검증하기 위한 과제입니다. 실력적인 요소보다 기초 딥러닝 지식과 하고자 하는 열정이 있는지 판단하기 위함입니다.
- 최대한 자신의 힘으로 열심히 코드 구현 해주세요.
과제 양식
제목은 통일이며, “Name” 부분을 자신의 이름으로 변경해주시면 됩니다.
⚠️ 과제 제출 방법
노션 템플릿 복제 후 과제를 작성하여 제출하실 경우, 아래 두 설정을 반드시 모두 완료해주셔야 합니다.
- 우측 상단 공유 - 공유 - Notion의 링크가 있는 모두로 공유 대상 변경
- 우측 상단 공유 - 게시 - 웹에 게시 클릭 후 템플릿 복제 허용
신규 기수 구글 폼 노션 링크 제출공유 설정이 잘못되어 생기는 불이익은 책임지지 않습니다.
이런 팀원과 함께하고 싶어요!
중요도 ⭐⭐⭐⭐⭐10주간 딥 다이브 하실 수 있어야 합니다.
다이브 활동 중에서도 특히 멀티모달팀은 코드를 구현하고 많은 실험을 진행해야 하기 때문에 많은 시간을 필요로 합니다. 그리고 시간을 많이 투자할수록 양질의 과정과 결과가 모두 수반됩니다. 그렇기 때문에 오롯이 프로젝트에 집중하실 수 있는 분이면 좋겠습니다.
- 딥러닝 기본 지식을 가지고 있어야 합니다.
- TensorFlow, PyTorch 사용한 경험이 있어야 합니다.
딥러닝 구조를 코드 상에서 구현하기 위해서는 필수 라이브러리인 TensorFlow나 PyTorch를 사용할 수 있어야 합니다. 처음 접하시는 분들은 다소 어려울 수 있습니다.
FAQ
딥러닝 기본 지식이면 어느 정도 알고 있어야 하나요?
멀티모달팀의 사전 과제를 해낼 수 있는 정도면 충분합니다.
지원하고 싶은데 멀티모달은 처음이에요.
트랜스포머, 어텐션에 대해 충분히 숙지하고 계시면 지원 가능합니다. 다만, 코드를 다룰 일이 많을 수 있으니 코드 짜는 것에 익숙지 않은 분들은 힘드실 수 있습니다.
딥러닝 아키텍처팀과 무엇이 다른가요?
‘24 봄 기수 멀티모달팀이 진행할 프로젝트의 방향성은 딥러닝 아키텍처팀과 다를 것이 없습니다. 다만, 멀티모달 팀의 경우 반드시 두 가지 이상의 모달리티 데이터를 사용하여 진행할 예정입니다.
그 외에도 질문이 있다면 이메일(manager@deepdaiv.com)로 문의 주시기 바랍니다.
주차 별 활동 계획
활동 계획
- 딥러닝 아키텍처팀과 함께 매주 토요일 오후 5시 강남역 부근에서 대면 세션을 진행할 예정입니다.
- 논문을 읽고 프로젝트를 선정하는 방식 대신 프로젝트 아이디어를 기반으로 베이스라인 모델 및 논문을 탐색할 예정입니다.
간단한 활동 흐름
어떤 태스크를 풀어낼 것인지 선정하고, 관련 논문을 통해 코드가 오픈소스로 공개되어 있는 모델을 베이스라인으로 잡습니다. 그 후 베이스라인 논문과 코드를 통해 추가적인 문제 해결 방법을 위한 논문 읽기와 코드 구현 및 실험 진행 방식으로 진행됩니다.
주차 | 활동 내용 |
1주차 | OT |
2주차 | Project Ideation |
3주차 | 관련 논문 읽기 (1) |
4주차 | 프로젝트 (1) |
5주차 | 프로젝트 (2) |
6주차 | 팀 세미나 |
7주차 | 프로젝트 (3) |
8주차 | 프로젝트 (4) |
9주차 | 프로젝트 데모 준비 |
10주차 | 프로젝트 리허설 |
11주차 | 프로젝트 회고 |