cleanUrl: "24su-challenge/audio"
🗒️ Audio 2024 여름 커리큘럼
모집 인원 3~6명
활동 시간 매주 화요일 오후 10시-11시 30분
활동 방법 주 1회 비대면 정기 세션 + 주 1회 팀별 미팅 (대면 권장)
목표
오디오 딥러닝 챌린지를 처음 시작한 지 어느덧 1년이 되었습니다. 지난 네 기수동안의 오디오 챌린지는 주로 오디오 딥러닝 전범위에 걸친 태스크들을 살펴보고 상용화된 모델을 파인튜닝하거나 논문을 구현하는 데에 집중했습니다. ‘오디오’ 라는 생소한 주제를 가능한 쉽게 탐구하는 것에 초점을 두었기에 다양한 주제를 비교적 가볍게 공부하고 프로젝트 역시 그 적용가능성과 다채로움에 중점을 두어 진행했습니다.
하지만 이번 기수는 기존에 존재하는 오디오 모델들을 활용하는 것을 넘어, 논문 구현의 효율화를 꾀하거나, 현존하는 방법론들의 문제점을 파악하고 이를 개선해나가는 것을 목표로 합니다. 이전 기수들과 비교하면 조금은 더 좁고 깊다고 볼 수도 있고, 조금은 더 연구 프로젝트의 성격을 가진다고 볼 수도 있습니다.
커리큘럼
상기한 목표를 달성하기 위해 우리는 오디오 도메인의 특성을 이해하고 여러 논문을 깊게 파악할 수 있어야 합니다. 이를 위해 챌린지 전반부의 정기 세션에는 오디오 데이터의 특징을 설명하고 현존 논문들을 해설 및 비평합니다. 매주 팀 활동으로는 논문 비평, 코드 구현 등을 수행합니다. 이후 논문 구현, 논문 개선 등 방향성을 정하고 팀 프로젝트를 진행합니다.
필수 과제
필수 과제
오디오 딥러닝 챌린지에 참여하시는 여러분의 열의와 역량을 검증하기 위해 기존기수 분들과 신입기수 분들 모두 과제를 제출해 주셔야 합니다. 과제의 형식은 아래의 pdf 파일에 제시되어 있으며 수료 팀원(기존 기수) 분들과 신입 기수 분들께 조금씩 다른 양식의 과제를 드렸기 때문에 혼동 없으시길 바랍니다. 과제는
.ipynb 형태로 제출해 주셔야 하는데, 문제에 따라 코드가 아닌 설명을 해야 하는 경우에는 마크다운 셀을 활용하시기 바랍니다. 이외의 형식은 자유롭게 작성해 주세요. - 신입 기수의 경우 과제를 작성한 후 구글폼에 첨부해 제출 부탁드립니다.
- 기존 수료 팀원의 경우 과제를 작성한 후 슬랙 DM으로 7월 21일까지 제출 부탁드립니다.
이런 팀원과 함께하고 싶어요!
- 연구 프로젝트에 관심이 있으신 분
- 오디오 딥러닝을 입문하고 싶으신 분
- CNN, RNN 등 딥러닝 기초 개념을 숙지하신 분
주차별 활동 계획
주차 | 활동 내용 |
1주차 | OT: What is Audio Deep Learning? |
2주차 | Audio Spectrogram Transformer: Details |
3주차 | HiFi-GAN: Details |
4주차 | Wav2Vec 2.0: Details | 프로젝트 (1) |
5주차 | 프로젝트 (2) |
6주차 | 팀 세미나 |
7주차 | 프로젝트 (3) |
8주차 | 프로젝트 (4) |
9주차 | 프로젝트 데모 준비 |
10주차 | 프로젝트 리허설 |