🤖 AI 모델의 합체 진화
안녕하세요, 에디터 배니입니다.
AI 산업이 빨리 발전하면서 그 저변 또한 빠르게 확장되고 있습니다. 덕분에 흔들리지 않을 것 같았던 기업의 위세에 지각 변동이 생기기도 하고, 그 틈을 타 걸출한 스타트업들이 두각을 드러내기도 하죠. Stability.ai 나 Anthropic이 그 예입니다.
최근 새로운 모델 학습 방법론을 제안한, 또다른 스타트업이 떠오르고 있는데요. 바로 Sakana AI입니다. Sakana AI는 <Attention is All You Need> 논문의 저자 중 한 명인 Llion Jones가 창업한 일본 스타트업으로, 자연 현상에서 영감을 얻어 새로운 Foundation Model을 만들겠다는 목표를 가지고 있습니다.
Sakana AI는 지난 3월 19일, <Evolutionary Optimization of Model Merging Recipes> 논문을 통해 새롭게 모델을 병합 방법론을 제안하며 주목 받았습니다. 이른바 Evolutionary Model Merging(진화적 모델 병합)인데요. 이번 뉴스레터에서는 이 방법론에 대해서 알아보도록 하겠습니다.
Model Merging(모델 병합) 기술이란?
Model Merging은 서로 다른 능력을 가진 모델들을 병합하여, 그 능력을 모두 보유한 하나의 모델로 만드는 기술입니다. 예를 들어, 한국어로 학습한 언어 모델과 일본어를 학습한 언어 모델을 병합하여, 두 언어를 모두 이해할 수 있는 능력을 보유한 하나의 모델을 개발하는 식입니다.
이미 학습된 모델을 병합하는 것이기 때문에 추가적인 학습이 필요하지 않다는 점에서 Model Merging 기술은 비용 효율적이라고 평가합니다. 또한 최근에 다양한 능력을 보유한 거대 모델들이 등장하면서 이들을 더욱 효율적으로 활용하려는 시도와 함께 모델 병합에 대한 관심도 높아지고 있습니다.
하지만 모델을 ‘제대로’ 병합하기란 쉽지 않습니다. 모델 병합 기술은 다양한 분야에 대한 이해가 필요한 동시에, 개발자의 직관이 필요한 영역으로 여겨졌습니다. 이런 한계를 극복하고 기술적으로 모델을 병합하기 위해 다양한 방법론들이 제안됐는데요. 아래에 몇 가지 대표적인 Model Merging 방법론을 소개합니다.
Evolutionary Model Merging
Evolutionary Algorithms(진화 알고리즘)은 자연 선택(Natural Selection)에 영감을 받아 제안됐습니다. 세대를 거치면서 변이가 나타나고, 자연 환경에서 가장 잘 적응할 수 있는 형태가 선택되는 과정을 통해 생물이 진화해온 것처럼, AI 모델에도 동일한 알고리즘을 적용하는 것입니다. 진화 알고리즘을 활용하면 인간의 직관에 반하더라도 최적의 성능을 가지는 모델을 찾을 수 있습니다.
딥러닝 분야에서는 Neural Architecture Search(NAS)가 대표적 예입니다. 그러나 NAS는 새로운 구조를 탐색하면서 만들어진 모델을 한 번 더 훈련시킨 뒤 성능을 평가하기 때문에 많은 리소스가 필요합니다. 연구진은 리소스를 절약하기 위해 이미 학습된 트랜스포머 블럭을 그대로 활용합니다. 대신에 각기 다른 트랜스포머 모델의 레이어를 혼합하는 방식을 최적화하고자 했습니다.
결과적으로 연구진이 제안한 방법은 Evolutionary Model Merging입니다. 통합된 프레임워크에서 병합 모델(Merged Model)을 자동으로 생성하는 방법론입니다. 연구진은 세 가지 방식을 통해 이를 구현합니다.
(1) Merge in Parameter Space(PS)
왼쪽 그림의 파란색 레이어와 빨간색 레이어는 각기 다른 모델을 의미합니다. 오른쪽 그림의 보라색 부분은 두 모델의 가중치가 적절하게 혼합되어 있는 것을 보여주는데요. 연구진은 DARE과 함께 TIES-Merging 방법론을 반영하여 레이어 단위로 결합했습니다. 앞서 설명한 것처럼 적절한 병합 비율을 찾는 과정이 중요합니다. 연구진은 최적 비율을 찾기 위해 진화 알고리즘인 CMA-ES(Covariance Matrix Adaptation Evolution Strategy)를 적용했습니다.
(2) Merge in Data Flow Space(DFS)
다음으로 레이어의 가중치는 그대로 둔 채 레이어의 배열을 조정하는 방법입니다. 레이어의 개수가 많을수록 탐색해야 하는 조합의 수가 많아질 텐데요. 기하급수적으로 늘어나는 조합의 수를 줄이기 위해, 연구진은 선행 연구를 따라 레이어의 순서는 유지한 채 레이어 채택 여부만 판단했습니다.
(3) Merge in both(PS + DFS)
마지막으로 두 가지 방법을 모두 활용하는 방법입니다. 단순하게 생각해봤을 때 좋은 것과 좋은 것을 결합하면 될 것 같지만 실제로 그렇진 않습니다. 두 방법론의 목적이 다르기 때문에, 한 번 더 최적의 조합을 찾아야 합니다. 이를 위해 다목적의 유전 알고리즘인 NSGA-II을 적용합니다.
연구진은 실험을 통해 일본어를 이해하고 있는 모델을 기반으로, 영어 기반 수학 문제를 해결하는 모델을 병합했습니다. 위 결과에서 볼 수 있듯, 병합된 모델이 일본어 수학 평가 지표(MGSM-JA)와 일본어 언어 이해 평가 지표(JP-LMEH)에서 높은 성능을 보였습니다. 즉, 병합 모델에 유전 알고리즘을 적용하여 성공적으로 최적화를 이뤘다고 볼 수 있습니다.
이전에 모델 병합 기법은 마치 연금술과 같은 영역이었습니다. ‘이렇게 하면 금(더 좋은 모델)을 만들어낼 수 있지 않을까?’하는 인간의 직관이 필요했죠.
그러나 유전 알고리즘은 우리의 직관과 다소 다르게 작동합니다. 생명체가 진화하는 방식은 ‘우월한 것’이 살아남는 게 아니라 ‘적응하는 것’이 살아남죠. 자연 현상에서 영감을 얻어 모델을 개발하겠다는 Sakana AI의 목표처럼, 유전 알고리즘을 모델에 적용하여 최적의 조합을 찾겠다는 아이디어가 흥미롭습니다. 그리고 그 원리를 빌려와 더 좋은 모델을 만들 수 있다는 점은 분명 매력적입니다.
사실, 많은 AI 모델의 방법론들은 인간의 학습 과정을 닮아 있습니다. 대표적으로 보상과 처벌을 통해 새로운 것을 학습시키는 강화학습을 들 수 있습니다. 이처럼 AI 연구는 여전히 새로운 돌파구를 찾아나가고 있는데요. 앞으로 새로운 방법론들이 인간 세상의 탐구에서 제안되지 않을까 기대됩니다.
[딥 다이브 소식]
[다만사]
누구나 삶을 살아가며 수많은 자취를 남깁니다. 돌이켜 보면 정신없이 흩어져 있을지도 모르는 자취들. 내가 어떤 길을 걷고 있는지 가끔은 혼란스러울 때가 있죠. 하지만 우리는 그 복잡한 미로를 이미 걸어 왔고, 어디를 걸어 나가든 길은 이어져 있습니다.
선릉의 한 찻집에서 이하은을 만났습니다. 그는 취업 전 다양한 분야를 경험하고, 여러 직무를 고민한 끝에 지금은 데이터 분석가로 일하고 있는데요. 규칙 없이 흩어진 별들 속에서 별자리를 그리듯이, 자신만의 길을 그려 나가고 있는 이하은의 이야기를 소개합니다.