AI가 수학 올림피아드에서 금메달을 딸 수 있을까?
안녕하세요, 에디터 배니입니다.
학창 시절 여러분들을 괴롭힌 과목은 무엇이었나요? 많은 분들이 ‘수학’을 꼽지 않을까 조심스레 예측해봅니다. 많은 학생들이 수학 과목을 어려워하고 두려하면서, ‘수포자(수학을 포기한 자)’라는 단어가 생길 정도니까요.
AI에게도 수학은 제법 어려운 과목이었습니다. 언어 모델은 주로 다음 토큰을 예측하는 것을 목표로 하는데, 수학 문제는 그것만으로는 해결하기 어렵기 때문입니다. 자주 등장한 문제에 대해서 다음 토큰을 예측하는 것은 잘할 수 있겠지만, 그 과정에서 논리적인 연산 과정을 이해하여 새로운 문제까지 풀기는 AI에게 어려운 일이었습니다.
그런데 지난 1월 17일, 구글 딥 마인드에서 세계 수학 올림피아드 문제를 풀고, 더 나아가 금메달을 받을 수 있는 수준으로 많은 문제(25문제)를 맞혔다고 밝혔습니다. 오늘은 IMO의 기하 문제를 푸는 AI, AlphaGeometry를 소개합니다. AlphaGeometry가 어려운 수학 문제를 풀어낸 방법은 무엇이었을까요?
인간 사고의 두 가지 체계: 빠른 생각과 느린 생각
AlphaGeometry 논문은 <Solving olympiad geometry without human demonstrations>입니다. 연구 성과를 인정 받아 무려 과학 최고 저널 '네이처'에 등재됐습니다.
AlphaGeometry를 구현한 아이디어는 심리학에서 찾아볼 수 있습니다. 연구진은 심리학자이자 행동 경제학의 선구자인 대니얼 카너만(Daniel Kahneman)의 명서 “thinking, fast and slow”에서 착안했다고 밝혔습니다. (국내에는 생각에 관한 생각으로 출판됐습니다.) 인간의 두 가지 사고 시스템인 ‘빠른’ 사고와 ‘느린’ 사고를 어떻게 모델링했을까요?
AlphaGeometry는 직관성을 기반으로 ‘빠른’ 사고를 담당하는 Language Model(언어 모델)과 정밀한 추론을 기반으로 ‘느린’ 사고를 담당하는 Symbolic Engine(기호 처리 엔진)으로 구분합니다. 언어 모델은 데이터에서 단어간의 관계를 식별하는 데 뛰어나고, 기호 처리 엔진은 형식 논리에 기반을 두고 명확한 규칙을 사용하여 결론에 도달하는 데 뛰어납니다.
예시를 살펴봅시다. 주어진 문제 다이어그램과 전제를 바탕으로, AlphaGeometry는 먼저 기호 처리 엔진을 사용하여 다이어그램에 대한 새로운 명제를 도출합니다. 이를 Proof Search라 합니다. 해결책을 찾거나 새로운 명제가 소진될 때까지 이 과정이 계속됩니다. 해결책이 나오지 않을 경우, AlphaGeometry의 언어 모델이 잠재적으로 유용한 Construct를 추가하여 기호 처리 엔진에 새로운 연역적 추론 경로를 열어줍니다. 이 루프는 해결책이 나올 때까지 계속 반복됩니다. 위의 예시에서는 보조점을 Construct로 추가하여 문제를 해결했습니다.
이런 과정을 모델이 학습하기 위해서는 데이터가 필요합니다. AlphaGeomtry를 학습하기 위해서 연구진은 Deduction Database(DD)와 Algebraic Rules(AR)를 결합하여 합성 데이터를 구성했습니다.
먼저 무작위로 정리 전제(Theorem Premises)를 샘플링합니다. 샘플링된 전제는 기호 처리 엔진의 입력으로 사용됩니다. 전제들로부터 도달 가능한 모든 결론의 비순환 그래프(Acyclic graph)를 반환합니다. 기호 처리 엔진은 DD를 활용하여 기하학적 규칙을 통해 전제로부터 효율적으로 새로운 명제와 증명들을 도출합니다. 그리고 AR로 많은 올림피아드 수준 증명에서 필요한 각도, 비율 및 거리 추적을 구하는 데 필요한 정보를 도출하고요.
지금까지 생성된 증명들은 매우 효율적인 기호 연역 엔진 DD + AR이 이미 도달할 수 있는 연역 단계로만 구성되어 있습니다. 즉, 이미 알고 있는 정보로 알고 알 수 있는 정보는 다 추출했다는 것이죠. 그러나 올림피아드 수준의 문제를 해결하기 위해서는 새로운 증명 항을 생성해야 합니다.
이때 원하는 결론에 도달하기 위해서는 새로운 보조 항을 구성할 필요가 있는데요. 쉽게 말하면, 지금까지 생성된 증명만으로 해결되지 않은 실마리를 풀어낼 수 있는 보조항을 생성하는 것입니다. 이 보조항이 생성되면 새롭게 추론을 이어나가고 결론적으로 답에 가까워질 수 있겠죠. 이렇게 답을 찾아나갈 수 있도록 합성 데이터를 구성한 뒤에 새로운 보조항을 Construct로 생성해내는 언어 모델을 학습시킬 수 있게 된 것입니다.
물론, 아직 AI가 IMO의 금메달을 받을 수 있는 수준은 아닙니다. 왜냐하면 IMO에서 기하 유형은 6문제 중 2문제 정도밖에 출제되지 않기 때문입니다. 아무리 기하 유형을 다 맞는다고 해도 상위권에 들기는 어려워보입니다.
그러나 AlphaGeometry의 특징은 논리적으로 인간에게 설명 가능한 풀잇법을 알려준다는 점입니다. 즉, 모델이 도출한 결론에 대하여 추론 과정을 설명할 수 있다는 것인데요. “기하 문제를 잘 풀 수 있다”를 넘어서서 언어 모델의 약점으로 꼽혔던 논리적으로 추론해낼 수 있다는 점이 더욱 눈에 띄는 것 같습니다.
게다가 Google DeepMind는 AlphaGeometry를 오픈 소스로 공개했습니다. 앞으로 수리적 추론 과정에서도 분명 충분한 기여를 할 수 있을 것으로 기대됩니다. 이제 수학 영역에서도 AI가 인간을 넘어서는 날이 올까요?