#34 인공지능을 위한 운영체제

에이다 러브레이스가 최초로 프로그래밍 가능한 컴퓨터의 개념을 소개한 순간부터, 인류는 기계가 지능을 갖출 수 있을지 궁금해 해왔습니다. 알파고가 등장하여 바둑의 거장을 이기며 세계를 놀라게 한 이후, 우리는 인공지능이 무엇을 더 할 수 있을지 기대하게 되었죠. 그로부터 머지않아 이제는, 반대로 AI가 할 수 없는 게 무엇일지를 고민하는 시대에 살고 있습니다.

인공지능은 눈부신 속도로 진화하여 오늘날 우리 생활의 거의 모든 측면에 스며들었습니다. 분야를 막론하고 AI 연구와 개발에 대한 투자는 폭발적으로 증가하였고, AI를 위한 기술이라는 키워드는 이제 일상어가 되었죠. 이러한 변화의 중심에서 AI 모델 학습과 추론을 위한 전용 반도체에 대한 연구가 활발히 이뤄지며, 반도체 대전을 촉발하기도 했습니다.

AI 영향력은 하드웨어에만 그치지 않습니다. 개발자가 빠르고 효율적으로 코드를 작성할 수 있도록 돕는 AI 서비스인 코파일럿(Copilot)은, 저변을 넓혀 이제는 문서 작성과 같은 일상 업무에까지 사용되고 있습니다.

다양한 작업에 AI가 통합되면서 사용자에게는 여러 이점을 가져다 주었지만, 기존의 프로그램은 AI 서비스와 한정된 자원을 공유해야 하는 문제에 직면했습니다. 기존의 운영체제는 하드웨어와 소프트웨어를 연결하며, 각 프로그램이 컴퓨터 자원을 효과적으로 사용할 수 있도록 관리합니다. 프로그램을 실행하고, 메모리를 관리하며, 파일을 저장하는 작업을 비롯해 모든 입력과 출력은 운영체제를 통해 이루어지죠.

문제는 기존의 운영체제가 LLM 기반 에이전트의 동작을 염두에 두고 설계되지 않았다는 것입니다. 심지어 하나의 컴퓨터에서 여러 개의 AI 에이전트를 사용할 경우, 그에 따라 각 에이전트가 효율적으로 협업하고 자원을 공유할 수 있도록 설계된 새로운 운영체제(OS)의 필요성이 대두되었죠. 최근 제안된 논문 AIOS: LLM Agent Operating System(Mei et al., 2024)에서는 기존의 운영체제와 대규모 언어 모델(Large Language Model, LLM) 기반 에이전트를 통합하는 방법을 제안했습니다.

AI와 협업하는 운영체제

LLM에 기반한 AI 에이전트는 뛰어난 작업 이해와 추론 능력을 바탕으로 사용자의 요청을 수행합니다. 예를 들어, 여행 계획을 세워달라는 요청을 받은 LLM 에이전트는 먼저 필요한 작업을 단계별로 정의합니다. 이후 사용자의 선호에 따라 비행기 표와 호텔을 예약하고, 결제까지 마친 후에는 캘린더에 여행 일정을 등록하는 것으로 요청을 마무리할 것입니다. 이 일련의 작업을 수행하기 위해서 AI 에이전트는 LLM 서비스뿐만 아니라 기존의 운영 체제와도 상호 작용이 필요합니다.

그런데 에이전트가 처리하는 작업이 많아지면 제한된 자원을 효율적으로 분배하여, 작업의 우선순위를 정하는 문제가 복잡해집니다. 특히, LLM이 텍스트를 생성할 때에는 많은 시간이 소요되어 작업 스케줄에서 순위가 밀리는 경우도 있겠죠. 만약 여러 개의 에이전트가 동시에 같은 API를 호출하면 불필요한 자원이 반복적으로 사용하지 않도록 관리하는 기능도 있어야 합니다. 이와 같은 문제를 해결하기 위해 제안된 AIOS는 기존의 OS와 LLM의 기능을 분리하고, 독립적으로 처리한 작업을 통합하는 방식으로 LLM과 관련된 작업을 관리합니다.

AIOS 아키텍처

기존의 OS와 다르게 AIOS는 어떤 구조를 가질까요? AIOS의 전체 아키텍처는 아래 그림과 같이 애플리케이션(Application), 커널(Kernel), 하드웨어(Hardware)로 세 개의 계층(Layer)으로 구성되어 있습니다.

애플리케이션 계층에서는 LLM 에이전트의 개발과 배포가 이루어집니다. 이 계층에서 제공되는 AIOS SDK는 하위 계층에서 수행되는 복잡한 작업을 추상화한 툴킷을 제공하여, 에이전트 개발자의 작업을 편리하게 해줍니다.

커널 계층은 OS 커널과 LLM 커널로 구분됩니다. 이를 통해 LLM 커널은 컨텍스트 관리(Context Management), 에이전트 스케줄링(Agent Scheduling)과 같이 LLM에 특화된 작업에 집중할 수 있습니다. 여기에는 LLM을 효율적으로 운용하기 위한 여러 모듈이 탑재되어 있으며, AIOS는 기존의 OS 커널 구조를 크게 변경하지 않고, LLM을 위한 커널을 개발하는 데 중점을 둡니다.

하드웨어 계층은 CPU, GPU, 메모리, 주변기기와 같이 물리적인 장치로 구성됩니다. LLM 커널에서 이루어지는 요청은 하드웨어와 직접적으로 상호작용할 수 없기 때문에, OS 커널은 LLM 커널의 요청을 받아 하드웨어 계층에 전달합니다.

LLM 커널의 역할

AIOS의 핵심은 LLM 커널입니다. 여기에 탑재된 다양한 모듈은 LLM과 관련된 작업을 처리하며, AIOS가 기존의 OS와 차별점을 갖도록 합니다. 먼저, 에이전트 스케줄러(Agent Scheduler)는 다양한 에이전트의 요청을 효율적으로 처리합니다. 다음 그림과 같이 세 개의 에이전트 A, B, C가 각각 요청을 보냈다고 가정해 보죠. 기존의 방식대로라면, 하나의 요청을 처리한 후 다른 에이전트의 요청을 순차적으로 처리했을 것입니다. 하지만 에이전트 스케줄러는 여러 개의 요청을 병렬적으로 처리하며, 작업 대기 시간을 최소화합니다.

컨텍스트 관리자(Context Manager)는 LLM의 생성 과정에서, 스냅샷을 생성하고 복원하는 작업을 수행합니다. 앞서 LLM의 생성 과정에는 많은 시간이 소요된다고 했습니다. 제한된 자원을 효율적으로 사용하기 위해서 에이전트 스케줄러는 이 생성 작업을 뒤로 미룰 수 있습니다. 그런데, 만약 작업이 끝나지 않은 상태에서 미뤄야 한다면 어떻게 할까요?

아래 그림처럼 컨텍스트 관리자는 생성 작업을 도중에 미뤄야 할 경우, 현재 상태를 저장하고 이후 작업 순번이 돌아오면 저장한 스냅샷을 통해 작업 내용을 복원합니다.

메모리 관리자(Memory Manager)는 에이전트가 활성화돼 있는 동안 사용하는 단기 기억(Short-term memory)을 관리합니다. 각 에이전트의 저장 공간은 독립적으로 관리되며, 여기에 저장되는 데이터는 주로 유저의 요청에 빠른 응답을 제공하기 위해 사용됩니다. 저장소 관리자(Storage Manager)는 사용자의 선호, 검색 증강을 위한 데이터와 같이 에이전트를 사용하지 않을 때도 보존해야 하는 정보를 장기 기억(Long-term memory)하는데 사용됩니다.

연구진은 AIOS의 성능을 평가하기 위해 세 개의 에이전트가 실행되는 상황에서 각 에이전트의 대기 시간(Waiting time)과 처리 시간(Turnaround time)을 측정하였습니다. 스케줄링을 적용하지 않을 경우 먼저 실행되는 에이전트는 짧은 대기 시간을 갖지만, 나중에 실행되는 에이전트는 긴 시간을 기다려야 합니다. 반면 AIOS는 각각의 에이전트의 대기 시간을 효율적으로 조절합니다. 이처럼 AIOS는 여러 에이전트의 작업을 병렬적으로 수행할 때 특히 유용합니다. 특히 LLM의 규모가 클 때 그 이점이 두드러지며, 이는 스케줄링의 중요성을 의미하기도 합니다.

AI의 시대

언어 모델이 빠르게 발전하며 전문적인 작업을 간단한 텍스트 명령어만으로 처리하는 시대가 됐습니다. 기존의 디바이스에 LLM이 통합되어 효율적으로 요청을 수행하는 대신, 제한된 자원을 분배할 필요성이 부각되며, 이제는 AI를 위한 운영체제까지 등장했죠. 앞으로 AI는 다양한 방식으로 우리 삶 속에 스며들 것이며, 마찬가지로 AI를 효율적으로 사용하기 위한 기술도 끊임없이 발전할 것입니다.

“AI is the new electricity.” 앤드류 응 교수는 인공지능을 이렇게 정의했습니다. 그는 “100년 전 전기가 거의 모든 것을 변화시켰듯이, 향후 몇 년 안에 AI가 변화시키지 않을 산업을 생각하기 어렵습니다.”라고 했죠. 그리고 이건 현실이 되고 있습니다. 앞으로는 AI라는 말이 사라질 것이라는 전망도 있습니다. 모든 기계의 동력으로 전기를 사용하는 현재, 냉장고를 굳이 전기냉장고라고 부르지 않듯이 앞으로는 AI가 사용됐음을 따로 언급할 필요가 없기 때문이죠. AI는 당연한 존재가 될 것입니다.

안타깝게도 인공지능에 대한 거부감을 갖고 있는 사람들이 여전히 많습니다. 하지만 그와 무관하게 전 세계는 인공지능 연구에 박차를 가하며 업계의 최전선에 서기 위해 노력하고 있습니다. 제2의 전기가 된 인공지능이, 새로운 산업 혁명의 동력이 되는 현장에서, 우리는 어떻게 살아남아야 할까요?