
cleanUrl: 'articles/AIart'

📥인트로 📜문학 🎨그림 DALL-E 실험: 사람이 그린 그림과 인공지능이 그린 그림을 구분할 수 있을까?🎼작곡 Watson Music MuseNet 📤아웃트로

참고문헌

인공지능의 창작성 관련 칼럼: http://www.aitimes.com/news/articleView.html?idxno=140241

KT주관 AI 소설 공모전 관련 기사: ttps://biz.chosun.com/site/data/html_dir/2018/08/17/2018081702623.html

인공지능 장편소설 <지금부터의 세계> 관련 기사: https://www.chosun.com/culture-life/culture_general/2021/08/26/2B2VSJI5NVCCBG2QKPHUKFTWZQ/

인공지능의 예술성 관련 연구 논문: https://journals.sagepub.com/doi/full/10.1177/0276237421994697?casa_token=ikEdDq2gCH0AAAAA%3ADSDjSV8CS2j2Osgkn-_IlCrp3racQlno7X51Kfs5W__W5b0vS0Ba1KRML-POti5y2fPSnAAm_Q

인공지능의 그림과 인간의 그림 구분 관련 기사: https://www.hani.co.kr/arti/science/science_general/984876.html

인공지능의 작곡 관련 포스팅: https://www.kakaobrain.com/blog/28

📥인트로

🎞️

🕵🏿‍♂️: “로봇이 교향곡을 쓸 수 있어? 로봇이 캔버스에 멋진 명화를 그릴 수 있냐고.” 🤖: “당신은요?”

2004년 개봉한 영화 <아이로봇>의 명대사입니다. 형사가 로봇을 취조하면서 오가는 신경전 속 나눈 대화인데요, 여러분은 어떻게 생각하시나요? 이 영화가 개봉한 지 20년이 채 되지 않은 2022년 현재 제가 감히 영화 속에 끼어들어 볼까 합니다.

🎞️

🙄: “얘 작곡도 가능하고 그림도 그릴 수 있어. 심지어 소설까지 쓰더라.”

지금까지 ‘창의성’은 인간 고유의 영역으로 여겨졌습니다. 알고리즘과 패턴으로 움직이는 기계와 우리 인간을 구분짓는 기준이었던 것이죠. 셰익스피어, 살바도르 달리, 모차르트를 천재라고 부르는 이유는 노력으로 도달하기 힘든 그들의 선천적이고 월등한 창의성을 높이 사기 때문입니다. 학습으로 불가능한 타고난 재능이라고 믿기에 우리는 그들을 동경하죠. 그러나 질리도록 들려오는 ‘인공지능의 발달’로 인해 창의성과 뗄 수 없는 예술의 영역이 정말 인간의 고유한 영역인가에 대한 물음이 던져지고 있습니다. 사실 인간들 사이에서도 하나로 정의하지 못하고 있는 것이 예술인데, 과연 인공지능의 예술성은 어디까지 왔을까요? 문학과 그림, 그리고 작곡 분야에서의 인공지능 예술성의 현주소를 살펴보겠습니다.

💡

용어 정리 용어를 이해하면 포스트를 더 잘 이해할 수 있을 것 같아요! 한 번 정리하고 넘어갈까요? 기계학습(머신러닝: Machine Learning)은 인공지능이 하는 학습입니다. 그 학습 방법에는 여러가지가 있는데 그 중 신경망 학습은 인간의 뇌와 뉴런을 모방한 학습 형태를 말합니다. 딥러닝(Deep Learning)은 이 신경망 학습이 심화된 형태입니다. 한 마디로 여러 값 중 정답에 가장 가까운 것을 오차 계산하고 수정해서 정확한 윤곽을 만드는 기술입니다. 자연어는 우리가 일상에서 사용하는 모든 언어를 말합니다. 컴퓨터가 자연어를 이해하기 위해서는 자연어의 의미를 파악해야 하기 때문에 자연어 처리(Natural Language Processing)를 거치게 됩니다. 한 마디로 기계에게 인간의 언어를 이해시키기 위한 과정이 바로 자연어 처리(NLP)입니다.

📜문학

2018년 KT에서 인공지능 소설 공모전을 개최했습니다. 인공지능이 주제인 소설이 아니라 인공지능이 ‘집필한’ 소설을 말이죠! 그리고 3년 뒤 2021년에는 국내 최초로 인공지능이 쓴 장편소설 <지금부터의 세계>가 단행본으로 출간됐습니다. 인공지능을 소설가로 만들기 위한 노력이 활발해지고 있는네요. 그렇다면 인공지능이 소설을 쓰는 과정은 어떻게 될까요?

✍️

인공지능이 소설을 쓰는 과정 1️⃣ 인공지능이 기존 소설 문장 수백만 개를 학습한다. 2️⃣ 사람이 시·공간, 인물 등 배경 정보와 도입 문장을 입력한다. 3️⃣ 인공지능이 상황을 추론해 완전한 소설 문장을 작성한다.

인공지능은 논리 추론과 딥러닝 기반 자연어 처리(NLP)를 활용하여 과정1️⃣을 수행합니다. 그 후 과정2️⃣에서 인간이 ‘대학생인 따쯔가 한겨울 새벽에 고속버스터미널에서 버스를 기다린다.’와 같은 문장을 입력합니다. 그러면 과정3️⃣을 통해 인공지능은 ‘대학생’에서 인물 직업을 추론해 대학생 관련 정보를 확보하고 ‘한겨울’, ‘새벽’, ‘고속버스터미널’에서 배경을 고려해 날씨, 시간, 장소 정보를 확보합니다. 그리고 ‘버스를 기다린다’에서 행동을 추론해 한국어 문장으로 세부 이야기를 구성하죠.

📖

P. 413 하는 말마다 백 퍼센트 옳아 더 약이 올랐다. 속에서 올라오는 깊은 빡침을 결국 못 이겨 허허 스님 어투를 빌려 ‘멕였다’. ‘성질 완전 싸가지’란 욕은 물론이고 다시는 보지 않아도 좋다는 각오로. “이 세상에서 절대 하지 말아야 할 것이 있다오….” (EP. 78 중에서)

인공지능이 쓴 글이라고 말하지 않으면 모를 정도로 너무 인간스럽죠? <지금부터의 세계> 소설가 인공지능 비람풍이 쓴 글 중 일부를 발췌해봤습니다. 이처럼 인간 고유의 영역으로 여겨졌던 소설 창작에 인공지능의 도입이 시작되고 있습니다. 그러나 이것을 온전한 인공지능의 ‘창의성’으로 볼 수 있을지에 대한 논의 또한 활발합니다. 위 과정에서 알 수 있듯이 사람이 직접 플롯을 구성하는 개입이 필요하고 그에 따라 인공지능은 기존 문장을 응용하기 때문이죠.

인공지능의 글쓰기는 방대한 데이터를 분석하고 종합하여 재구성하는 과정으로 이루어집니다. 사실 인간 또한 기존의 플롯과 수많은 클리셰를 변주하여 새로운 세계관을 구축하면서 창작을 하기도 합니다. ‘모방은 창조의 어머니!’라는 말이 떠오르네요😃 창작을 창조라고 본다면 인공지능의 창의성은 평범한 사람보다는 낫지만 저명한 소설가만큼은 아닌 정도일까요? 당장 저에게 누가 플롯을 던져주고 이야기를 전개해보라고 시키면 쉽게 해낼 수 없을 것 같습니다. 플롯만 가지고도 얼마든지 다양하고 치밀한 전개가 가능한데 저의 창의성에는 한계가 있거든요😓 <지금부터의 세계>의 김태연 소설감독은 인터뷰에서 다음과 같이 말했습니다.

🗣

“소설 창작 과정의 10%를 제가, 90%를 인공지능이 담당했습니다.” “인공지능이 복잡한 소설을 구상할 능력이 없고, 최고 수준 작가의 디테일과 표현력을 따라가려면 멀었습니다.” 그러나 “글쓰기의 번거로움을 혁신적으로 줄일 순 있어요.” “문체는 완벽하지 않아도 공식에 맞춰 쓰는 이류 소설가와 경쟁해볼 만합니다.” 앞으로 ”소설가는 ‘소설 감독’으로 역할이 확장될 겁니다. 집필의 노동은 인공지능에 맡기고, 작품 기획과 연출만 하는 소설가가 미래에 나올 수 있습니다.”

앞으로 인공지능이 더욱 발전한다면 아예 인간의 개입 없는 온전한 창의성을 지닐 수 있게 될까요? 그 대답에 대해서는 여러 의견이 나올 수 있지만 한 가지 확실한 건 앞으로 인공지능이 더 발전하고 보편화된다면 문학 분야에서의 창작 과정에 영향을 끼칠 것이라는 겁니다. 그동안 우리 인간이 믿어왔던 문학 창작의 패러다임이 변할 수도 있겠죠. 단순한 명령에도 유려한 문체로 글을 쓸 수 있는 수준까지 왔다면 앞으로는 더 간단한 명령으로도 더 ‘인간 같은’ 글을 어쩌면 그보다 더 나은 글을 쓸 수 있게 될 것이라고 기대해도 될 것 같아요.

🎨그림

DALL-E

소설가 인공지능에서 한 단계 진화한 화가 인공지능이 최근 등장했습니다! 2021년 OpenAI에서 컴퓨터 비전(Computer Vision)과 자연어 처리(NLP) 기술을 결합한 AI 모델을 공개해 많은 이들을 놀라게 했습니다. 그 중 DALL-E라는 모델로 화가 인공지능을 차근차근 설명해드릴게요☺

‘DALL-E’ 라는 이름은 천재 화가 살바도르 달리와 영화 제작사 픽사의 <월-E>를 합쳐서 지었다고 합니다. 이 모델은 텍스트 입력에 따라 다양하고, 때로는 살바도르 달리처럼 초현실적인 이미지를 만들도록 훈련되었다고 합니다. 모델이 그림을 그리는 과정을 한번 살펴볼까요?

🖼️

인공지능 DALL-E가 그림을 그리는 과정 1️⃣ 인공지능이 많은 텍스트, 이미지 데이터를 통해 분류 작업을 수행하고 학습한다. 2️⃣ 사람이 특정 텍스트 또는 이미지 프롬포트를 입력한다. 3️⃣ 인공지능이 이를 인식하고 객체를 조종 및 재배열하여 새로운 그림을 그린다.

DALL-E는 딥러닝 기반 컴퓨터 비전(CV)과 자연어 처리(NLP)를 활용하여 과정1️⃣을 수행합니다. 그 후 과정2️⃣에서 인간이 텍스트 프롬포트에 ‘파란색 모자, 빨간색 장갑, 녹색 셔츠, 노란색 바지를 입은 아기 펭귄 이모지’와 같은 문장을 입력합니다. 그러면 과정3️⃣을 통해 인공지능은 이를 인식하고, 학습했던 데이터를 통해 객체를 조종하고 재배열하여 새로운 그림을 완성합니다. 아래 사진은 입력 문장대로 DALL-E가 실제로 그린 그림들입니다. 정확하게 생성한 것 같죠🤗?

DALL-E가 실제로 그린 [파란색 모자, 빨간 장갑, 녹색 셔츠, 노란 바지를 입은 아기 펭귄 이모지]

실험: 사람이 그린 그림과 인공지능이 그린 그림을 구분할 수 있을까?

화가 인공지능 실력 좋다는 거 인정할게요👍 아무리 그래도 사람이 그린 수준에는 못 미치지 않을까요? 여기 사람이 그린 그림과 인공지능이 그린 그림을 구분할 수 있을까에 관한 흥미로운 실험결과가 있어 소개해드릴까 합니다. 2021년 2월 게재된 미국 콜로라도볼더대학교 하르샤 강가다르바틀라 교수의 논문 <작품 평가에서 AI 속성 지식의 역할>에 기재된 실험입니다. 여러분도 한 번 다음 A에서 G까지의 그림 중 사람이 그린 그림과 인공지능이 그린 그림을 맞춰보세요! 자신의 추측을 잘 기억해뒀다가 실험 결과와 비교해보면 더욱 재밌을 것 같습니다😁

잘 맞췄나 확인해볼까요? 정답은... 그림B와 그림C를 제외하고는 모두 인공지능이 그린 그림이었습니다! 실험 참가자 201명을 대상으로 한 구체적인 실험결과는 다음과 같으며 해당 표는 논문에 있는 표를 발췌한 것입니다. 그림 A에서 G는 순서대로 Artwork1부터 Artwork7에 대응합니다. Artwork 2~4를 제외하고는 정답률이 낮은 것으로 나타났습니다. 이 실험 결과는 사람과 인공지능의 그림을 구분할 수 없을 만큼 화가 인공지능의 실력이 뛰어나다는 것을 반증하는 것 같죠?

어떠신가요? 분명한 건 저보다는 화가 인공지능이 훨씬 낫다는 거예요... 인공지능의 그림 실력에 저는 기가 죽었답니다😵 이처럼 인공지능이 그린 그림은 사람이 그린 그림과 구분할 수 없는 경지에 도달했고, 인공지능 발전 속도에 비추어봤을 때 앞으로 더욱 사람같은 혹은 더 뛰어난 그림을 그릴지도 모르겠어요.

🎼작곡

문학과 그림이 인간의 텍스트를 활용한 난해한 창작의 세계였다면, 작곡은 사실 인공지능에게는 조금 더 쉬운 분야가 아닐까 싶어요. 음악은 수학과 관련이 깊은데, 인공지능은 수학이라면 자신있거든요! 작곡하는 컴퓨터를 만들려는 첫 시도는 1956년 일리노이 대학에서 개발한 일리악이었습니다. 앞의 문학과 그림 분야보다 훨씬 이르죠? 역사가 긴 만큼 가장 많이 발전한 분야이기도 합니다. 최근에는 음악 AI 스타트업에서 인공지능 작곡 딥러닝 개발자를 모집한다는 공고를 발표할 정도니까요! 작곡은 당연히 작곡 전공자만의 영역이라고 생각했었지만, 이제 작곡을 위해 작곡가뿐만 아니라 딥러닝 개발자를 모집하는 시대가 온 것이죠. 딥러닝으로 작곡하는 것이 상상이 되시나요🤔? 지금부터 작곡가 인공지능을 소개해드리겠습니다.

Watson Music

2006년 미국 IT기업인 IBM에서 자연어 형식으로 된 질문들에 답할 수 있는 인공지능 컴퓨터 시스템 왓슨(Watson)을 개발했습니다. 왓슨은 병원과 교육기관, 레스토랑 등에서 활용되며 발전 영역을 넓혀갔습니다. 그러다 Watson Music으로써 5년간의 문화 빅데이터를 수집하여 각 연도의 감성 레벨(Emotional Temperature)을 파악한 후, 트렌드를 분석하여 작곡가와 함께 작업했습니다. 해당 노래는 그래미 어워드 수상 프로듀서인 알렉스 다 키드(Alex Da kid)가 2016년에 발매한 <Not Easy>라는 곡으로, 발매 후 48시간 만에 아이튠즈 핫 트랙스에서 4위를 기록했습니다. 한 번 들어보시겠어요🎧?

MuseNet

OpenAI에서 개발한 MuseNet는 사실적인 피아노 곡을 작곡할 수 있는 인공지능입니다. 일반적으로 사람은 음악을 전체적으로 이해하고 그 의미를 파악하지만, MuseNet은 그 단계에서 더 나아가 연주를 위한 악보 데이터인 수많은 MIDI 파일들의 화성과 리듬, 그리고 스타일 등을 수학적인 방식으로 학습하여 곡의 방향을 예측합니다. 아래 사진은 MuseNet이 유명한 음악가들의 음악을 분석하고 이들 간의 유사성을 파악하여 분류한 것입니다. 사진의 우측 상단에는 19세기 서양 음악인들이 주로 분포하고 좌측에는 20세기 후반 락밴드들이 분포하는 것을 확인할 수 있습니다.

이렇게 수많은 음악들을 학습한 MuseNet은 10개가 넘는 다양한 악기로 구성된 4분 내외의 음악을 작곡할 수 있으며, 모차르트나 비틀즈 같은 유명한 음악가들의 작품을 다른 스타일로 변형시킬 수도 있습니다. 예를 들어 쇼팽의 피아노 연주곡 중 일부 데이터를 입력하고 원하는 악기를 선택하면, MuseNet은 쇼팽의 음악을 분석하여 새로운 음악으로 작곡해냅니다. 이제는 더이상 작곡을 위해 엄청난 시간을 들여 다양한 악기를 배우지 않아도 된다는 것이죠!

쇼팽을 음악을 분석하고 새롭게 작곡한 작업 예시 (예시를 클릭하면 곡을 감상하실 수 있습니다)

📤아웃트로

🎞️

🕵🏿‍♂️: “로봇이 교향곡을 쓸 수 있어? 로봇이 캔버스에 멋진 명화를 그릴 수 있냐고.” 🤖: “당신은요?”

맨 처음 인트로에서의 명대사를 다시 한 번 꺼내봅니다. 2004년 개봉한 <아이로봇>에서 형사가 던진 질문은 그 당시 상식이었던 것 같아요. ‘로봇이 예술 분야까지 대체할 수는 없을거야’ 라는 예술에 대한 인간 고유함의 자부심이 여실히 드러나죠. 그러나 당돌하게 “당신은요?”라고 되묻는 로봇에게 그만 뼈를 맞아버린 시대가 되었습니다. 로봇의 ‘당신은요?’는 사실 ‘(나는 할 수 있게 될텐데) 당신은요?’가 아니었을까 짐작해봅니다.

지금까지 인공지능의 예술성에 대해 다뤄봤습니다. 문학, 그림 그리고 작곡과 같은 예술 분야에서의 인공지능의 무한한 잠재력을 엿볼 수 있었습니다. 인공지능을 공부하면 할수록 인간이 설 자리를 잃는 기분까지 드는데, 이 시대에 펼칠 수 있는 인간의 역량에 대해서 고민할 수 있는 좋은 기회였던 것 같아요. 사실 아직까지는 인공지능의 비약적인 발전에도 불구하고 한계는 있어 보입니다. 인간이 입력하는 명령에 의해서만 창작하지, 인공지능 스스로의 동기부여로 인해 자발적으로 창작하는 수준까지는 오지 않았으니까요! 물론 이 통념도 20년 안에 극복될 수도 있겠죠? 위의 명대사처럼 말이에요! 이 포스트를 읽고 여러 재미있는 생각이 떠오르셨다면 좋을 것 같아요. 이것으로 포스팅을 마무리하겠습니다. 지금까지 에디터 따쯔과 자스민이었습니다😎