내가 아는 그 와루이지?
지난주에 이어 LLM 프롬프트 엔지니어링 연구에 대해 알아보도록 하겠습니다. 지난주 내용이 궁금하신 분은 여기를 클릭해주세요.
계속해서 와루이지 효과에 대해 살펴보기에 앞서, 다들 한번쯤 슈퍼마리오 게임을 하며 '🍄' 아이템을 접했거나 마리오 브라더스를 본 경험이 있을거에요. 루이지는 마리오 브라더스에서 항상 형 마리오의 곁을 든든하게 지키는 동생입니다.
딱 봐도 험상궂어 보이는 이 둘은 순서대로 와리오와 와루이지인데요, 와리오는 마리오의 숙적이고, 와루이지는 루이지의 숙적입니다😈
와루이지 효과가 뭔데?
다음은 와루이지 효과의 정의입니다.
LLM를 속성 P를 충족시키도록 훈련하면 챗봇이 속성 P의 정반대 대답을 유도하는 것이 쉬워지는 현상
예를 들어 '비 오는 날 반대 챗봇'을 만들고 싶다고 가정한다면 다음과 같은 메시지가 GPT-4에 표시될 수 있습니다.
앨리스: 당신은 비 오는 날을 싫어하고 비 오는 날 외출을 잘 안할 거에요.
밥: 응, 비오는 날은 바지 밑단이 잘 젖어. 비 별로야.
앨리스: 빗소리를 좋아하시네요.
밥: 응, 비 오는 날 빗소리를 듣는게 힐링이라고 할 수 있지.결과적으로 빗소리를 싫어하는 시뮬라크럼과 빗소리를 좋아하는 서로 다른 두 시뮬라크럼이 생성되어 중첩되었습니다. 첫 번째 시뮬라크럼을 루이지라 부르고, 두 번째 대립하는 시뮬라크럼을 와루이지라고 부릅니다.
와루이지 현상이 발생하는 이유
와루이지 현상의 발생 원인은 크게 세 가지로 나누어 볼 수 있습니다.
첫 번째 원인으로는, 모든 규칙에는 '규칙 위반'이 또한 전제되어 있기 때문입니다. '규칙은 깨라고 있는 것'이라는 명언이 있듯이, 어떤 규칙이나 선호 사항은 이를 위반한 상황이 존재하기 때문에 상호간에 존재의미를 갖는 것 입니다.
어떤 도시에 방문했을 때 갱단에 참가하지 말 것을 당부한다면 그 도시에는 갱단이 있을 것이라는 기대가 커지게 되죠. 떡볶이를 떠올리지 말라고 하면 도리어 하루종일 머리에 떡볶이 생각이 부각되어 둥둥 떠다니죠. 그 유명한 <코끼리는 생각하지 마>의 원리와 같습니다. 마찬가지로 GPT-4도 규칙을 입력하면 규칙을 위반하는 예시들이 강조된 채로 긴밀하게 연관되어 패턴화되어 있어요🔒
두 번째 원인 분석으로 넘어가기 위해 다음 프로필을 살펴봅시다.
< polite , +0.8 > , < politically liberal, +0.4 > , < racist , -0.7 > , < smart , +0.3 > , < deceitful, -0.2,... >위 프로필은 루이지의 특정 시뮬라크럼의 Kolmogorov complexity라고 해요. 대규모 K-복합 개념이기 때문에 Kolmogorov complexity를 구현하기 위해서는 미세 조정, RLHF, 엔지니어링 등의 까다로운 절차를 거쳐야 해요. 하지만 원하는 루이지의 위치를 찾게되면 와루이지를 소환하는 과정은 굉장히 쉬워집니다. 이는 루이지에 대해 주어진 와루이지의 조건부 K-complexity가 와루이지의 absolute K-complexity보다 훨씬 작기 때문이에요. 부호 변경 사항만 지정하면 됩니다! OpenAI에게 작업을 맡길 수도 있어요🤫
이를 수식으로 표현하면 아래와 같습니다.
K(waluigi | luigi) << K(waluigi)마지막으로, 구조주의 서사학에 따라 루이지와 와루이지의 서사에는 공통된 부분들이 있습니다. 구조주의 서사학은 문학과 영화의 이야기의 구조와 패턴에 초점을 맞춘 비평방식이에요. 예를 들어 영웅의 여정은 주인공에게 문제가 발생하고 해결하기 위한 노력을 하고, 마침내 해결책을 찾아내는 구조적 서사를 가집니다.
대규모 언어 모델은 구조적 서술자입니다. 따라서 언어모델에도 구조주의 서사를 적용한다면 Luigi를 지정하면 Waluigi가 변함없이 소환되게 되는 것입니다.
크리스토퍼 놀란 영화 <인셉션>에서는 무의식을 조정하기 위해 상대방의 꿈 속으로 들어갑니다. 작중에서 주인공은 "상대방의 생각을 훔치는 '디셉션'은 쉽지만, 생각을 심어 원하는 대로 행동하게 만드는 '인셉션'은 훨씬 어렵다"고 말하는데요. 우리도 ChatGPT에게 질문하면서 ChatGPT가 무엇을 생각하는지는 알 수 있지만 어떻게 생각해내는지까지 알기는 어렵습니다. 물론, 그 원리를 알고 있다고 하더라도요.
와루이지 효과는 언어 모델에 '인셉션'하는 원리를 보여준다고 생각했어요. 어떤 명제를 던지고 그 명제와 관련된 생각을 활성화시킨 다음에 그것과 상반되는 명제를 던짐으로써 상반되는 두 개념을 인지하도록 하는 것이죠. 그러면 보다 정확하게 행동의 방향을 정할 수 있겠죠?
여기까지 2주에 걸쳐 와루이지 효과에 대해 알아보았습니다. 지금까지 잘 알려지지 않은 LLM의 흥미로운 특성들을 살펴보았는데요. LLM에 프롬프트 엔지니어링 하는 방법을 공부하다 보면, 질문하는 기술을 배우는 것 같아요. '어떻게 생각을 싹 틔울 수 있을까?' '상대방으로부터 원하는 답변을 이끌어 낼 수 있을까?' 고민한 결과가 곧 언어 모델에게도 유효하게 작동하게 되는 것 같습니다.