#155 왜? 생각이 많아졌나?

이번주 뉴스레터에는 이런 내용을 담았어요!

• Reasoning 모델이 보이는 Overthinking 문제를 설명했습니다.

• Overthinking을 극복하는 Adaptive Thinking의 연구를 정리했습니다.

• 최근 상용 모델에 적용된 Adaptive Thinking 방식의 트렌드를 소개했습니다.

🦑 왜? 생각이 많아졌나?

안녕하세요, 에디터 배니입니다.

지난 뉴스레터에서 Reasoning 모델을 다뤘습니다. 추가적인 훈련 없이 모델이 생각할 수 있도록 유도했더니, 이전에 틀렸던 문제의 답을 맞히기 시작했고 이후에, 추론을 통해 복잡한 문제를 해결할 수 있도록 모델을 훈련시켰다는 내용이었습니다. Reasoning 모델이 모든 상황에서 좋은 성능을 보이는 것은 아니지만, 최근 GPT, Gemini, Claude 등 모든 상용 모델들은 기본적으로 Reasoning 모델을 채택하고 있다고 말씀드렸죠.

그러나 Reasoning 모델이 마냥 좋은 것만은 아니었습니다. Claude를 사용해보신 분들이라면 한 번쯤 너무 느린 답변에 답답함을 느낀 적도 있으실 텐데요. 이런 생각은 만국 공통이었는지, 어떤 개발자는 Claude가 빠르게 답변을 생성하도록 채찍질하는 도구를 만들었고, 국내외를 막론하고 개발자들의 큰 공감을 받으며 바이럴되기도 했습니다. (물론, 채찍질한다고 해서 실제로 답변이 빨라지는 것은 아닙니다.) 서비스 관점에서 Reasoning 모델은 분명 새로운 타협점이 필요합니다. 모든 문제에서 추론을 오래 할 필요는 없기 때문이죠.

최근 연구들은 모델이 능동적으로 추론 수준을 결정할 수 있도록 만들고 있는데요. 이를 ‘Adaptive Thinking’이라고 합니다. 쉽게 말하면 모델이 직접 판단하여 쉬운 문제는 짧게, 어려운 문제는 깊게 생각하도록 만드는 것입니다. 어떻게 이러한 문제를 극복할 수 있을지, 이번 뉴스레터에서는 Adaptive Thinking 방법론에 대해 소개합니다.

2+3을 계산하는 법, 50문장으로 설명드립니다.

Reasoning 모델은 OpenAI의 o1 모델이 공개되며 널리 알려졌습니다. 처음에는 비약적으로 성능이 개선되면서 좋은 반응이 이어졌지만, 생각을 얼마나 해야 하는지 사용자가 결정할 수 없어 너무 쉬운 문제에서도 너무 오래 생각한다는 문제점이 지적됐습니다. 이런 현상을 ‘Overthinking’이라고 합니다.

Tencent AI 연구팀은 Reasoning 모델의 Overthinking 문제를 체계적으로 분석하기 위해 각 모델에게 쉬운 질문을 던졌습니다.

what is the answer of 2 plus 3?

위 질문은 ‘2+3이 몇이냐’는 쉬운 수학 문제이기 때문에 사실 많은 토큰을 낭비할 필요가 없어 보입니다. 실제로 o1 모델 이전 기본 상용 모델들은 5-7개 정도의 토큰의 답변을 내놓았는데요. Reasoning 모델인 o1은 226개, DeepSeek-R1은 무려 987개의 토큰을 생성했습니다. 한 문장에 넉넉하게 20토큰이 사용된다고 보더라도, 쉬운 덧셈식 하나를 해결하는데 적게는 10문장, 많게는 50문장 가까이 생성하는 것입니다.

Tencent AI 연구진은 <Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs> (Chen et al., 2024) 논문에서 o1 계열의 모델이 전통적인 모델(Non-reasoning)보다 20배 가까이 토큰을 더 많이 사용한다고 밝혔습니다.

Reasoning 모델의 문제는 한 번 추론(Reasoning)하도록 학습하면, 모든 문제에 ‘항상’ 추론하여 답한다는 것입니다. 만약 이런 추론이 정답 향상에 기여하거나 다양한 풀이법을 보여준다면, 그래도 어느 정도 받아들일 만합니다. 그러나 Tencent AI 연구진의 연구 결과에 따르면, Reasoning 모델이 내놓은 다양한 풀이들이 실제로는 비슷한 풀이를 반복하는 것에 불과하다고 밝혔습니다. 그래도 정답을 맞혔으니, 괜찮지 않을까요?

반드시 그렇지만은 않습니다. Reasoning 모델의 핵심 아이디어는 Test-time Compute Scaling, 즉 추론 시점(Test-time)에 더 많은 계산 자원을 투입해 성능을 높이는 것입니다. 자연스럽게 추론 시점에서 연산이 많으면 성능이 비례할 것이라고 기대하게 되는데요. 북경대, MIT 연구진의 논문에서는 추론 시 계산량과 성능의 관계가 정비례가 아니라 뒤집힌 U자 형태라고 밝혔습니다. 즉, 생각을 더 길게한다고 문제를 더 잘 푸는 것은 아니라는 것이죠. 오히려 답을 틀리기도 하는 것입니다. 심지어는 이미 정답을 찾았는데, 더 추론하다가 답을 뒤집는 경우도 발생했습니다.

문제의 원인은 오류 누적입니다. 추론이 과도하게 길어지면서 중간에 발생한 작은 실수 하나가 이후의 생각 전체를 잘못된 방향으로 끌고 간다는 것이죠. 생각의 단계가 늘어난다는 건, 그만큼 실수가 끼어들 기회도 늘어난다는 뜻입니다. 쓸데없이 과도하게 생각하면서 시간과 토큰 비용을 모두 소모한다는 것인데, ‘적당히’ 생각하는 모델을 만들 수는 없을까요?

합리적으로 생각하도록 모델을 훈련시키자

Overthinking 문제를 해결하기 위해 제안된 개념이 Adaptive Thinking입니다. 이름 그대로 모델이 ‘주어진 상황에 맞게’ 생각하도록 만드는 것입니다. Adaptive Thinking 관련 연구를 종합 분석한 <Towards Concise and Adaptive Thinking in Large Reasoning Models: A Survey> (Zhu & Li, 2025)에서는 훈련 기반(Training-based)의 방식과 훈련 없이(Training-free) 추론만으로 해결하는 방식으로 Adaptive Thinking 연구 흐름을 구분합니다.

훈련 기반 방식은 다시 두 가지로 구분됩니다. ‘언제 생각할지 훈련하는 방식’과 ‘얼마나 생각할지 훈련하는 방식’입니다. 먼저 사고 여부를 결정하는 방식은 문제의 난이도를 판단하는 과정부터 훈련합니다. 칭화대 연구진은 <AdaptThink: Reasoning Models Can Learn When to Think> (Zhang et al., 2025) 논문에서 문제의 난이도에 따라 생각 여부를 결정하도록 추가 학습(Finetuning)시키는 방식을 제안했습니다.

연구진은 기존대로 생각하고 답변하는 Thinking 모드와 생각 없이 곧바로 답변하는 NoThinking 모드로 응답 방식을 설정해두고 강화학습 방식을 적용했습니다. 그러나 이대로 둔다면 이미 길게 추론하도록 학습된 Reasoning 모델은 Thinking 모드를 선택할 가능성이 높습니다. 때문에 연구진은 NoThinking을 선택했을 때 더 큰 보상을 받도록 유도했습니다. 초반에 인위적으로 NoThinking을 선택하도록 만들어 학습 초기부터 ‘생각하지 않고 맞히는 법’을 익히게 만들었습니다.

연구자들이 의도적으로 NoThinking을 선택하도록 설계했지만 그럼에도 모델이 항상 NoThinking을 선택하는 것은 아닙니다. 어려운 문제에서 NoThinking을 선택했을 때 정답을 맞히고 보상을 받을 가능성이 낮아지기 때문에 모델은 자연히 Thinking을 선택하는 방향으로 학습하게 됩니다.

그 결과, 평균 응답 길이가 절반 가까이 줄어들면서 오히려 정답률은 소폭 상승했습니다. 실제로 수학 문제를 풀도록 했을 때 쉬운 문제에서는 NoThinking을 선택하고, 어려운 문제에서는 Thinking을 선택하며 의도한 대로 질문의 난이도를 스스로 판단할 수 있도록 만든 것입니다.

다음은 모델의 ‘사고 깊이’를 조절하는 방법입니다. 이 방법론의 초기 사례로 Kimi k1.5 연구가 꼽힙니다. Moonshot AI 연구진은 강화학습이 진행될수록 모델의 응답 길이가 눈에 띄게 늘어나는 현상을 관찰했는데요. 이에 연구진은 같은 문제에 응답을 여러 번 샘플링하여 상대적으로 짧게 정답을 맞힌 경우 보상을 주고, 반대로 장황한 답변을 생성한 경우에는 페널티를 부여했습니다.

Moonshot AI 연구진은 기존의 추론 모델을 long-CoT로 두고, 짧게 답변하도록 학습된 모델을 short-CoT라고 불렀는데요. 이렇게 학습된 short-CoT 모델을 기존 비추론 모델들과 비교했습니다. 그 결과 토큰 수를 크게 절약하면서 수학, 코드와 같이 논리적인 사고를 요하는 벤치마크에서 압도적으로 좋은 성능을 보였습니다.

쓸데없는 생각을 사전에 차단하자

앞서 소개한 방식은 모두 강화학습을 기반으로 보상을 통해 사고 여부를 판별하거나 사고의 길이를 조절하도록 훈련했습니다. 한편, 훈련 없이 프롬프트만으로 사고 과정을 조정하는 연구도 발표되고 있습니다.

이 방식의 전제는 이미 Reasoning 모델은 충분히 똑똑해졌다는 것입니다. 때문에 굳이 사고 과정을 생성하지 않아도 답을 낼 수 있는 능력이 있다는 것입니다. UC Berkeley 연구진은 <Reasoning Models Can Be Effective Without Thinking> (Ma et al., 2025) 연구에서 생각 블록에 "Okay, I think I have finished thinking.”을 미리 채워두고 답변을 생성하도록 했습니다. 이 모델은 NoThinking 모델이라고 불렀는데요. (위에서 언급한 AdaptThink 모델과 이름은 같지만 구현 방법은 다릅니다.) 길게 생각하던 모델이 강제로 바로 답변하도록 만든 것이죠.

상식적으로는 생각하던 모델이 '생각 없이' 답변을 생성한 것이기에 좋지 않은 결과가 나올 것으로 기대할 수 있는데요. 실제로는 기존 Thinking 방식과 필적하는 수준의 능력을 보였습니다. 물론, 정확히는 토큰 예산(Token Budget)이 주어졌을 때 성능을 비교한 것입니다. 700토큰 생성 제한을 두고 비교했을 때는 수학 벤치마크 AMC 23에서 51.3 대 28.9로 크게 앞섰습니다. 생성 제한을 두지 않은 경우에는 첫 시도 정답률인 Pass@1 기준으로 다시 Thinking 방식이 앞섰죠.

하지만 시도 횟수를 늘린 Pass@k 기준으로는, k가 커질수록 NoThinking이 격차를 좁혀 따라잡거나 오히려 앞서기도 했습니다. 연구진은 여기서 나아가 짧은 답변을 여러 개 병렬로 생성하고 그중 좋은 답변을 선택하는 전략을 제안했는데요. 이 방식은 Thinking과 비슷한 성능을 최대 9배 낮은 지연 시간으로 달성했습니다.

생각을 건너뛰는 대신, 특정 신호가 나타났을 때 조기에 종료(Early Exit)하는 방법도 연구되고 있습니다. DEER (Yang et al., 2025)는 모델이 생각 도중 "Wait", "Alternatively" 같은 전환 표현을 생성하는 순간에 사고를 중단하도록 만들었습니다. 그리고 이 지점마다 지금까지의 생각만으로 시범 답안(Trial Answer)을 내보게 하고, 그 답에 대한 모델의 확신도를 측정해 충분히 높으면 생각을 거기서 끝내는 방식입니다.

이때 확신도를 측정하는 데 별도의 모델이 필요하지 않습니다. 대신에 답을 구성하는 각 토큰의 로짓(Logit), 즉 모델이 그 토큰을 예측한 확률을 사용합니다. 연구진은 이렇게 생각을 중간에 끊었는데도 정확도가 유지되거나 오히려 올랐다고 밝혔습니다.

상용 모델은 이 문제를 어떻게 해결하고 있을까?

OpenAI의 Reasoning 모델 o1이 공개된 지도 벌써 2년에 다다르고 있습니다. 이후 Reasoning 모델은 지속적으로 개선되어 왔습니다. 앞서 o1에서 발생한 Overthinking 문제는 많이 완화됐습니다. 그리고 실제로 Qwen3, ChatGPT, Claude와 같이 실제 서비스에 사용하는 모델에도 이미 Adaptive Thinking 방식이 적용되고 있는데요. 최근에는 사용자는 최소한의 설정만 하고 추론 정도는 모델이 스스로 판단하는 Adaptive Thinking 방식이 기본으로 채택되는 흐름입니다.

먼저 Qwen3는 판단을 사용자에게 맡기는 하이브리드(Hybrid) 방식으로 출발했습니다. 하나의 모델 안에 Thinking 모드와 Non-Thinking 모드를 함께 학습시키고, 사용자가 enable_thinking 파라미터나 /think, /no_think 지시어로 모드를 전환하는 구조였습니다. 2025년 4월 출시 당시 대표 기능으로 내세웠을 만큼 야심 찬 설계였습니다.

그런데 석 달 뒤, Qwen 팀은 하이브리드 모드를 포기한다고 공식 발표했습니다. 하나의 모델에 두 가지 모드를 통합하는 것보다 답변의 품질이 중요하다고 판단했고, 이후 Instruct(비추론)와 Thinking(추론) 모델을 분리해서 따로 학습하겠다는 것이었습니다. 실제로 분리 학습한 2507 버전은 벤치마크 점수가 큰 폭으로 뛰었는데, 특히 비추론 Instruct 모델의 상승이 두드러졌습니다.

즉답(Instant) 모델은 간결함과 낮은 지연 시간, 추론 모델은 어려운 문제에 토큰을 아끼지 않는 것으로 보상받도록 학습됩니다. Qwen의 사례는 상충하는 두 성향을 한 모델에 눌러 담으면 양쪽 모두 무뎌질 수 있다는 것을 보여줍니다. 서비스 퀄리티를 위해서라면 차라리 확실한 쪽을 선택하는 것이 유리할지도 모르겠습니다.

한편, Anthropic의 Claude는 생각의 길이, 즉 토큰 예산을 사용자가 결정하도록 만들었습니다. 그런데 이 방식에는 딜레마가 있었습니다. 사용자가 예산을 너무 낮게 잡으면 필요한 추론을 이어 가지 못하고, 너무 높게 잡으면 간단한 질문에도 토큰을 낭비하는 것이죠. 결국 Claude Opus 4.6부터 Anthropic은 Adaptive Thinking을 도입했습니다. 모델이 요청의 복잡도를 스스로 평가해 생각할지 말지, 얼마나 생각할지를 결정하고, 사용자는 Effort라는 파라미터로 대략적인 강도만 조절합니다. 이후 Claude Opus 4.8부터는 토큰 예산 설정이 완전히 사라졌고, Fable 5도 Adaptive Thinking이 유일한 옵션입니다.

OpenAI의 최근 행보도 비슷합니다. GPT-5.1은 일상 대화용 Instant와 심층 추론용 Thinking 두 모델로 출시됐는데요. 이중 Instant 모델에 처음으로 Adaptive Reasoning이 탑재되어, 질문의 복잡도를 스스로 가늠해 더 생각할지 즉시 답할지 결정하게 됐습니다.

가장 빨라야 할 모델에도 "생각할 줄 아는 능력"을 넣은 것인데, 그만큼 이 판단력이 일부 고급 모델의 전유물이 아니라 기본기가 되고 있다는 방증이기도 합니다. OpenAI의 대표 Sam Altman도 출시 당시 트윗에서 Adaptive Thinking 업그레이드를 특히 마음에 드는 지점으로 직접 꼽았고요. GPT-5.1에서 Instant에 Adaptive Reasoning을 넣은 이후, GPT-5.5부터 Reasoning Effort 레벨을 추론 길이 조절 수단으로 삼는 구조를 유지하고 있습니다.

오래전 방영한 EBS 다큐멘터리 <0.1%의 비밀>에는 흥미로운 실험이 하나 나옵니다. 제작진은 전국 모의고사 상위 0.1% 학생들과 평균 성적 학생들을 비교하며 그 차이가 어디서 오는지 찾으려 했는데요. IQ에서도, 가정 환경에서도 유의미한 차이가 나오지 않았습니다.

차이는 기억력 실험에서 드러났습니다. 서로 연관 없는 단어들을 보여준 뒤 "몇 개나 기억할 수 있을 것 같은지" 먼저 예측하게 하고, 실제로 적게 했는데요. 0.1% 학생들은 거의 모두가 정확하게 예측했습니다. 즉, 차이는 외운 단어의 개수가 아니라, 자신이 무엇을 알고 무엇을 모르는지에 대한 예측의 정확도였습니다. 심리학에서 메타인지(Metacognition)라고 부르는 능력이죠.

만약 인공지능이 자신의 능력을 정확하게 파악하고 있다면 Adaptive Thinking은 필요하지 않았을지도 모릅니다. 표면적으로는 생각의 길이를 조절하는 학습을 하고 있는 것처럼 보이지만, 궁극적으로 길러야 하는 것은 결국 메타인지 능력입니다.

지금까지는 한 번의 시험에서 얼마나 좋은 성적을 받는지 평가했다면 앞으로는 질문이 조금 달라져야 할 것입니다. 얼마나 확실하게 답변을 생성할 수 있는지, 모를 때는 무엇을 질문할 수 있는지, 모르는 것을 어떻게 학습해나갈 것인지와 같은 ‘지식 위의 인지’를 말이죠.