요즘 챗봇을 쓰다 보면 답을 내기 전에 “생각 중…”, “Thinking”, “추론 수준”, “DeepThink” 같은 표시가 눈에 띕니다. 개발자용 설정 화면에서는 effort를 minimal·low·medium·high로 고르라는 항목도 보입니다. 이 값들은 대체 무슨 뜻이고, 왜 생겼으며, 올렸을 때와 내렸을 때 무엇이 달라지는지 한 번에 정리해 드리겠습니다.
목차
‘추론 수준’이란 정확히 무엇인가
추론 수준(effort)은 AI가 답을 내놓기 전에 속으로 얼마나 오래, 얼마나 깊게 생각할지를 조절하는 다이얼입니다. 사람이 어려운 문제를 풀 때 머릿속으로 이것저것 따져보는 것처럼, 요즘 추론형 모델은 최종 답변을 쓰기 전에 문제를 잘게 쪼개고, 여러 방법을 시도해보고, 스스로 검산하는 과정을 거칩니다.
이때 모델이 속으로 만들어내는 글자들을 ‘생각 토큰(reasoning token)’ 혹은 ‘추론 토큰’이라고 부릅니다. 이 토큰은 화면에 보이는 답변에는 대부분 포함되지 않지만, 실제로는 답변보다 훨씬 많이 소모될 수 있습니다. 어려운 문제에서는 눈에 보이는 답변 분량의 2배에서 많게는 10배까지 ‘보이지 않는 생각’이 오가기도 합니다.
즉 effort를 높인다는 것은 “더 오래, 더 많은 생각 토큰을 써서 신중하게 풀어라”는 지시이고, 낮춘다는 것은 “길게 고민하지 말고 빠르게 답해라”는 지시입니다.
왜 이런 설정이 생겼을까 — ‘추론 시점 연산’ 이야기
과거의 언어 모델은 질문을 받으면 곧바로 답을 쏟아냈습니다. 그런데 연구가 쌓이면서, 모델을 더 크게 학습시키는 것 못지않게 답할 때(추론 시점) 계산을 더 많이 쓰게 하면 정답률이 크게 오른다는 사실이 밝혀졌습니다. 이를 흔히 ‘테스트타임 컴퓨트(test-time compute)’ 또는 ‘추론 시점 연산 확장’이라고 합니다.
비유하자면, 같은 학생에게 시험 시간을 5분 주느냐 1시간 주느냐의 차이입니다. 쉬운 산수라면 5분으로 충분하지만, 복잡한 증명 문제라면 시간을 더 줄수록 정답에 가까워집니다. 다만 시간을 늘릴수록 비용(연산)과 기다리는 시간(지연)도 함께 늘어납니다.
모든 질문에 최대한의 생각을 쓰는 것은 낭비입니다. “안녕”이라는 인사에 1분간 고민할 필요는 없으니까요. 그래서 AI 회사들은 사용자·개발자가 상황에 맞게 생각의 양을 조절하는 손잡이를 제공하기 시작했고, 그것이 지금의 effort·thinking·DeepThink 설정입니다.
서비스별로 이름과 단계가 다릅니다
원리는 같지만 회사마다 부르는 이름과 조절 방식이 조금씩 다릅니다. 대표적인 세 곳을 비교하면 다음과 같습니다.
| 서비스 | 설정 이름 | 주요 단계 | 특징 |
|---|---|---|---|
| OpenAI (GPT 계열) | reasoning effort (추론 강도) | minimal · low · medium · high (일부 xhigh) | 단계별로 생각 토큰 양이 달라짐. medium이 기본값인 경우가 많음 |
| Anthropic (Claude 계열) | extended thinking / effort | low · medium · high · xhigh · max | 최신 모델은 상황에 맞춰 생각량을 스스로 조절하는 ‘적응형 사고’ 채택 |
| Google (Gemini 계열) | thinking budget / thinking level, Deep Think | 토큰 예산 지정(예: 자동·0·상한값) 또는 low·high | Deep Think는 여러 갈래로 동시에 생각하는 별도 심화 모드 |
일반 사용자용 앱에서는 이 손잡이가 더 단순하게 노출됩니다. 보통 빠른 응답 모드와 깊게 생각하는 모드(‘Thinking’ 계열) 중에서 고르는 형태이고, 가장 강력한 심화 추론(예: Deep Think)은 상위 구독 요금제에서만 열리는 경우가 많습니다.
effort를 올리면 무엇이 좋아지고 무엇이 나빠지나
추론 수준은 공짜 점심이 아닙니다. 하나를 얻으면 다른 하나를 내주는 맞바꿈(trade-off) 관계가 분명합니다.
| 구분 | effort를 높이면 | effort를 낮추면 |
|---|---|---|
| 정확도·논리력 | 복잡한 문제에서 눈에 띄게 향상 | 어려운 문제는 틀리거나 얕아질 수 있음 |
| 응답 속도 | 느려짐 (수 초~수십 초 대기) | 빠름 (거의 즉답) |
| 비용(토큰) | 생각 토큰만큼 요금 증가 | 저렴 |
| 적합한 작업 | 수학·코딩·논리·긴 분석 | 요약·번역·간단한 질의응답 |
중요한 점은 쉬운 문제에서는 effort를 높여도 정답률이 거의 오르지 않는다는 것입니다. 오히려 시간과 비용만 늘어납니다. effort는 ‘어려운 문제 전용 부스터’라고 생각하시면 됩니다.
그래서 언제 올리고 언제 내려야 할까
실전에서는 아래처럼 판단하시면 대체로 무난합니다.
| 이런 작업이라면 | 추천 수준 | 이유 |
|---|---|---|
| 맞춤법 교정, 번역, 말투 다듬기 | 낮음(low/minimal) | 답이 거의 정해져 있어 오래 생각할 필요가 없음 |
| 일상 대화, 정보 검색 요약 | 중간(medium) | 속도와 품질의 균형점 |
| 복잡한 코딩·디버깅, 수학 증명, 법률·회계 분석 | 높음(high 이상) | 한 번 틀리면 손해가 커서 신중함이 이득 |
| 연구 난제, 대규모 설계, 여러 가설 비교 | 최상(max·Deep Think) | 정확도가 비용·시간보다 훨씬 중요할 때 |
요약하면 “틀렸을 때의 손해가 클수록 effort를 높인다”가 가장 실용적인 기준입니다.
DeepThink는 일반 ‘Thinking’과 무엇이 다른가
Gemini의 Deep Think처럼 이름에 ‘깊이(deep)’가 붙은 최상위 모드는 단순히 생각을 조금 더 오래 하는 수준을 넘어섭니다. 이런 모드는 여러 갈래의 사고를 동시에 펼친 뒤 서로 비교합니다. 즉 하나의 풀이만 밀어붙이는 것이 아니라, 여러 가설을 병렬로 세워 각각 검토하고 가장 나은 답을 골라냅니다.
이 방식은 국제 수학 올림피아드 수준의 난제나 고난도 논리 문제에서 특히 강점을 보이지만, 그만큼 응답이 느리고 비용도 높으며, 대개 상위 요금제에서만 제공됩니다. 일상적인 질문에 쓰기에는 과합니다.
자주 묻는 질문
Q. 생각 토큰은 화면에 왜 안 보이나요?
모델이 답을 다듬는 ‘초안·메모’에 해당하기 때문입니다. 서비스에 따라 요약된 사고 과정만 보여주거나 아예 감춥니다. 다만 API로 쓰면 이 토큰도 요금에 포함됩니다.
Q. effort를 항상 최대로 두면 안 되나요?
가능은 하지만 비효율적입니다. 쉬운 작업에서는 품질 향상 없이 속도와 비용만 나빠집니다. 작업 난도에 맞추는 것이 정답입니다.
Q. 최신 모델은 알아서 조절한다던데요?
맞습니다. 최근 모델들은 질문 난도를 스스로 판단해 생각량을 자동으로 늘렸다 줄이는 ‘적응형 사고’로 넘어가는 추세입니다. 그래도 사용자가 상한을 정하거나 모드를 고르는 손잡이는 함께 제공됩니다.
마무리
effort·추론 수준·DeepThink는 결국 “이 문제에 생각을 얼마나 태울까”를 정하는 손잡이 하나로 요약됩니다. 원리는 추론 시점에 연산을 더 써서 정확도를 사는 것이고, 대가는 속도와 비용입니다. 쉬운 일은 낮게, 틀리면 손해가 큰 일은 높게 — 이 감각만 익혀두시면 어떤 챗봇을 쓰든 시간과 비용을 아끼면서 필요한 순간에만 정확도를 끌어올릴 수 있습니다.
각 서비스의 정확한 단계와 설정 방법은 공식 문서에서 확인하실 수 있습니다. (OpenAI 문서, Anthropic Claude 문서, Google Gemini 문서)