AI 모델 발표에는 늘 “컨텍스트 100만 토큰” 같은 숫자가 따라붙습니다. 그런데 막상 길게 대화하다 보면 앞에서 정해둔 규칙을 잊거나, 첨부한 문서의 한가운데 내용을 통째로 놓치는 일이 생깁니다. 컨텍스트가 다 차면 아무리 똑똑한 모델도 무용지물이 되는 걸까요. 결론부터 말씀드리면 한계는 분명히 존재하지만, 문제는 “꽉 차는 순간”이 아니라 그 훨씬 앞에서 시작됩니다. 그리고 그 한계를 우회하는 기술은 이미 실전에 들어와 있습니다.
목차
컨텍스트가 “다 찬다”는 건 무슨 뜻일까
대규모 언어 모델은 대화를 기억하지 않습니다. 정확히 말하면, 매번 답변할 때마다 지금까지의 대화 전체를 처음부터 다시 읽습니다. 이 “한 번에 읽을 수 있는 분량”의 상한선이 컨텍스트 윈도우이고, 단위는 토큰입니다. 토큰은 단어보다 작은 조각으로, 한국어는 영어보다 같은 내용에 더 많은 토큰을 소모합니다.
여기서 자주 오해가 생깁니다. 컨텍스트 윈도우는 사용자가 입력한 질문만 담는 공간이 아닙니다. 아래 항목이 모두 같은 예산을 나눠 씁니다.
- 서비스가 미리 넣어둔 시스템 프롬프트와 사용자 설정
- 지금까지 오간 모든 질문과 답변
- 첨부한 파일, 이미지, PDF의 내용
- 웹 검색·코드 실행 같은 도구가 되돌려준 결과물
- 모델이 지금 생성할 답변과 내부 추론 과정
그래서 문서 하나 붙였을 뿐인데 남은 여유가 급격히 줄어드는 일이 벌어집니다. 예산이 바닥나면 대개 두 가지 중 하나가 일어납니다. 오래된 대화가 잘려 나가거나 요약본으로 대체되거나, 아니면 요청 자체가 거부됩니다. 전자의 경우 모델은 멀쩡히 답하지만 초반에 합의한 내용을 모르는 상태가 됩니다. “무용지물”이라기보다 “앞을 잊은 채 자신 있게 말하는” 상태에 가깝습니다.
진짜 문제는 꽉 차기 전에 시작된다
더 중요한 사실은, 성능 저하가 컨텍스트를 다 쓰기 훨씬 전부터 진행된다는 점입니다. 이 현상을 컨텍스트 로트(context rot)라고 부릅니다. 2025년 Chroma Research의 실험에서는 테스트한 18개 주요 모델 전부에서 입력이 길어질수록 출력 품질이 떨어지는 경향이 확인됐습니다. 창이 가득 차서가 아니라, 길어졌다는 사실 자체가 정확도를 갉아먹은 것입니다.
대표적인 양상은 네 가지입니다.
| 현상 | 내용 |
|---|---|
| 중간 유실(lost in the middle) | 맨 앞과 맨 뒤 정보는 잘 찾지만, 한가운데 놓인 정보는 놓치기 쉽습니다. 관련 연구에서 반복 확인된 패턴입니다 |
| 어텐션 희석 | 참고할 토큰이 많아질수록 주의가 넓게 퍼져, 정작 중요한 문장에 집중하지 못합니다 |
| 방해 요소 간섭 | 비슷해 보이지만 관계없는 문단이 섞이면 정답을 골라내는 정확도가 떨어집니다 |
| 컨텍스트 충돌 | 앞뒤 내용이 서로 모순될 때, 모델이 어느 쪽을 따를지 흔들립니다. 긴 멀티턴 대화에서 특히 잦습니다 |
그래서 업계에서는 광고에 적힌 최대 토큰 수와, 실제로 신뢰할 만한 품질이 유지되는 유효 컨텍스트를 구분해서 봅니다. 복잡한 추론 과제일수록 이 격차는 커집니다. 스펙상 100만 토큰이라고 해서 100만 토큰을 채워 넣은 상태에서도 첫 문단만큼 정확할 것이라 기대하면 안 된다는 뜻입니다.
그럼 왜 무한정 늘리지 못할까
기술적인 이유는 명확합니다. 첫째, 트랜스포머 구조에서는 모든 토큰이 다른 모든 토큰을 참조하므로 길이가 10배 늘면 연산량은 대략 100배로 뜁니다. 둘째, 토큰마다 계산 결과를 GPU 메모리에 붙들고 있어야 해서(KV 캐시) 긴 컨텍스트는 곧 메모리 압박입니다. 셋째, 모델은 학습할 때 본 길이 범위에서 가장 잘 작동합니다. 그보다 훨씬 긴 입력은 경험해보지 못한 영역입니다.
2026년 7월 기준으로 공개된 대표 모델들의 컨텍스트 상한은 다음과 같습니다.
| 모델 | 공개 컨텍스트 상한 |
|---|---|
| Llama 4 스카우트(메타) | 1,000만 토큰 |
| GPT-5.6 솔(오픈AI) | 약 105만 토큰 |
| 클로드 오퍼스 5(앤트로픽) | 100만 토큰 |
| 제미나이 3 프로(구글) | 100만 토큰(기업용 확장 시 그 이상) |
| 전체 추적 모델 중앙값 | 약 25만 6천 토큰 |
주의할 점은 이 숫자가 상황에 따라 조정된다는 것입니다. 실제로 코딩 도구에 붙는 모델은 응답 속도와 비용 때문에 기본 입력 한도가 스펙보다 낮게 설정되는 경우가 있습니다. 요금제와 접속 경로에 따라 같은 이름의 모델이라도 실제로 쓸 수 있는 분량이 달라질 수 있으니, 표의 숫자는 “이론상 최대치”로 이해하시는 편이 안전합니다. 모델 이름에 붙는 표기와 실제 성능의 관계가 궁금하시다면 AI 모델 이름에 붙는 용어 정리 글도 함께 참고하실 만합니다.
그래서 무용지물인가: 아니요, 관리의 문제입니다
컨텍스트 한계가 실전에서 치명적이지 않은 이유는, 최근 AI 도구들이 “창을 키우는 경쟁”에서 “창을 관리하는 경쟁”으로 옮겨왔기 때문입니다. 이 분야를 컨텍스트 엔지니어링이라고 부릅니다. 앤트로픽은 에이전트를 위한 컨텍스트 엔지니어링 가이드에서 이를 “원하는 결과를 내기 위한 가장 작고 신호가 강한 토큰 묶음을 찾는 일”로 정의합니다.
| 기법 | 하는 일 |
|---|---|
| 압축·요약(compaction) | 한도에 가까워지면 지난 대화를 요약본으로 바꿔 넣어 자리를 비웁니다. 세부는 잃지만 흐름은 유지됩니다 |
| 컨텍스트 편집 | 오래되어 쓸모없어진 도구 실행 결과나 중간 계산을 통째로 걷어냅니다. 요약이 아니라 삭제입니다 |
| 외부 메모리 | 기억할 내용을 파일이나 데이터베이스에 적어두고, 필요할 때만 다시 읽어옵니다. 세션이 끝나도 남습니다 |
| 서브에이전트 분업 | 보조 에이전트가 자기 창에서 조사를 끝내고 결론만 보고합니다. 탐색 과정이 본 대화 창을 차지하지 않습니다 |
| 검색 결합(RAG) | 자료 전체를 넣는 대신, 질문과 관련된 조각만 찾아 넣습니다 |
| 배치 전략 | 가장 중요한 지시와 자료를 맨 앞이나 맨 뒤에 둡니다. 중간 유실을 피하는 가장 값싼 방법입니다 |
서브에이전트가 실제로 어떻게 나뉘어 일하는지는 서브에이전트와 백그라운드 세션 활용 가이드에서 화면 단위로 확인하실 수 있습니다.
지금 당장 쓸 수 있는 다섯 가지 요령
개발자가 아니어도 적용할 수 있는 실전 요령입니다.
- 대화가 무거워졌다 싶으면 인계장을 만들고 새로 시작합니다. “지금까지의 결정사항, 남은 작업, 지켜야 할 제약을 목록으로 정리해줘”라고 요청한 뒤, 그 결과만 들고 새 대화를 여는 방식입니다. 대화가 길어질수록 이 방법이 성능을 되돌리는 가장 확실한 수단입니다.
- 중요한 지시는 맨 앞이나 맨 끝에 둡니다. 긴 자료를 붙일 때 요구사항을 자료 한가운데 끼워 넣으면 놓칠 확률이 올라갑니다. 자료를 붙인 뒤 마지막 줄에 요구사항을 다시 한 번 적어주는 것만으로도 결과가 달라집니다.
- 문서를 통째로 붙이기 전에 범위를 좁힙니다. 300쪽 보고서 전체보다, 해당하는 장 두 개가 정확도와 비용 양쪽에서 유리합니다.
- 주제가 바뀌면 대화도 나눕니다. 한 창에서 코드 수정과 여행 계획을 함께 다루면, 관계없는 내용이 서로를 방해합니다.
- 도구가 제공하는 정리 기능을 씁니다. 예컨대 클로드 코드에는 대화를 압축하는 명령과 초기화하는 명령이 따로 있습니다. 언제 무엇을 눌러야 하는지는 /compact와 /clear 사용 시점 가이드에 정리해두었습니다.
자주 묻는 질문
Q. 컨텍스트가 꽉 차면 이전 대화는 완전히 사라지나요?
서비스마다 다릅니다. 대개는 오래된 부분을 요약해 압축하거나 잘라냅니다. 화면 스크롤을 올리면 원문이 그대로 보이더라도, 모델에게 전달되는 내용은 이미 축약된 상태일 수 있습니다. 화면에 남아 있는 것과 모델이 읽는 것은 다릅니다.
Q. 100만 토큰이면 어느 정도 분량인가요?
영어 기준으로 두꺼운 단행본 여러 권 분량입니다. 다만 한국어는 같은 내용을 표현하는 데 영어보다 토큰을 더 많이 쓰기 때문에, 실제로 담기는 한글 분량은 영어보다 적습니다. 이미지나 PDF는 텍스트보다 훨씬 많은 토큰을 소모하는 경우가 많습니다.
Q. 그러면 컨텍스트가 가장 큰 모델을 고르면 되나요?
꼭 그렇지는 않습니다. 상한이 크다고 그 전 구간에서 정확도가 유지된다는 보장은 없고, 입력이 길수록 응답이 느려지고 비용도 올라갑니다. 창의 크기보다 “필요한 것만 넣는 습관”이 결과를 더 크게 좌우합니다.
Q. 웹 검색을 붙이면 컨텍스트 문제가 해결되나요?
부분적으로만 그렇습니다. 검색은 최신 정보를 가져다주지만, 가져온 결과가 다시 컨텍스트를 차지합니다. 검색 결과가 길게 쌓이면 오히려 창을 빨리 소진시킵니다. 검색과 지식 컷오프의 관계는 지식 컷오프가 생기는 이유에서 따로 다뤘습니다.
Q. 새 대화를 시작하면 성능이 회복되나요?
네. 컨텍스트 로트는 누적된 입력이 원인이므로, 창을 비우면 초기 상태의 정확도로 돌아갑니다. 대신 이전 맥락은 직접 옮겨줘야 하므로 위에서 말씀드린 인계장 방식이 필요합니다.
마무리
“컨텍스트가 다 차면 무용지물”이라는 말은 절반만 맞습니다. 실제로는 다 차기 전부터 서서히 흐려지고, 다 찬 뒤에도 모델은 멈추지 않고 축약된 기억으로 계속 답합니다. 위험한 쪽은 후자입니다. 성능이 떨어졌다는 신호가 겉으로 드러나지 않기 때문입니다.
그래서 지금 시점에서 AI를 잘 쓴다는 것은 더 큰 창을 가진 모델을 고르는 일이 아니라, 창에 무엇을 넣고 무엇을 빼는지를 관리하는 일에 가깝습니다. 대화가 길어졌다고 느껴질 때 한 번 정리하고 넘어가는 습관, 그 하나가 체감 성능 차이의 대부분을 만듭니다.