2026년의 인공지능은 사람이 만든 시험을 너무 잘 풉니다. 한때 인간 전문가 수준의 척도로 여겨지던 MMLU 같은 대표 벤치마크는 최상위 모델들이 95%를 넘기면서 사실상 “만점 경쟁”이 되어버렸습니다. 그러자 자연스럽게 이런 질문이 따라옵니다. AI가 우리가 낼 수 있는 문제를 다 풀어버리면, 그다음엔 사람이 무엇을 근거로 AI를 평가할 수 있을까요? 이 글은 벤치마크 포화라는 현상과, 그 이후 등장한 평가 방법들을 정리합니다.
목차
벤치마크가 “포화”된다는 것의 의미
벤치마크 포화(benchmark saturation)란, 모델들의 점수가 상한선 근처에 몰려 더 이상 성능 차이를 구별하지 못하는 상태를 말합니다. 2026년 기준으로 MMLU, GPQA 같은 시험은 최첨단 모델들이 90% 후반대를 기록하며 기능적으로 “풀린” 벤치마크가 되었습니다. 문제는 이 점수 상승분 중 일부가 진짜 능력 향상이 아니라, 학습 데이터에 정답이 섞여 들어간 데이터 오염이나 시험에만 최적화하는 벤치마크 게이밍에서 온다는 점입니다.
그래서 연구자들은 더 어려운 시험을 계속 만들어냅니다. 인류의 마지막 시험(Humanity’s Last Exam, HLE), GPQA-Diamond, 실제 소프트웨어 버그를 고치게 하는 SWE-bench Verified/Pro, 추상적 추론을 요구하는 ARC-AGI 등이 대표적입니다. 하지만 새 벤치마크도 출시되자마자 상위 모델들로 붐비기 시작하고, 데이터 오염 우려는 반복됩니다. 흥미롭게도 같은 모델이 국제수학올림피아드 금메달급 문제를 풀면서도 아날로그 시계를 정확히 읽지 못하는, 이른바 “들쭉날쭉한 지능”을 보이기도 합니다. 결국 평가의 경쟁 축은 원시 점수에서 비용·신뢰성·특정 도메인 성능으로 옮겨가고 있습니다.
진짜 문제는 “평가자 역량의 역전”
더 어려운 문제를 내는 것만으로는 근본 문제가 풀리지 않습니다. 진짜 벽은 채점하는 사람이 문제를 푸는 AI보다 못한 순간에 찾아옵니다. 바둑에서 알파고가 이세돌을 넘어선 뒤, 인간은 AI가 둔 수가 좋은 수인지 스스로 판정하기 어려워졌습니다. 같은 역전이 언어·추론·코딩 전반으로 번지고 있습니다. 인간 평가가 막히는 지점은 크게 다음과 같습니다.
- 확장성 한계: AI가 쏟아내는 방대한 출력을 사람이 일일이 검토하는 것은 비현실적입니다.
- 역량 역전: AI가 인간 전문가를 넘어서는 개방형 과업에서는, 답이 맞는지조차 사람이 판단하기 어렵습니다.
- 기만과 환각: 그럴듯하지만 틀린 답, 혹은 사람을 설득하도록 다듬어진 답을 짧은 검토로 걸러내기 어렵습니다.
- 자동화 편향: 사람은 AI의 출력을 비판 없이 받아들이는 경향이 있어, 감독이 형식적 절차로만 남기 쉽습니다.
그래서 나온 대안: 확장 가능한 감독
이 문제를 정면으로 다루는 연구 분야가 확장 가능한 감독(Scalable Oversight)입니다. 핵심 아이디어는 하나입니다. 사람이 직접 정답을 매기지 못한다면, 평가 과정을 사람이 검증할 수 있는 작은 단위로 쪼개거나, AI로 하여금 다른 AI를 감독하게 만들자는 것입니다. 대표적인 접근을 정리하면 다음과 같습니다.
| 방법 | 핵심 아이디어 | 한계 |
|---|---|---|
| LLM-as-a-judge | 한 AI가 다른 AI의 출력을 채점. 수천 건을 몇 분 만에 평가하고 근거까지 제시 | 심사 모델의 편향을 물려받고, 미묘한 오류는 놓칠 수 있음 |
| 토론(Debate) | 두 AI가 상반된 입장으로 논쟁하게 하고, 약한 심판이 승자를 가림. 오류가 논쟁 중 드러남 | 설득력과 진실성이 항상 일치하지는 않음 |
| Weak-to-strong | 약한 감독자(사람·작은 모델)로 강한 모델을 정렬. 초정렬(superalignment) 연구의 핵심 | 강한 모델이 약한 교사의 실수까지 학습할 위험 |
| 반복 증폭(Iterated amplification) | 복잡한 과업을 사람이 검증 가능한 하위 과업으로 분해해 단계별로 평가 | 분해·통합 과정에서 오류가 누적될 수 있음 |
특히 LLM-as-a-judge는 실무에서 빠르게 표준이 되고 있습니다. 연구에 따르면 GPT-4급 심사 모델은 인간 평가자와의 일치율이 85%에 이르고, 때로는 사람끼리의 일치율을 넘어서기도 합니다. 다만 이는 “사람을 완전히 대체한다”기보다, 1차 스크리닝을 자동화하고 사람은 중요한 판정에 집중하도록 돕는 도구에 가깝습니다.
현실적인 답: 계층적 평가
그렇다면 실무에서 지금 통용되는 답은 무엇일까요? 하나의 완벽한 심판을 찾는 대신, 서로 다른 층위의 평가를 겹쳐 쌓는 계층적(hierarchical) 접근입니다.
- 자동화 측정으로 넓은 범위를 빠르게 훑어 커버리지를 확보하고,
- LLM-as-a-judge로 대량 출력을 1차 스크리닝하며,
- 인간 전문가가 도메인별 정확성이 걸린 핵심 사안만 깊게 검토합니다.
여기에 감독이 실제로 작동하는지를 측정하는 지표도 함께 봅니다. AI와 사람의 판정이 얼마나 어긋나는지(불일치율), 사람이 AI 결정을 뒤집는 비율(재정의율), 그리고 그 재정의가 실제로 옳았는지를 사후 감사하는 것입니다. 모든 결정을 형식적으로 훑는 것보다, 숙련된 전문가가 선별된 일부를 깊이 검토하는 편이 더 효과적일 수 있습니다.
결국 사람의 역할은 어디로 가는가
평가의 주체가 사람에서 시스템으로 옮겨간다고 해서, 사람이 완전히 빠지는 것은 아닙니다. 오히려 제도는 반대 방향을 요구합니다. 2026년 8월 본격 시행되는 EU AI Act는 형식적인 “체크박스 준수”를 넘어, 의미 있는 인간의 개입과 책임 소재를 명확히 할 것을 요구합니다. AI 결정을 사람이 무효화하거나 중단시킬 수 있는 “정지 버튼”, 모든 에이전트 작업을 승인자에게 귀속시키는 변조 방지 감사 기록, 시스템의 위험도에 비례하는 감독 강도 같은 것들입니다.
정리하면, “AI가 문제를 다 풀면 사람이 평가할 수 없다”는 명제는 절반만 맞습니다. 사람이 직접 정답을 매기는 방식은 한계에 도달했지만, 사람이 평가 시스템을 설계하고, 그 시스템이 제대로 작동하는지를 감독하며, 최종 책임을 지는 역할은 오히려 커집니다. 평가의 무게중심이 “답을 채점하는 사람”에서 “평가 과정을 설계하고 검증하는 사람”으로 이동하는 것입니다.
자주 묻는 질문
벤치마크 점수가 높으면 그 AI가 정말 똑똑한 건가요?
반드시 그렇지는 않습니다. 학습 데이터에 시험 문제가 섞이는 데이터 오염이나, 시험에만 최적화하는 게이밍이 점수를 부풀릴 수 있습니다. 그래서 최근에는 원시 점수보다 비용·신뢰성·실제 과업 성능을 함께 봅니다.
LLM이 LLM을 채점하면 공정한가요?
완전히 공정하지는 않습니다. 심사 모델은 자신의 학습 편향을 물려받고, 미묘한 사실 오류나 맥락을 놓칠 수 있습니다. 그래서 인간 전문가 검토와 결합한 계층적 평가가 권장됩니다.
사람보다 똑똑한 AI를 사람이 어떻게 감독하나요?
과업을 사람이 검증 가능한 작은 단위로 분해하거나(반복 증폭), 두 AI를 논쟁시켜 약한 심판이 판정하게 하거나(토론), 약한 감독자로 강한 모델을 정렬하는(weak-to-strong) 방법이 연구되고 있습니다. 핵심은 “정답을 직접 아는 것”이 아니라 “판단 과정을 검증 가능하게 만드는 것”입니다.
마무리
AI가 사람이 낸 문제를 다 풀어버린 세상에서, 평가는 사라지지 않고 형태를 바꿉니다. “더 어려운 시험지”를 만드는 경쟁에서, “평가 과정 자체를 검증 가능하게 설계하는” 경쟁으로 넘어가는 중입니다. 그 설계와 최종 책임의 자리에 여전히 사람이 있습니다. 앞으로 AI 성능 발표를 볼 때, 점수 몇 퍼센트보다 그 점수가 어떻게 측정됐는지를 함께 확인해 보시길 권합니다.