“이번 AI 모델이 더 똑똑해졌다.” 기사에서 흔히 보는 문장입니다. 그런데 ‘똑똑하다’는 건 대체 무엇을 기준으로, 누가, 어떻게 판단하는 걸까요? 사람처럼 지능검사라도 보는 걸까요? 사실 AI 업계에는 사람의 시험지와 꼭 닮은 ‘표준 시험지’가 있습니다. 이것을 벤치마크(benchmark)라고 부릅니다. 오늘은 이 벤치마크를 중심으로, AI의 똑똑함을 재는 세 가지 질문 — 무엇을(기준), 어떻게(방법), 누가(주체) — 에 차례로 답해 보겠습니다.
목차
1. 어떤 기준으로 ‘똑똑하다’고 할까요 — 무엇을 측정하나
AI의 능력은 하나가 아닙니다. 지식이 많은 것, 어려운 문제를 추론하는 것, 코딩을 잘하는 것, 사람이 보기에 답변이 자연스러운 것은 모두 다른 능력입니다. 그래서 각각을 재는 서로 다른 벤치마크가 존재합니다. 대표적인 것들을 정리하면 다음과 같습니다.
| 벤치마크 | 무엇을 재나 | 방식 |
|---|---|---|
| MMLU | 과학·역사·법학·의학 등 57개 분야의 폭넓은 지식과 기초 추론 | 객관식 시험 |
| GPQA | 생물·물리·화학의 대학원 수준 심층 추론 | 검색으로 못 푸는 고난도 문제 |
| SWE-Bench | 실제 오픈소스 프로그램의 버그를 고치는 실전 코딩 | 실제 코드 수정·테스트 통과 여부 |
| Arena(구 LMArena) | 사람이 느끼는 답변의 만족도·유용성 | 사용자 선호도 투표 |
여기서 GPQA의 별명이 ‘구글-프루프(Google-proof)’인데, 이는 구글이 만들었다는 뜻이 아니라 “인터넷 검색으로는 답을 찾을 수 없도록” 설계했다는 뜻입니다. 해당 분야 박사 과정 학생조차 정답률이 약 65%에 그칠 만큼 어렵습니다. 즉 단순 암기가 아니라 진짜 이해와 추론이 있어야 풀 수 있게 만든 것입니다.
2. 어떻게 측정할까요 — 채점의 방법
측정 방식은 크게 두 갈래로 나뉩니다.
(1) 정답이 정해진 시험형
MMLU나 GPQA처럼 정답이 명확한 문제는 사람 시험과 똑같이 채점합니다. 수천 개의 문제를 AI에게 풀리고 맞힌 비율(정확도 %)을 냅니다. 이때 문제 유형을 미리 학습시키지 않고 바로 풀게 하는 ‘제로샷’, 예시 몇 개만 보여주고 푸는 ‘퓨샷’ 같은 조건을 통일해 공정하게 비교합니다.
(2) 사람이 비교 투표하는 선호형
Arena가 대표적입니다. 사용자에게 같은 질문에 대한 두 AI의 답변을 이름을 가린 채 보여주고, 더 나은 쪽에 투표하게 합니다. 이 승패 기록을 체스 랭킹에 쓰이는 Elo 점수 방식으로 환산해 순위를 매깁니다. 최근에는 사람 대신 성능 좋은 다른 AI가 채점관 역할을 하는 ‘AI 심판(LLM-as-judge)’ 방식도 널리 쓰입니다.
3. 누가 평가할까요 — 평가의 주체
평가 주체는 하나가 아니며, 신뢰도도 제각각입니다.
- 대학·연구기관: MMLU, GPQA 같은 벤치마크 자체를 설계하고 공개하는 곳입니다. 시험 문제의 출제자에 해당합니다.
- AI 개발사(자체 발표): 오픈AI, 구글, 앤트로픽 등이 새 모델을 내놓으며 “우리 모델이 몇 점”이라고 발표합니다. 가장 빠르지만, 유리한 조건만 골라 발표할 수 있어 ‘자기 채점’이라는 한계가 있습니다.
- 제3자 리더보드: Arena(운영: LMSYS)나 Papers with Code처럼 여러 모델을 같은 조건에서 비교해 공개하는 독립 플랫폼입니다. 상대적으로 중립적이라 신뢰를 받습니다. (lmarena.ai)
- 일반 사용자: Arena 투표처럼 실제 사용자의 집단 판단이 곧 평가가 되기도 합니다. 실사용 경험을 가장 잘 반영합니다.
4. 그런데 점수를 곧이곧대로 믿어도 될까요
벤치마크 점수는 유용하지만, 맹신하면 곤란합니다. 자주 지적되는 한계는 세 가지입니다.
- 오염(contamination): 시험 문제와 정답이 AI의 학습 데이터에 섞여 들어가면, 실제로 추론한 게 아니라 답을 ‘외워서’ 높은 점수를 받을 수 있습니다. 그러면 점수는 부풀려집니다.
- 포화(saturation): MMLU처럼 상위 모델들이 이미 90% 넘게 맞히는 시험은, 모델 간 우열을 가리는 변별력을 잃습니다. 그래서 Humanity’s Last Exam, ARC-AGI 같은 더 어려운 시험이 계속 등장합니다.
- 비용과 주관: 인간 선호도 평가는 실제 경험을 잘 반영하지만, 평가자의 문화·취향·질문 방식에 따라 결과가 흔들리고 시간·비용도 많이 듭니다. “결국 자금력 있는 곳이 점수 관리에 유리하다”는 비판도 있습니다.
그래서 2026년 현재 업계의 결론은 명확합니다. 단일 점수 하나로 ‘이 모델이 제일 똑똑하다’고 단정하지 말고, 지식·추론·코딩·실사용 만족도 등 여러 벤치마크를 함께 보라는 것입니다.
자주 묻는 질문
Q. 벤치마크 점수가 높으면 실제로도 잘 쓰나요?
대체로 상관관계는 있지만 항상 일치하지는 않습니다. 시험 점수는 높은데 실제 업무에서는 엉뚱한 답을 내는 경우도 있습니다. 그래서 실사용 후기와 인간 선호도 평가를 함께 참고하는 것이 좋습니다.
Q. 왜 자꾸 새로운 벤치마크가 나오나요?
기존 시험이 너무 쉬워져 변별력을 잃거나(포화), 학습 데이터에 유출되어 신뢰도가 떨어지기(오염) 때문입니다. AI가 발전할수록 더 어렵고 오염에 강한 시험이 필요해집니다.
Q. AI가 사람을 넘어섰다는 말은 사실인가요?
특정 시험(예: 일부 지식형 문제)에서는 인간 전문가 평균을 웃도는 점수가 나오기도 합니다. 다만 이는 ‘그 시험 한정’일 뿐, 모든 지능을 사람보다 잘한다는 의미는 아닙니다.
마무리
“AI가 더 똑똑해졌다”는 문장 뒤에는 이렇게 표준 시험(벤치마크), 정해진 채점 방법, 그리고 여러 평가 주체가 자리하고 있습니다. 다음에 “새 모델이 무슨 벤치마크에서 몇 점” 같은 뉴스를 보시면, 어떤 능력을 재는 시험인지, 누가 발표한 점수인지, 혹시 포화되거나 오염되진 않았는지를 함께 떠올려 보세요. 그 한 걸음이 화려한 숫자에 휘둘리지 않고 AI를 제대로 읽는 안목이 됩니다.