2026년 9월부터 한 달 사이에 AI 업계에 낯선 이름이 셋 등장했습니다. TypeSafe AI의 Jev, OpenAI의 Decisions API, 그리고 Microsoft의 Microsoft-Decision-1입니다. 세 제품은 모두 ChatGPT나 Claude처럼 글을 써 주지 않습니다. 대신 질문에 대한 정해진 답과 확률만 돌려줍니다. 업계는 이 새 범주를 ‘결정 모델(decision model)’이라고 부르기 시작했습니다.
이 글에서는 결정 모델이 무엇인지, 기존 LLM과 무엇이 다른지, 세 제품이 어떻게 다른지를 차례로 정리합니다.
목차
결정 모델이란 무엇입니까
결정 모델은 입력(상태)과 미리 정의된 질문을 받아서, 문장이 아니라 구조화된 값을 돌려주는 AI 모델입니다. 예를 들어 고객 문의 한 건을 넣고 “이 문의는 환불·배송·기술지원 중 어디로 보내야 합니까?”라고 물으면, 결정 모델은 설명 없이 다음과 같은 결과만 냅니다.
- 선택: 배송
- 확률: 환불 0.07 / 배송 0.88 / 기술지원 0.05
답이 처음부터 정해진 선택지 안에서만 나오기 때문에, 엉뚱한 답을 지어내거나 형식이 깨질 일이 없습니다. 프로그램은 이 값을 파싱하지 않고 바로 분기 조건에 쓸 수 있습니다.
왜 ‘System One’ 모델이라고 부릅니까
TypeSafe AI는 Jev를 ‘최초의 System One 모델’이라고 소개했습니다. 심리학자 대니얼 카너먼이 말한 두 가지 사고 방식 가운데, 빠르고 직관적인 판단(System 1)을 담당하는 모델이라는 뜻입니다. 천천히 따져 보고 긴 답을 쓰는 일(System 2)은 기존 LLM에 맡기고, 결정 모델은 짧고 반복적인 판단을 빠르게 처리하는 역할을 맡습니다.
기존 LLM과 무엇이 다릅니까
LLM은 답을 한 토큰씩 차례로 생성합니다. “배송”이라는 한 단어를 얻기 위해서도 프롬프트로 형식을 지시하고, 출력이 형식에 맞는지 다시 검사해야 합니다. 결정 모델은 처음부터 선택지 전체에 점수를 매겨 한 번에 결과를 내므로 훨씬 빠르고, 출력 토큰 요금이 없습니다.
| 구분 | 일반 LLM | 결정 모델 |
|---|---|---|
| 출력 | 자유로운 문장 | 선택지·확률·점수 |
| 생성 방식 | 토큰을 하나씩 생성 | 선택지 전체를 한 번에 채점 |
| 응답 속도 | 보통 1초 이상 | 수십~수백 밀리초 |
| 출력 요금 | 있음 | 없음 |
| 설명·요약·번역 | 가능 | 불가능 |
| 형식 오류 | 생길 수 있음 | 구조상 생기지 않음 |
다만 형식이 항상 맞는다고 해서 답이 항상 옳은 것은 아닙니다. 결정 모델도 틀린 선택지를 높은 확률로 고를 수 있으므로, 확률값을 기준으로 사람에게 넘길지 자동 처리할지 임계값을 정해 두는 방식이 권장됩니다.
세 가지 질문 유형
세 제품은 이름은 조금씩 다르지만 사실상 같은 세 가지 질문 유형을 지원합니다.
| 유형 | 하는 일 | 결과 예시 |
|---|---|---|
| 참/거짓 (Jev: Noul, OpenAI: Predicate) | 주어진 진술이 참일 확률을 계산 | “이 리뷰는 스팸이다” → 0.93 |
| 선택 (Choice) | 정해진 선택지 중 하나를 고름 | 환불/배송/기술지원 → 배송 |
| 점수 (Score) | 순서가 있는 단계 위에 위치를 매김 | 긴급도 1~5 → 4 |
세 제품 비교
TypeSafe AI Jev
Jev는 2026년 9월 15일 공개된 결정 모델로, 이 범주를 처음 연 제품입니다. OpenAI 출신 디오구 알메이다(Diogo Almeida) 등이 세운 TypeSafe AI가 만들었습니다. 이름은 ‘효율이 높아지면 오히려 수요가 늘어난다’는 제번스의 역설에서 따왔습니다. 결정 비용이 충분히 싸지면, 지금까지 비싸서 AI에 맡기지 못하던 작은 판단까지 모두 자동화될 것이라는 뜻을 담았습니다.
- 입력: 텍스트(JSON 포함)만 지원
- 응답 시간: 70~500밀리초
- 선택지: 최대 255개
- 문서: TypeSafe 공식 문서
OpenAI Decisions API
OpenAI는 2026년 9월 29일 DevDay에서 Decisions API를 발표하고, 10월 6일 공개 베타로 열었습니다. 별도 엔드포인트(POST /v1/decisions)를 쓰며, 현재 연결된 모델은 gpt-6-luna 하나입니다. OpenAI는 같은 Luna 모델을 일반 Responses API로 부를 때보다 최대 10배 빠르다고 밝혔습니다.
- 입력: 텍스트와 이미지(base64 인라인) 지원 — 세 제품 중 유일하게 이미지 판단 가능
- 상태: 공개 베타, 수 주 안에 정식 출시 예정
- 문서: OpenAI Decisions API 가이드
Microsoft-Decision-1
Microsoft는 2026년 10월 9일 Microsoft-Decision-1을 내놓았습니다. 흥미로운 점은 협력사인 OpenAI 모델이 아니라 알리바바의 공개 모델 Qwen3.5-9B를 바탕으로 추가 학습했다는 점입니다. Microsoft는 앞으로 자사 MAI 모델과 OpenAI 모델 기반 버전도 낼 계획이라고 밝혔습니다.
- 입력: 텍스트만, 최대 32,768토큰
- Microsoft 자체 측정(36개 벤치마크): 평균 정확도 83.5%, 응답 시간 중앙값 85밀리초
- 제공처: Microsoft Foundry(Azure 계정 필요), OpenRouter
핵심 사양 비교표
| 항목 | Jev | OpenAI Decisions API | Microsoft-Decision-1 |
|---|---|---|---|
| 회사 | TypeSafe AI | OpenAI | Microsoft |
| 공개일 | 2026년 9월 15일 | 2026년 9월 29일 발표, 10월 6일 공개 베타 | 2026년 10월 9일 |
| 기반 모델 | 자체 모델 | gpt-6-luna | Qwen3.5-9B 추가 학습 |
| 입력 | 텍스트 | 텍스트·이미지 | 텍스트 |
| 입력 요금(100만 토큰) | 0.042달러 | 0.10달러 | 0.042달러 |
| 출력 요금 | 무료 | 무료 | 무료 |
※ 요금과 사양은 2026년 10월 13일 각사 공식 문서 기준입니다. 베타 제품은 정식 출시 과정에서 요금과 제한이 바뀔 수 있습니다.
어디에 쓰면 좋습니까
결정 모델은 ‘짧고, 자주, 빨리’ 내려야 하는 판단에 맞습니다.
- 문의·티켓 분류와 라우팅: 들어온 요청을 담당 부서나 처리 큐로 보내기
- AI 에이전트 제어: 에이전트가 도구를 실행하기 전에 “이 행동은 허용 범위인가”를 판정하는 안전장치
- AI 답변 채점: 다른 LLM이 쓴 답을 기준표(루브릭)에 따라 점수화
- 콘텐츠 검수: 스팸·유해 콘텐츠 여부를 확률로 판단
- 모델 라우팅: 질문 난이도를 보고 비싼 모델과 싼 모델 중 어디로 보낼지 결정
맞지 않는 일
- 글쓰기, 요약, 번역, 대화처럼 문장을 만들어야 하는 일
- 입력에 없는 외부 지식이 필요한 판단
- 대출·채용·의료처럼 사람에게 중대한 결정을 단독으로 내리는 일 — Microsoft도 이런 용도로 단독 사용하지 말라고 명시했습니다
또 하나 주의할 점은 프롬프트 인젝션입니다. 외부 사용자가 쓴 글을 그대로 입력하면, 그 안에 숨은 지시문이 판단을 비틀 수 있습니다. 결정 모델도 신뢰할 수 없는 입력에 대해서는 기존 LLM과 같은 수준의 방어가 필요합니다.
마무리
결정 모델은 ‘말하는 AI’에서 ‘판단만 하는 AI’를 떼어 낸 새 범주입니다. Jev가 길을 열었고, 한 달도 안 되어 OpenAI와 Microsoft가 뒤따랐습니다. 이미 LLM으로 분류·라우팅·채점을 하고 있다면, 같은 작업을 결정 모델로 옮겼을 때 속도와 비용이 얼마나 줄어드는지 비교해 볼 만합니다. 반대로 문장이 필요한 일에는 여전히 LLM이 필요하므로, 두 모델을 역할에 따라 나눠 쓰는 구성이 앞으로 자주 보일 것입니다.