로컬에 직접 받아서 돌리는 LLM을 써 보면 한 번쯤 드는 걱정이 있습니다. “나는 이 모델을 다시 학습시킬 능력이 없는데, 그럼 이 녀석은 출시된 순간이 지식의 정점이고, 시간이 갈수록 낡아서 결국 쓸모없어지는 것 아닐까?” 그럴듯한 걱정입니다. 실제로 모델의 지식 컷오프(knowledge cutoff)는 존재하고, 여러분이 사전학습을 다시 돌릴 일은 사실상 없으니까요.
결론부터 말씀드리면, 절반은 맞고 절반은 오해입니다. 모델 안에 굳어 있는 ‘사실 지식’은 분명 낡습니다. 하지만 그것과 ‘모델이 쓸모없어지는 것’은 전혀 다른 이야기입니다. 왜 그런지, 그리고 재학습 없이 낡은 지식을 메우는 방법과 정말 재학습이 필요할 때의 현실적인 선택지까지 하나씩 풀어 보겠습니다.
목차
‘학습’이라는 말부터 셋으로 나눠 봅시다
걱정의 뿌리는 ‘학습’이라는 단어를 뭉뚱그려 쓰는 데 있습니다. LLM에 새 정보를 넣는 방법은 성격이 완전히 다른 세 가지가 있고, 이걸 구분하면 걱정의 상당 부분이 풀립니다.
- 사전학습(pre-training) — 모델을 처음부터 방대한 데이터로 훈련하는 단계입니다. 수천 장의 GPU와 막대한 비용이 들기 때문에, 개인이 로컬에서 다시 할 일은 없습니다. 여러분이 “직접 학습 못 시킨다”고 느끼는 것이 바로 이 단계입니다.
- 파인튜닝(fine-tuning) — 이미 만들어진 모델에 추가로 특정 데이터를 학습시켜 지식이나 말투를 덧입히는 단계입니다. 뒤에서 볼 LoRA·QLoRA 덕분에 이건 소비자용 GPU 한 장으로도 가능합니다.
- 추론 시 정보 주입 — 모델을 건드리지 않고, 질문에 답하는 그 순간에 외부의 최신 정보를 함께 넣어 주는 방식입니다. RAG, 웹검색, 툴 사용이 여기에 속합니다.
즉 “학습을 못 시킨다”는 건 첫 번째(사전학습)에만 해당하는 이야기입니다. 나머지 두 가지는 얼마든지 여러분의 손에 있습니다.
LLM의 쓸모는 ‘지식’이 아니라 ‘능력’입니다
가장 중요한 오해를 먼저 짚겠습니다. 우리는 흔히 LLM을 ‘거대한 백과사전’으로 여기지만, 모델이 진짜로 가진 가치는 저장된 사실이 아니라 언어를 이해하고, 문맥을 파악하고, 논리적으로 추론하고, 글을 구성하는 능력입니다.
이 능력은 시간이 지난다고 낡지 않습니다. 2년 전에 나온 모델이라도 문장을 요약하고, 코드를 짜고, 번역하고, 주어진 자료를 근거로 추론하는 능력은 출시 첫날과 똑같습니다. 정작 낡는 것은 “2026년 최신 아이폰 사양은?” 같은 사실 조회뿐인데, 이건 애초에 모델의 머릿속에서 꺼낼 게 아니라 바깥에서 찾아 넣어 주면 되는 영역입니다.
비유하자면, 유능한 변호사가 최신 판례를 외우고 있지 않다고 해서 쓸모없어지지 않는 것과 같습니다. 판례는 찾아보면 되고, 그 판례를 해석하고 적용하는 ‘능력’이 그 사람의 진짜 가치니까요. 로컬 LLM도 마찬가지입니다.
재학습 없이 낡은 지식을 메우는 3가지
그렇다면 모델의 사실 지식이 낡았을 때, 재학습 없이 어떻게 최신 정보를 답하게 만들까요? 실무에서 압도적으로 많이 쓰는 순서대로 소개합니다.
1) RAG (검색증강생성)
RAG는 모델이 답을 생성하기 직전에, 여러분이 준비한 문서 저장소(벡터 데이터베이스 등)에서 질문과 관련된 내용을 검색해 함께 넣어 주는 방식입니다. 예를 들어 회사 내부 규정 PDF 수백 개를 인덱싱해 두면, 모델은 그 규정을 ‘학습’한 적이 없어도 정확히 인용해 답합니다. 모델 가중치는 한 글자도 바뀌지 않습니다.
2) 웹검색 붙이기
RAG의 외부 소스를 실시간 웹으로 확장한 형태입니다. 사용자의 질문이 들어오면 검색 API를 호출하고, 그 결과를 모델에게 근거로 넘겨 답을 구성하게 합니다. 오늘 발표된 뉴스처럼 시시각각 바뀌는 정보에 특히 강합니다. 다만 웹검색을 붙여도 컷오프가 완전히 사라지지 않는 이유가 따로 있는데, 이 부분은 지식 컷오프는 왜 생길까 글에서 자세히 다뤘습니다.
3) 툴 사용과 MCP
툴 사용(function calling)은 모델이 스스로 “이건 외부 도구를 써야겠다”고 판단해 계산기, 날씨 API, 데이터베이스 같은 기능을 호출하는 방식입니다. 여기서 한발 더 나아간 것이 MCP(Model Context Protocol)로, LLM이 다양한 외부 도구·데이터에 표준화된 방식으로 연결되도록 하는 개방형 규격입니다. AI 세계의 ‘USB-C 포트’라고 부르기도 합니다. 이 셋만 잘 붙여도 로컬 모델은 자기 지식 컷오프와 무관하게 오늘의 데이터를 다룹니다.
정말 재학습이 필요하다면 — 로컬에서도 됩니다
외부에서 정보를 넣는 것으로 부족하고, 모델의 말투나 도메인 지식 자체를 바꾸고 싶을 때가 있습니다. 이때 “사전학습을 다시 해야 한다”고 오해하기 쉬운데, 그럴 필요가 없습니다.
LoRA(Low-Rank Adaptation)는 거대한 원본 가중치는 그대로 얼려 두고, 작은 어댑터 계층만 학습시키는 효율적인 파인튜닝 기법입니다. 학습해야 할 파라미터가 극적으로 줄어들어 훨씬 적은 자원으로 새 지식을 주입할 수 있습니다. 여기에 4비트 양자화를 더한 QLoRA는 메모리 사용량을 더 줄여, 예전 같으면 서버가 필요했을 규모의 모델도 소비자용 GPU 한 장에서 파인튜닝할 수 있게 해 줬습니다. 즉 “개인은 로컬 모델을 학습시킬 수 없다”는 전제 자체가 이미 반쯤 깨진 셈입니다.
아래 표로 네 가지 방법의 성격을 한눈에 비교했습니다.
| 방법 | 모델 가중치 변경 | 로컬 개인 실행 | 최신 정보 반영 방식 |
|---|---|---|---|
| 사전학습 | 전체 | 사실상 불가(수천 GPU) | 처음부터 모든 지식 주입 |
| 파인튜닝(LoRA·QLoRA) | 일부(어댑터) | 가능(소비자 GPU 1장) | 새 데이터로 지식·말투 내재화 |
| RAG(검색증강) | 없음 | 가능 | 답변 직전 외부 문서 검색·참고 |
| 웹검색·툴·MCP | 없음 | 가능 | 실시간 외부 데이터·기능 호출 |
그럼 진짜로 ‘낡는’ 것은 무엇일까
지금까지의 이야기로 ‘지식이 낡는 문제’는 해결됐습니다. 그렇다면 로컬 LLM이 시간이 지나며 실제로 뒤처지는 지점은 어디일까요? 바로 모델 자체의 기본 성능입니다. 더 똑똑한 추론, 더 긴 컨텍스트, 더 적은 환각 — 이런 ‘능력의 상한선’은 새로운 세대의 모델이 나올 때마다 올라갑니다.
하지만 이건 ‘내 모델이 낡아서 못 쓰게 되는’ 문제가 아니라, ‘더 좋은 모델로 갈아탈 수 있는’ 선택의 문제입니다. 오픈 웨이트 생태계에서는 몇 달에 한 번씩 더 나은 로컬 모델이 무료로 공개됩니다. 여러분의 RAG 파이프라인과 툴 연결은 그대로 두고 그 아래 모델만 새것으로 바꾸면, 축적한 자산을 잃지 않고 성능만 끌어올릴 수 있습니다. 참고로 아무리 성능 좋은 모델이라도 컨텍스트가 꽉 차면 겪는 별개의 한계가 있는데, 이는 컨텍스트가 다 차면 무용지물인걸까 글에서 짚었습니다.
자주 묻는 질문
Q. 그래도 오래된 로컬 모델은 버리는 게 맞지 않나요?
용도에 따라 다릅니다. 요약·분류·번역처럼 ‘능력’만 쓰는 작업이라면 예전 모델도 충분히 현역입니다. 최신 사실을 다뤄야 한다면 모델을 버릴 게 아니라 RAG나 웹검색을 붙이는 게 먼저입니다. 성능 상한 자체가 아쉬울 때만 새 모델로 교체하면 됩니다.
Q. RAG랑 파인튜닝 중 뭘 먼저 해야 하나요?
대부분은 RAG가 먼저입니다. 구축이 빠르고, 정보가 바뀌면 문서만 갈아 끼우면 되며, 모델이 근거를 인용하니 환각도 줄어듭니다. 파인튜닝은 말투·형식·특정 도메인 감각을 모델에 ‘내재화’하고 싶을 때 추가로 고려하는 편이 효율적입니다.
Q. 파인튜닝하면 원래 알던 걸 잊어버리지 않나요?
전체 가중치를 무리하게 학습시키면 기존 능력이 손상되는 ‘파국적 망각’이 생길 수 있습니다. 그래서 원본을 얼려 두고 어댑터만 학습하는 LoRA·QLoRA가 널리 쓰입니다. 원본 능력을 보존하면서 새 지식만 얹는 데 유리하기 때문입니다.
마무리
“로컬 LLM은 직접 학습을 못 시키니 시간이 갈수록 쓸모없어진다”는 걱정은, 알고 보면 ‘지식’과 ‘능력’을 하나로 뭉뚱그린 데서 생긴 오해였습니다. 능력은 낡지 않고, 낡는 지식은 RAG·웹검색·툴로 재학습 없이 메우며, 정말 필요하면 LoRA·QLoRA로 로컬에서도 파인튜닝할 수 있습니다. 진짜로 낡는 건 모델의 성능 상한뿐인데, 그건 파이프라인은 그대로 두고 모델만 교체하면 되는 선택의 문제입니다. 출시일이 지식의 정점이자 쓸모의 종점이던 시대는, 이미 지났습니다.