LLM 포스트 트레이닝이란? 프리트레이닝·파인튜닝과 차이부터 전체 과정까지

같은 거대언어모델이라도 ‘다음 단어를 잘 잇는 모델’과 ‘질문 의도를 파악해 쓸 만한 답을 주는 모델’ 사이에는 큰 간격이 있다. 인터넷 문서를 대규모로 읽힌 모델이 곧바로 친절한 상담원이나 안전한 코딩 도우미가 되는 것은 아니다. 이 간격을 줄이는 학습이 LLM 포스트 트레이닝(post-training)이다.

핵심 관점

프리트레이닝이 언어와 세상에 관한 넓은 확률 지도를 만든다면, 포스트 트레이닝은 그 지도를 어떤 방식으로 꺼내 쓰게 할지 조정한다. 따라서 포스트 트레이닝의 성패는 모델 크기만이 아니라 시범 답변, 선호 데이터, 평가 기준의 품질에 달려 있다.

먼저 ‘학습’이 무엇인지부터

언어모델은 문장을 그대로 외우는 문서함이 아니다. 텍스트를 토큰(token)이라는 작은 단위로 나눈 뒤, 앞에 나온 토큰을 보고 다음 토큰의 확률을 계산한다. 토큰은 단어 하나일 수도 있고 단어의 일부나 문장부호일 수도 있다. 정답 토큰에 낮은 확률을 줬다면 손실(loss), 즉 예측 오차가 커진다. 학습은 이 손실이 줄어들도록 모델 안의 수많은 숫자, 곧 가중치를 조금씩 바꾸는 과정이다.

프리트레이닝(pretraining)은 이 과정을 방대한 일반 텍스트에 적용하는 첫 대규모 학습이다. GPT 계열처럼 다음 토큰을 예측하는 방식이 대표적이다. 여기서 만들어진 것을 보통 베이스 모델이라고 부른다. 베이스 모델은 문장 구조, 개념 사이의 관계, 여러 형식의 패턴을 폭넓게 익히지만, “질문에 직접 답하라”는 행동 규칙까지 안정적으로 따르지는 않는다. GPT-3 논문도 별도의 가중치 수정 없이 문맥 속 예시만 주는 방식의 가능성과 함께 실패하는 과제와 데이터 문제를 보고했다.

파인튜닝(fine-tuning)은 이미 학습된 모델을 더 좁은 목적의 데이터로 추가 학습하는 넓은 표현이다. 포스트 트레이닝은 이 파인튜닝을 포함하지만, 단순히 한 번 더 학습한다는 말보다 범위가 크다. 지시 따르기, 선호 정렬, 안전성, 도구 사용, 추론 방식처럼 실제 서비스에서 필요한 행동을 여러 단계로 다듬는 전체 공정을 가리킨다.

포스트 트레이닝의 전체 과정

좋은 답의 모양을 보여주는 지도 미세조정

첫 단계로 자주 쓰이는 것이 지도 미세조정(Supervised Fine-Tuning, SFT)이다. ‘지도’란 교사가 정답을 알려준다는 뜻이다. 예를 들어 “회의 메모를 세 문장으로 요약해 달라”는 입력과 사람이 작성한 모범 답안을 한 쌍으로 만든다. 모델은 입력 뒤에 모범 답안이 이어질 확률을 높이도록 학습한다. 이를 통해 질문에는 답을 하고, 요청한 형식을 지키며, 대화 역할을 유지하는 기본 습관을 얻는다.

다만 모범 답안을 매번 직접 쓰는 일은 비싸고, 하나의 정답만으로는 미묘한 품질 차이를 표현하기 어렵다. 정확하지만 장황한 답과 짧지만 중요한 예외를 빠뜨린 답 중 무엇이 더 나은지는 단일 정답 데이터만으로 충분히 가르치기 어렵다.

여러 답 가운데 무엇을 더 선호하는지 가르치기

그다음은 선호 학습이다. 같은 질문에 대한 여러 후보 답을 만들고 사람이 더 나은 답을 고른다. 전통적인 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)은 이 순위를 보고 답의 품질 점수를 예측하는 보상 모델을 먼저 훈련한다. 이후 언어모델이 높은 보상을 받는 답을 내도록 강화학습으로 조정한다. 여기서 보상은 돈이 아니라 “이 답이 사람이 선호할 만한가”를 나타내는 학습용 점수다.

InstructGPT 연구의 대표 흐름은 시범 답변으로 SFT를 한 뒤, 사람이 모델 답을 순위화하고, 그 순위로 보상 모델을 만든 다음, 보상을 높이는 방향으로 모델을 최적화하는 것이었다. 이 사례의 중요한 교훈은 ‘큰 모델이면 자동으로 사용자 의도를 따른다’가 아니라, 능력과 행동 정렬은 별개의 문제라는 점이다.

직접 선호 최적화(Direct Preference Optimization, DPO)는 별도의 보상 모델과 강화학습 루프를 두지 않고, 선호된 답의 상대 확률은 높이고 거부된 답의 상대 확률은 낮추도록 언어모델을 직접 학습한다. 절차는 단순해지지만 선호 데이터가 무엇을 대표하는지, 기준이 일관적인지의 문제까지 사라지는 것은 아니다.

평가와 데이터 개선으로 학습 순환을 완성한다

학습이 끝났다고 바로 배포하면 안 된다. 사실성, 지시 준수, 안전, 코딩이나 수학 같은 목표 능력, 기존 능력의 퇴행을 별도 평가 세트로 확인해야 한다. 평가에서 특정 실패가 반복되면 그 실패를 겨냥한 시범·선호 데이터를 보강하고 다시 학습한다. 현대의 포스트 트레이닝은 한 번의 SFT보다 ‘생성→검토→데이터 선별→재학습→회귀 평가’가 반복되는 공정에 가깝다. Llama 3 기술 보고서도 사전학습 모델과 포스트 트레이닝 모델을 구분하고, 지도 미세조정과 선호 최적화에 인간 데이터와 합성 데이터를 함께 사용한 다단계 방법을 설명한다.

작동 원리를 하나의 예로 따라가 보기

가상의 회사가 사내 구매 규정을 답하는 모델을 만든다고 하자. 질문은 “노트북을 200만 원 넘게 사려면 누구의 승인이 필요한가?”다.

베이스 모델은 구매 규정과 비슷한 문장을 생성할 수 있지만 회사 고유 규정을 모를 수 있다. 먼저 실제 규정 문서를 검색해 답에 붙이는 검색 증강 생성(RAG)을 적용하거나, 충분한 내부 문서로 계속 사전학습을 검토한다. 지식 공급과 행동 훈련을 구분하는 것이 첫 결정이다.

SFT 데이터에는 질문, 근거 조항, “금액 기준과 승인권자를 답하고 해당 조항을 인용하라”는 모범 답을 넣는다. 그러면 모델은 답변의 구조를 배운다. 이어 두 후보 중 ‘승인권자를 단정하지만 근거가 없는 답’보다 ‘문서에 없는 경우 확인 필요성을 밝히고 조항을 인용한 답’을 선호 데이터에서 선택한다. 선호 학습은 후자의 가능성을 높인다. 마지막으로 존재하지 않는 조항을 만들어 내는지, 경계 금액에서 규칙을 잘못 적용하지 않는지, 규정 개정 뒤에는 낡은 답을 하지 않는지 평가한다.

이 예에서 CPT나 RAG는 주로 무엇을 알 수 있게 할지를 다루고, SFT와 선호 학습은 아는 것을 어떤 답으로 표현할지를 다룬다. 둘은 대체재가 아니라 서로 다른 병목을 푸는 수단이다.

프리트레이닝·CPT·SFT·선호 학습의 차이

선택지	주된 목적	필요한 데이터	적합한 상황	주요 위험
처음부터 프리트레이닝	기초 언어모델 구축	매우 큰 일반·전문 말뭉치	모델 자체와 학습 기반을 소유해야 할 때	막대한 계산량, 데이터 오염
계속 사전학습(CPT)	도메인 분포와 용어 적응	정답 표시 없는 전문 텍스트	특정 분야 문체와 지식이 베이스 모델에 부족할 때	일반 능력 망각, 지식이 학습 시점에 고정됨
지도 미세조정(SFT)	지시와 출력 형식 학습	입력과 모범 답 쌍	업무 절차나 응답 형식을 반복 재현할 때	좁은 예시 암기, 지식 부족 은폐
선호 학습	더 나은 답의 기준 반영	선호·비선호 답 비교	유용성, 간결성, 안전성처럼 단일 정답이 어려울 때	평가자 편향, 보상 편법
RAG	실행 시점의 근거 제공	검색 가능한 최신 문서	자주 바뀌거나 출처 제시가 중요한 지식	검색 실패, 잘못된 문맥 주입

계속 사전학습(Continued Pretraining, CPT)을 포스트 트레이닝에 넣는지는 분류 체계마다 다르다. 넓은 정의는 최초 프리트레이닝 이후의 모든 가중치 학습을 포스트 트레이닝이라 부르므로 CPT를 포함한다. 좁은 정의는 ‘pretraining’이라는 학습 목표를 그대로 이어가는 CPT를 프리트레이닝 단계의 연장으로 두고, SFT와 선호 정렬만 포스트 트레이닝으로 부른다. 따라서 문서에서 “포스트 트레이닝을 했다”는 문장만 보고 CPT까지 했다고 단정하면 안 된다. 포함 단계를 확인해야 한다.

실무에서는 모델보다 평가 기준을 먼저 정해야 한다

첫 질문은 “어떤 기법이 유행하는가”가 아니라 “현재 실패가 지식 부족인가, 지시 불이행인가, 선호 기준의 부재인가”여야 한다. 최신 사규를 틀리면 RAG가 먼저일 수 있고, 근거는 맞지만 보고서 형식을 매번 어기면 SFT가 맞다. 두 답 모두 사실이지만 하나가 지나치게 장황하다면 선호 학습을 검토한다. 데이터가 부족한데 학습부터 시작하면 결함을 측정할 기준도 없이 비용만 늘어난다. 특히 평균 점수 하나만 보면 드문 안전 실패나 특정 사용자 집단의 품질 저하가 가려질 수 있으므로, 실패 유형별 평가 결과를 따로 보존해야 한다.

좋은 실무 순서는 배포 상황을 닮은 평가 세트를 먼저 만들고, 베이스 모델의 실패를 유형별로 나누고, 가장 싼 개입부터 시험하는 것이다. 프롬프트와 RAG로 해결되는지 본 뒤 SFT, 선호 학습, CPT 순으로 무거운 선택을 검토할 수 있다. 순서는 절대 규칙이 아니지만, 가중치를 바꾸는 학습은 되돌리기와 회귀 검사가 필요하다는 점에서 더 큰 결정이다.

포스트 트레이닝이 해결하지 못하는 것

포스트 트레이닝은 진실 판별기를 모델 안에 설치하는 과정이 아니다. 시범과 선호가 잘못되면 모델은 그 오류를 더 그럴듯하게 재현할 수 있다. 보상 모델이 측정하는 특징만 과도하게 공략하는 보상 해킹, 특정 유형의 안전 답변을 기계적으로 반복하는 과잉 거부, 좁은 데이터에 적응하면서 일반 능력이 약해지는 파국적 망각도 생길 수 있다.

또한 학습 시점 이후의 사실은 자동으로 갱신되지 않는다. 내부 규정, 가격, 법령처럼 자주 변하는 정보는 학습 가중치보다 검색 가능한 원문과 버전 관리가 더 중요할 수 있다. 사람의 선호 역시 하나의 보편적 진리가 아니다. 평가자 구성과 지침이 달라지면 ‘좋은 답’의 기준도 달라진다. 그래서 포스트 트레이닝은 완성 버튼이 아니라, 목표와 데이터와 평가가 서로 맞는지 계속 확인하는 제품 운영의 일부로 보는 편이 정확하다.

출처

• Brown et al., Language Models are Few-Shot Learners
• Ouyang et al., Training language models to follow instructions with human feedback
• Rafailov et al., Direct Preference Optimization
• Meta AI, The Llama 3 Herd of Models
• Gururangan et al., Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks

포스트 트레이닝 시리즈

• Continued Pretraining과 도메인 적응
• SFT와 LoRA·QLoRA의 차이
• RLHF와 InstructGPT 구조
• DPO와 선호 데이터
• GRPO와 RLVR의 차이
• 지식 증류와 PUBG Ally 사례
• AI 에이전트 궤적 학습