Continued Pretraining이란? 도메인 지식을 추가하는 학습과 파인튜닝의 차이

범용 LLM에 사내 기술 문서를 몇 개 보여줬는데도 전문 용어를 자꾸 일반적인 뜻으로 해석한다면, 문제는 답변 형식이 아니라 모델이 익힌 텍스트 세계에 있을 수 있다. ‘질문에는 이렇게 답하라’고 가르치는 파인튜닝만으로는 부족한 경우다. Continued Pretraining, 우리말로 계속 사전학습은 이미 만들어진 모델이 특정 도메인의 언어 분포를 다시 익히게 하는 방법이다.

한 문장으로 구분하면

계속 사전학습은 정답 표시가 없는 전문 문서를 읽으며 “이 분야에서는 어떤 말이 어떤 맥락에 이어지는가”를 학습하고, 지도 미세조정은 질문과 모범 답을 보며 “이 요청에는 어떤 형태로 답해야 하는가”를 학습한다.

Continued Pretraining의 정확한 뜻

계속 사전학습(Continued Pretraining, CPT)은 기존 모델이 사용한 사전학습 목표를 새 말뭉치에 계속 적용한다. GPT류 인과적 언어모델은 주어진 문맥에서 다음 토큰을 예측하고, BERT류 모델은 가려진 토큰을 예측하는 목표를 주로 사용한다. 토큰은 단어나 단어 조각, 문장부호가 될 수 있고, 말뭉치는 학습용으로 모은 문서 집합이다.

예를 들어 범용 모델이 웹 문서와 책에서 출발했다면, CPT 단계에서는 반도체 공정 보고서, 의학 논문, 금융 공시처럼 목표 분야의 정답 표시 없는 원문을 추가로 읽힐 수 있다. 문서마다 질문과 답을 사람이 만들 필요가 없다. 모델은 문장 속 일부를 예측하면서 용어, 표현, 개념의 동시 출현 패턴을 가중치에 반영한다.

분야 적응을 목적으로 할 때는 도메인 적응 사전학습(Domain-Adaptive Pretraining, DAPT)이라고도 한다. 도메인은 의료·법률·금융처럼 어휘와 문서 관습을 공유하는 분야다. 특정 업무에 딸린 더 작은 무라벨 문서 집합을 쓰는 방식은 과제 적응 사전학습(Task-Adaptive Pretraining, TAPT)이라고 부른다. 2020년 ACL 논문 ‘Don’t Stop Pretraining’은 생의학, 컴퓨터과학, 뉴스, 리뷰의 네 분야와 여덟 분류 과제에서 DAPT와 TAPT를 단계적으로 비교했다. 핵심은 전문 원문으로 먼저 적응한 뒤에도 실제 과제와 가까운 무라벨 텍스트를 추가로 쓰는 선택지가 있다는 것이다.

왜 질문·답 데이터 없이도 도메인 지식이 늘어나는가

모델이 “식각 후 CD 편차가 커지면”이라는 문맥 뒤에 어떤 표현이 오는지 반복해서 예측한다고 해보자. 여기서 CD는 일반적인 ‘콤팩트 디스크’가 아니라 반도체 선폭과 관련된 critical dimension일 가능성이 높다. 공정 문서에서는 식각, 측정, 균일도, 허용 범위 같은 말과 함께 나타난다. 다음 토큰을 맞히려면 모델은 이 분야에서 CD가 사용되는 맥락을 내부 표현에 반영해야 한다.

이것이 CPT가 작동하는 기본 메커니즘이다. 새 사실을 데이터베이스의 한 행처럼 저장하는 것이 아니라, 도메인 문장에서 나타나는 토큰의 조건부 확률을 바꾼다. 전문 약어와 문체가 낯설어 생기던 예측 오차를 줄이면서 관련 표현을 더 자연스럽게 이어 갈 가능성이 커진다. 하지만 특정 문장을 읽었다고 그 사실을 정확히 인용하거나 항상 회상한다는 보장은 없다. 확률분포의 적응과 신뢰할 수 있는 정보 검색은 다른 문제다.

BioBERT는 이 구조를 보여주는 초기의 분명한 사례다. 연구진은 일반 문서로 학습된 BERT의 가중치에서 시작해 PubMed 초록과 PMC 논문 전문으로 추가 사전학습한 뒤, 개체명 인식·관계 추출·질의응답 같은 개별 과제에 다시 파인튜닝했다. 즉 전문 문서를 읽는 단계와 업무 정답을 배우는 단계를 분리했다. 이 사례는 CPT만으로 최종 제품이 완성되는 것이 아니라, 뒤의 과제 학습과 평가를 위한 더 적합한 출발점을 만든다는 점을 보여준다.

가상의 정비 모델로 전체 과정을 따라가기

산업 장비 제조사가 한국어 정비 기록을 이해하는 모델을 만든다고 가정하자. 원문에는 “챔버 PM 후 베이스 압력 회복 지연”, “MFC 영점 확인”, “인터록 해제 전 누설 점검” 같은 표현이 반복된다. 먼저 모델이 실제로 틀리는 평가 문항을 만든다. 약어 해석, 고장 원인 분류, 절차 순서, 근거 인용을 서로 분리해 측정해야 한다.

CPT용 데이터에는 정비 일지, 장비 매뉴얼, 기술 공지처럼 정답 라벨이 없는 문서를 넣는다. 중복 문서, 개인정보, 고객 비밀, 오래되어 폐기된 절차는 제거하고 문서 버전과 출처를 기록한다. 모델은 원문의 다음 토큰을 예측하며 ‘PM’, ‘MFC’, ‘인터록’이 이 조직에서 쓰이는 맥락에 적응한다.

그다음 SFT 데이터에는 “이 로그에서 우선 확인할 항목을 순서대로 쓰고 근거 문장을 인용하라”라는 입력과 검토된 모범 답을 넣는다. CPT가 용어와 문맥을 익히는 단계라면 SFT는 정비사의 요청에 답하는 형식을 익히는 단계다. 마지막으로 최신 매뉴얼을 검색해 문맥으로 넣는 RAG를 붙이면, 모델 가중치에 고정하기 어려운 개정 절차와 장비별 차이를 실행 시점에 공급할 수 있다.

검증에서는 CPT 전후를 같은 평가 세트로 비교하되 전문 과제만 보면 안 된다. 일반 한국어 이해, 지시 준수, 안전한 거부, 오래된 절차의 재현 여부도 함께 본다. 전문 점수가 좋아졌더라도 일반 능력이 크게 나빠졌거나 폐기된 매뉴얼을 자신 있게 말한다면 배포할 모델로는 부적합하다. 이 예의 목표는 CPT 사용 자체가 아니라, 도메인 부족이라는 가설이 실제로 맞았는지 검증하는 것이다.

CPT와 파인튜닝은 어디서 갈리는가

실무에서 ‘파인튜닝’은 사전학습 모델에 추가 학습을 하는 모든 방법을 느슨하게 가리키기도 한다. 그래서 용어보다 학습 데이터와 목표 함수를 확인해야 한다. 원문만 넣고 다음 토큰 예측을 계속했다면 CPT에 가깝다. 입력과 원하는 출력을 짝지어 그 출력을 생성하게 했다면 지도 미세조정(SFT)이다. 더 나은 답과 덜 나은 답의 쌍을 이용했다면 선호 최적화다.

현재 문제	우선 검토할 방법	필요 데이터	판단 이유
전문 용어와 문체를 폭넓게 오해한다	CPT·DAPT	정제된 전문 원문	도메인 전체의 언어 분포가 베이스 모델과 다르다
지식은 있지만 출력 형식과 절차를 못 지킨다	SFT	입력과 모범 답	부족한 것은 지식보다 행동 시범이다
두 답 중 더 안전하고 유용한 답을 고르지 못한다	선호 학습	선호·비선호 답 쌍	정답 하나보다 상대적 품질 기준이 중요하다
규정과 가격이 자주 바뀌고 출처가 필요하다	RAG	검색 가능한 최신 문서	학습 시점에 지식을 고정하면 곧 낡는다
고유 토크나이저·언어·아키텍처가 필요하다	처음부터 사전학습	대규모 말뭉치와 계산 자원	기존 모델의 출발점 자체가 요구와 맞지 않는다

CPT를 ‘포스트 트레이닝’에 포함할지도 같은 이유로 문서마다 다르다. 넓은 분류에서는 최초 사전학습이 끝난 뒤 이루어지는 모든 추가 학습을 포스트 트레이닝이라 하므로 CPT도 포함한다. 반면 많은 모델 보고서는 사전학습 목표를 유지하는 CPT를 프리트레이닝의 두 번째 단계로 두고, 지시 SFT와 선호 정렬부터 포스트 트레이닝이라고 부른다. 어느 한쪽만 정답이라기보다 분류 경계가 다르다. 프로젝트 범위를 확인할 때는 “포스트 트레이닝 여부” 대신 사용한 말뭉치, 학습 목표, 데이터 라벨, 단계 순서를 묻는 편이 안전하다.

CPT를 결정하기 전에 확인할 실무 순서

먼저 오류를 분해한다. 전문 용어를 몰라 틀리는지, 원문 검색에 실패하는지, 지시는 이해하지만 형식을 어기는지 구분한다. 그다음 CPT 없이도 강한 베이스 모델, 좋은 프롬프트, RAG로 해결되는 기준선을 만든다. 기준선이 없으면 추가 학습이 만든 이득과 손상을 판단할 수 없다.

데이터 단계에서는 양보다 출처와 분포가 중요하다. 중복 문서는 일부 표현을 과도하게 강조하고, 자동 생성 문서는 기존 모델의 오류를 되먹일 수 있다. 저작권과 이용 권한, 개인정보와 영업비밀, 시점이 다른 문서의 충돌을 점검한다. 범용 텍스트를 일부 섞을지, 학습률과 학습량을 어떻게 제한할지는 일반 능력 망각을 줄이기 위한 실험 항목이지 만능 공식이 아니다.

작은 파일럿에서 도메인 검증 손실과 실제 업무 평가를 함께 추적하고, 더 학습해도 목표 과제가 좋아지지 않거나 일반 능력 회귀가 커지는 지점을 중단 기준으로 삼는다. 검증 손실은 학습에 쓰지 않은 문장에서 다음 토큰을 얼마나 잘 예측하는지 나타내는 오차다. 이 값이 내려가도 업무 답변이 반드시 좋아지는 것은 아니므로 두 종류의 평가가 모두 필요하다. 최종적으로 SFT나 RAG를 결합한 전체 시스템을 평가해야 CPT 체크포인트 자체의 개선을 제품 개선으로 착각하지 않는다.

한계: 더 많이 읽힌다고 더 정확한 데이터베이스가 되지는 않는다

CPT는 계산과 데이터 정제가 필요하고, 좁은 말뭉치에 과적응하면 파국적 망각이 생길 수 있다. 파국적 망각은 새 분야를 배우는 동안 기존의 일반 능력이 약해지는 현상이다. 잘못된 문서, 편향된 기록, 폐기된 절차도 그대로 학습할 수 있으며, 가중치 안에 들어간 정보는 특정 문서만 골라 수정하거나 삭제하기 어렵다.

또한 CPT는 출처 인용을 보장하지 않고 환각을 제거하지 않는다. 모델은 익숙해진 전문 문체로 틀린 내용을 더 설득력 있게 말할 수도 있다. 정확한 최신 사실, 접근 권한, 문서별 추적성이 핵심이면 RAG나 구조화된 데이터베이스가 더 직접적이다. 전문 질문의 답변 형식이 문제라면 SFT가 더 싸고 분명할 수 있다.

따라서 CPT의 실무적 가치는 “우리 문서를 모델에 넣었다”가 아니라, 도메인 분포 차이 때문에 발생한 측정 가능한 실패를 줄이는 데 있다. 이 가설이 없다면 CPT는 비싼 우회로가 된다. 반대로 전문 원문은 풍부하지만 라벨 데이터가 적고, 베이스 모델이 분야 언어 자체를 낯설어한다면 CPT는 이후 SFT와 검색 시스템이 일할 수 있는 더 나은 토대를 만들 수 있다.

출처

• Gururangan et al., Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks
• Lee et al., BioBERT: a pre-trained biomedical language representation model for biomedical text mining
• BioBERT arXiv 원문
• Ouyang et al., Training language models to follow instructions with human feedback
• Meta AI, The Llama 3 Herd of Models

포스트 트레이닝 시리즈

• 포스트 트레이닝 전체 지도
• 다음 글: SFT와 LoRA·QLoRA의 차이