Continued Pretraining1 Continued Pretraining이란? 도메인 지식을 추가하는 학습과 파인튜닝의 차이 범용 LLM에 사내 기술 문서를 몇 개 보여줬는데도 전문 용어를 자꾸 일반적인 뜻으로 해석한다면, 문제는 답변 형식이 아니라 모델이 익힌 텍스트 세계에 있을 수 있다. ‘질문에는 이렇게 답하라’고 가르치는 파인튜닝만으로는 부족한 경우다. Continued Pretraining, 우리말로 계속 사전학습은 이미 만들어진 모델이 특정 도메인의 언어 분포를 다시 익히게 하는 방법이다.한 문장으로 구분하면계속 사전학습은 정답 표시가 없는 전문 문서를 읽으며 “이 분야에서는 어떤 말이 어떤 맥락에 이어지는가”를 학습하고, 지도 미세조정은 질문과 모범 답을 보며 “이 요청에는 어떤 형태로 답해야 하는가”를 학습한다.Continued Pretraining의 정확한 뜻계속 사전학습(Continued Pretraining.. 2026. 7. 27. 이전 1 다음
