🚀 AI 연구소102 DPO란? RLHF 없이 chosen·rejected 데이터로 AI 선호를 학습하는 방법 좋은 답과 나쁜 답을 한 쌍씩 모아 두었는데, 굳이 별도의 보상 모델을 만들고 복잡한 강화학습까지 돌려야 할까? DPO(Direct Preference Optimization)는 이 질문에서 출발한다. 결론부터 말하면 DPO는 사람의 선호가 필요 없는 방법이 아니다. 사람이 고른 chosen과 비선호 답인 rejected를 그대로 언어모델의 학습 손실로 바꿔, 보상 모델과 PPO 루프를 생략하는 방법이다.용어 먼저 보기로그확률은 모델이 어떤 답을 얼마나 낼 법하다고 보는지를 로그 값으로 표현한 것이다. β(베타)는 선호 반영 강도와 기준 모델에서 벗어나는 정도를 조절한다. KL은 새 모델과 기준 모델의 분포 차이를 재는 값이며, Bradley–Terry 모형은 두 답의 점수 차이로 선호 확률을 표현한다... 2026. 7. 28. RLHF란? 사람의 선호를 보상으로 바꾸는 InstructGPT 학습 구조 좋은 답은 하나로 정해지지 않는 경우가 많다. 같은 질문에 사실관계가 맞는 답이 둘이라도 하나는 핵심부터 말하고, 다른 하나는 장황하거나 무례할 수 있다. 지도 미세조정(SFT)은 모범 답안을 그대로 따라 쓰게 만들 수 있지만, 여러 답 중 사람이 어느 쪽을 더 좋아하는지까지 표현하기는 어렵다. InstructGPT식 RLHF(Reinforcement Learning from Human Feedback)는 이 상대적인 판단으로 보상 모델을 학습하고, 그 보상을 강화학습으로 최적화하는 구조다. RLHF 전체가 반드시 이 조합을 사용하는 것은 아니다.쉽게 말하면 신입 상담원을 훈련하는 과정과 닮았다. 먼저 모범 상담문을 보여 준다. 다음에는 같은 문의에 대한 답변 두 개를 선임자가 비교해 더 나은 쪽을 고른.. 2026. 7. 28. SFT란? LLM이 지시를 따르고 도구를 쓰게 만드는 지도 미세조정 사전학습을 마친 언어모델은 문장을 이어 쓰는 능력은 뛰어나지만, 사용자의 요청을 ‘업무 지시’로 받아들이는 법까지 저절로 익히지는 않는다. 질문을 받았는데 웹 문서처럼 말을 이어 가거나, 계산기가 필요한 순간에도 그럴듯한 숫자를 만들어 낼 수 있다. SFT(Supervised Fine-Tuning, 지도 미세조정)는 이 간극을 입력과 모범 출력의 짝으로 메운다. 핵심은 지식을 새로 주입하는 것보다 “이 상황에서는 어떤 형식과 행동이 정답인가”를 반복해서 보여 주는 데 있다.여기서 자주 생기는 오해가 있다. SFT와 LoRA를 같은 종류의 기술로 보는 것이다. 둘은 답하는 질문이 다르다. SFT는 무엇을 정답으로 삼아 학습할 것인가라는 학습 목적이고, LoRA와 QLoRA는 그 목적을 달성할 때 어떤 파라.. 2026. 7. 28. Continued Pretraining이란? 도메인 지식을 추가하는 학습과 파인튜닝의 차이 범용 LLM에 사내 기술 문서를 몇 개 보여줬는데도 전문 용어를 자꾸 일반적인 뜻으로 해석한다면, 문제는 답변 형식이 아니라 모델이 익힌 텍스트 세계에 있을 수 있다. ‘질문에는 이렇게 답하라’고 가르치는 파인튜닝만으로는 부족한 경우다. Continued Pretraining, 우리말로 계속 사전학습은 이미 만들어진 모델이 특정 도메인의 언어 분포를 다시 익히게 하는 방법이다.한 문장으로 구분하면계속 사전학습은 정답 표시가 없는 전문 문서를 읽으며 “이 분야에서는 어떤 말이 어떤 맥락에 이어지는가”를 학습하고, 지도 미세조정은 질문과 모범 답을 보며 “이 요청에는 어떤 형태로 답해야 하는가”를 학습한다.Continued Pretraining의 정확한 뜻계속 사전학습(Continued Pretraining.. 2026. 7. 27. 이전 1 2 3 4 5 ··· 26 다음
