DPO란? RLHF 없이 chosen·rejected 데이터로 AI 선호를 학습하는 방법

좋은 답과 나쁜 답을 한 쌍씩 모아 두었는데, 굳이 별도의 보상 모델을 만들고 복잡한 강화학습까지 돌려야 할까? DPO(Direct Preference Optimization)는 이 질문에서 출발한다. 결론부터 말하면 DPO는 사람의 선호가 필요 없는 방법이 아니다. 사람이 고른 chosen과 비선호 답인 rejected를 그대로 언어모델의 학습 손실로 바꿔, 보상 모델과 PPO 루프를 생략하는 방법이다.

용어 먼저 보기

로그확률은 모델이 어떤 답을 얼마나 낼 법하다고 보는지를 로그 값으로 표현한 것이다. β(베타)는 선호 반영 강도와 기준 모델에서 벗어나는 정도를 조절한다. KL은 새 모델과 기준 모델의 분포 차이를 재는 값이며, Bradley–Terry 모형은 두 답의 점수 차이로 선호 확률을 표현한다.

여기서 “RLHF 없이”란 정확히는 “보상 모델을 따로 학습한 뒤 PPO로 최적화하는 전통적 RLHF 없이”라는 뜻이다. 선호 라벨을 사람이 만들었다면 인간 피드백 자체는 여전히 들어 있다. 이 구분을 놓치면 DPO를 공짜 정렬 기술처럼 오해하게 된다.

먼저 데이터 한 줄부터 보자

DPO의 기본 학습 단위는 질문 하나와 답 두 개다. 점수 4.7 대 3.2처럼 절대평가할 필요도 없다. 둘 중 어느 쪽이 더 나은지만 표시한다.

필드	뜻	간단한 예
prompt	사용자 입력	“서울에서 하루 여행 동선을 짜줘”
chosen	선호된 답	이동 시간을 고려한 3개 권역 동선
rejected	덜 선호된 답	먼 장소를 시간순서 없이 나열한 답
선택 근거	학습식에는 필수 아님	실행 가능성, 정확성, 과장 여부

실무 JSON은 대략 {"prompt": ..., "chosen": ..., "rejected": ...}다. 두 답은 같은 질문에 대한 것이어야 하고, 비교 기준도 일관돼야 한다. “짧아서 chosen”인 행과 “상세해서 chosen”인 행을 이유 없이 섞으면 모델은 무엇을 선호해야 하는지 배우기보다 표면적 우연을 좇는다.

DPO의 핵심: 답에 점수를 붙이지 않고 순서를 뒤집는다

언어모델은 문장을 만들 때 각 토큰에 확률을 준다. DPO는 학습 전 모델을 기준 모델(reference policy)로 얼려 두고, 학습 중인 모델이 각 답을 기준 모델보다 얼마나 더 또는 덜 좋아하게 됐는지 본다. chosen의 상대 확률은 올리고 rejected의 상대 확률은 내리면 된다.

여기서 “암묵적 보상”이라는 말이 나온다. 별도 심사위원 모델이 7.3점을 출력하는 것은 아니다. 현재 모델과 기준 모델의 로그확률 차이가 보상처럼 작동한다.

암묵적 보상 직관
r̂(x,y) = β [log πθ(y|x) - log πref(y|x)]

현재 모델이 기준 모델보다 답 y를 더 밀어 주면 양수, 덜 밀면 음수다. 질문에만 의존해 답끼리 비교할 때 상쇄되는 상수는 뺀 표현이다. β는 기준에서 벗어나는 정도와 학습 강도를 조절한다.

실제 DPO 손실은 chosen의 암묵적 보상이 rejected보다 높을 확률을 키우는 이진 분류 형태다. Bradley–Terry 선호 모형과 KL 제약이 있는 보상 최대화 문제를 연결하면 이 식이 나온다. 비전문가가 기억할 것은 하나다. 모델 자체가 답 생성기이면서, 기준 모델 대비 변화량으로 만든 보상표 역할도 한다.

숫자로 한 번 계산해 보기

설명을 위해 β=1이라 하자. 어떤 질문에서 기준 모델의 문장 로그확률이 chosen -3.0, rejected -3.2였다. 학습 중 모델은 chosen -2.5, rejected -3.9가 됐다.

• chosen 암묵적 보상: -2.5 - (-3.0) = +0.5
• rejected 암묵적 보상: -3.9 - (-3.2) = -0.7
• 선호 격차: 0.5 - (-0.7) = 1.2
• 시그모이드로 본 chosen 선호확률: 약 77%

학습은 이 77%를 더 높이는 방향으로 움직인다. 중요한 함정도 보인다. 목표는 chosen의 절대확률을 무조건 올리는 것이 아니라 두 답의 상대 격차를 키우는 것이다. 그래서 chosen과 rejected의 확률이 둘 다 내려가되 rejected가 더 크게 내려가는 현상도 가능하다.

PPO 기반 RLHF와 무엇이 달라지나

항목	보상 모델 + PPO	DPO
선호 데이터 사용	보상 모델을 먼저 학습	정책 모델 손실에 직접 사용
학습 중 새 답 생성	현재 정책으로 계속 샘플링	기본형은 고정 쌍만 사용
추가 모델	보상 모델과 보통 가치 모델 필요	고정 기준 모델 필요
최적화	보상 최대화, PPO 클리핑·KL 제어	쌍별 로지스틱 분류 손실
장점	새 출력에 보상을 주며 온라인 탐색 가능	구현·메모리·튜닝이 상대적으로 단순
대가	복잡하고 불안정할 수 있음	수집 당시 데이터 분포에 묶임

InstructGPT 논문의 전형적 파이프라인은 시범답 SFT, 비교 라벨로 보상 모델 학습, PPO 순서다. 반면 DPO 원 논문은 선호 데이터에 대해 한 단계 정책 학습으로 바꿨고, 요약·대화·감정 제어 실험에서 PPO 기반 RLHF와 비슷하거나 더 나은 결과를 보고했다. 다만 서로 다른 규모와 설정의 결과를 모든 작업에 대한 승리로 일반화하면 안 된다.

고정 데이터라는 편리함이 곧 한계다

DPO 원형은 오프폴리시·오프라인에 가깝다. 선호 쌍은 보통 이전 모델이 만든 답이다. 학습이 진행돼 현재 모델의 말투와 오류가 달라져도, 교사는 옛날 오답만 보여 준다. 반면 PPO형 RLHF는 현재 정책이 만든 답을 보상 모델로 평가하므로 온폴리시 신호를 계속 받을 수 있다.

이 차이는 모델이 이미 크게 변했을 때 커진다. DPO와 PPO를 비교한 연구는 모델 출력과 선호 데이터 사이의 분포 이동에 DPO가 민감하며, 정적 데이터 대신 반복적으로 새 쌍을 만드는 방식이 개선될 수 있다고 분석했다. 그러나 반복 DPO는 답 생성, 판정, 데이터 정제 비용을 다시 불러온다. “강화학습이 없어서 싸다”는 장점이 일부 줄어드는 셈이다.

어디에 쓰면 맞고, 어디서 멈춰야 하나

상황	판단	이유
말투·거절 방식·요약 품질처럼 쌍 비교가 쉬움	DPO 우선 검토	정답 점수보다 상대 선호가 자연스럽다
이미 신뢰할 만한 chosen/rejected 묶음이 있음	DPO 효율 높음	보상 모델 없이 바로 학습 가능
코드 테스트·수학 정답처럼 자동 검증 가능	RLVR도 비교	현재 모델의 새 시도를 반복 평가할 수 있다
멀티턴 에이전트의 긴 행동 경로	DPO만으로 부족할 수 있음	어느 행동이 성패를 갈랐는지 신용 할당이 약하다
운영 중 실패 유형이 빠르게 변함	반복 수집 또는 온라인 방법	고정 쌍이 현재 분포를 놓친다

실패는 데이터와 목적식 양쪽에서 온다

실패 모드	무슨 일이 생기나	점검법
라벨 노이즈·기준 충돌	친절함과 간결함 같은 기준이 뒤섞임	근거 필드와 평가자 일치도 보존
길이·형식 지름길	내용 대신 긴 답, 사과문, 목록 형식을 선호	길이를 맞춘 쌍과 반례 평가
분포 이동	현재 모델이 만드는 실패가 데이터에 없음	학습 모델로 재샘플링해 승률 재측정
과도한 기준 이탈	다양성 저하, 특정 문구 반복	β, KL, 홀드아웃 생성 다양성 확인
우도 변위	chosen도 덜 나오지만 rejected가 더 빨리 줄어 손실만 좋아짐	쌍의 격차와 chosen 절대 로그확률을 함께 기록

특히 ICLR 2025 우도 변위 연구는 “No를 Never보다 선호”하도록 학습했는데 엉뚱하게 Yes 확률이 커질 수 있음을 보였다. 안전 거절 실험에서는 Llama-3-8B-Instruct의 거절률이 74.4%에서 33.4%로 내려간 사례도 보고했다. 저자들도 모든 DPO 학습에서 보편적으로 발생한다고 주장하지는 않는다. 그래서 손실 감소만 보지 말고 실제 생성, chosen 확률, 안전 평가를 따로 봐야 한다.

결정 기준은 “RL을 없앨까”가 아니다

DPO의 진짜 가치는 강화학습이라는 이름을 지우는 데 있지 않다. 우리 피드백이 고정된 답 쌍으로 충분히 표현되는가를 묻고, 그렇다면 복잡한 온라인 루프를 단순한 분류 손실로 치환하는 데 있다. 작은 팀은 우선 SFT 기준 모델, 깨끗한 선호 쌍, 홀드아웃 생성 평가로 시작할 수 있다. 이후 모델 출력이 데이터 밖으로 이동하거나 자동 검증 가능한 환경 상호작용이 중요해질 때 반복 DPO나 PPO·GRPO 계열을 검토하면 된다.

한계도 명확하다. DPO의 이론은 Bradley–Terry식 쌍 선호와 KL 제약 목적을 전제로 한다. 실제 사람 선호는 순환하거나 상황에 따라 바뀌고, 한 쌍만으로 “왜 좋은가”를 알려 주지 않는다. DPO는 좋은 데이터의 대체재가 아니라, 좋은 비교 데이터를 정책 업데이트로 옮기는 간결한 다리다.

1차 자료: DPO 원 논문 · NeurIPS 2023 PDF · InstructGPT · DPO와 PPO의 분포 이동 분석 · Likelihood Displacement, ICLR 2025

포스트 트레이닝 시리즈

• 포스트 트레이닝 전체 지도
• 이전 글: RLHF와 InstructGPT 구조
• 다음 글: GRPO와 RLVR의 차이