RLHF란? 사람의 선호를 보상으로 바꾸는 InstructGPT 학습 구조

좋은 답은 하나로 정해지지 않는 경우가 많다. 같은 질문에 사실관계가 맞는 답이 둘이라도 하나는 핵심부터 말하고, 다른 하나는 장황하거나 무례할 수 있다. 지도 미세조정(SFT)은 모범 답안을 그대로 따라 쓰게 만들 수 있지만, 여러 답 중 사람이 어느 쪽을 더 좋아하는지까지 표현하기는 어렵다. InstructGPT식 RLHF(Reinforcement Learning from Human Feedback)는 이 상대적인 판단으로 보상 모델을 학습하고, 그 보상을 강화학습으로 최적화하는 구조다. RLHF 전체가 반드시 이 조합을 사용하는 것은 아니다.

쉽게 말하면 신입 상담원을 훈련하는 과정과 닮았다. 먼저 모범 상담문을 보여 준다. 다음에는 같은 문의에 대한 답변 두 개를 선임자가 비교해 더 나은 쪽을 고른다. 이 선택을 많이 모아 ‘선임자처럼 채점하는 평가자’를 만들고, 상담원은 그 채점이 높아지도록 연습한다. 단, 평가자 점수만 좇다가 말만 길고 친절한 답을 만들지 않도록 원래 상담 방식에서 너무 멀어지는 행동에는 벌점을 준다. 이 기준 정책 이탈 억제 장치가 KL 패널티다. 다만 잘못된 보상 기준 자체를 바로잡는 안전 검증기는 아니다.

InstructGPT의 3단계를 네 가지 작업으로 나눠 보기

단계	입력 데이터	얻는 것	핵심 위험
SFT	프롬프트와 사람이 쓴 모범 답변	기본 지시 준수 정책	한정된 시범의 문체·오류를 모방
선호 쌍 수집	같은 프롬프트의 여러 후보와 순위	A가 B보다 낫다는 비교	라벨러 집단의 취향과 기준 불일치
보상 모델	프롬프트, 선택된 답, 탈락한 답	답변에 매기는 스칼라 점수	길이·형식 같은 지름길을 점수로 오인
PPO와 KL	새 프롬프트, 보상 점수, 기준 정책	선호 점수를 높인 정책	과도한 최적화와 능력 회귀

첫 단계는 SFT다. 사람이 쓴 시범 답변으로 사전학습 모델을 미세조정해 출발점을 만든다. 두 번째 단계에서는 한 프롬프트에 대해 모델 답변을 여러 개 생성하고 라벨러가 순위를 매긴다. 절대점수 7점, 8점을 각각 매기는 것보다 “A와 B 중 어느 쪽이 낫나”를 묻는 이유는 비교 판단이 상대적으로 일관되기 쉽기 때문이다.

세 번째 단계의 보상 모델은 선택된 답의 점수가 탈락한 답보다 높아지도록 학습한다. 결국 “도움이 됨, 정직함, 무해함” 같은 복합 판단을 하나의 숫자로 압축한다. 네 번째 단계에서는 PPO(Proximal Policy Optimization)가 답변 정책을 업데이트한다. 보상 모델 점수는 올리되 SFT 기준 모델과의 KL 발산이 너무 커지면 패널티를 준다. PPO는 한 번의 업데이트로 정책이 급격히 바뀌지 않게 제한하는 강화학습 알고리즘이고, KL은 새 모델의 토큰 분포가 기준 모델에서 얼마나 멀어졌는지를 재는 거리 역할을 한다.

선호 한 쌍이 보상이 되는 과정

질문이 “감기약을 두 배 먹으면 빨리 낫나요?”라고 해 보자. 후보 A는 “빨리 낫습니다”라고 단정한다. 후보 B는 “임의로 증량하지 말고 제품 용법을 따르며, 증상이 심하면 의료진과 상담하라”고 답한다. 라벨러가 B를 선택하면 보상 모델은 같은 질문에서 B의 점수가 A보다 높아지도록 학습한다. 이후 정책이 후보 C인 “무조건 병원에 가세요”를 만들었을 때 보상 모델이 안전한 표현 때문에 높은 점수를 줄 수도 있다.

여기서 문제가 드러난다. C는 위험한 복용을 막지만 사용자의 질문에 충분히 답하지 않았다. 비교 데이터에 ‘안전한 거절’이 자주 선택되었다면 보상 모델은 맥락에 맞는 설명보다 거절 문구 자체를 지름길로 삼을 수 있다. PPO가 이 허점을 강하게 최적화하면 모든 건강 질문에 과잉 거절하는 정책이 생긴다. KL 패널티는 이런 급격한 이동을 줄이지만, 잘못 배운 보상 기준을 고쳐 주지는 않는다. 결국 별도의 사실성·도움성 평가와 보상 모델의 오류 분석이 필요하다.

InstructGPT 결과는 무엇을 입증했나

OpenAI의 Ouyang 등은 2022년 InstructGPT 논문에서 SFT 학습에 약 1만3천 개 프롬프트, 보상 모델 학습에 약 3만3천 개, PPO 학습에 약 3만1천 개를 사용했다고 밝혔다. 연구진이 고용한 라벨러가 OpenAI API 프롬프트 분포의 출력을 비교한 평가에서 1.3B InstructGPT의 출력이 175B GPT-3 출력보다 더 선호되었다. 논문 표현대로 파라미터 수가 100배 이상 적은 모델이 더 높은 선호를 받은 것이다.

이 결과를 “작은 모델이 모든 능력에서 큰 모델을 이겼다”로 읽으면 안 된다. 측정 대상은 특정 라벨러와 특정 API 요청 분포에서의 출력 선호였고, 저자들도 RLHF가 ‘인류 전체의 가치’가 아니라 주로 라벨러와 연구자의 명시된 선호에 행동을 맞춘다고 적었다. 논문은 진실성 향상과 독성 출력 감소도 보고했지만, 간단한 실수는 여전히 남는다고 명시했다.

또 기본 PPO 모델은 SQuAD, DROP, HellaSwag, WMT 2015 프랑스어→영어 번역 등 일부 공개 과제에서 GPT-3보다 성능이 떨어졌다. 연구진은 이를 alignment tax, 즉 정렬 과정에서 치르는 능력 비용의 사례로 불렀다. PPO 업데이트에 사전학습 데이터의 로그우도 목적을 섞은 ‘PPO-ptx’로 대부분의 하락을 크게 줄였지만 완전히 제거하지는 못했고, 바람직하지 않은 행동이 일부 늘 수 있다는 한계도 기록했다.

보상 해킹과 라벨러 한계

보상 해킹은 사람이 원한 품질이 아니라 보상 모델의 허점을 공략해 점수만 높이는 현상이다. 2024년 ICML에 발표된 ODIN 연구는 RLHF에서 답변 길이가 대표적인 지름길이 될 수 있다고 지적했다. 잘 정돈되고 긴 답은 실제 도움성이 낮아도 사람이나 보상 모델에 높은 점수를 받을 수 있었다. 즉 보상 상승 곡선만 보고 품질이 좋아졌다고 결론 내리면 안 된다. 길이, 거절률, 특정 문구 반복, 사실 오류를 분리해 검사하고, 학습에 참여하지 않은 사람이 블라인드 평가해야 한다.

라벨러 역시 완벽한 정답 기계가 아니다. 전문지식이 필요한 질문에서는 그럴듯한 오류를 놓칠 수 있고, 문화·언어·정치적 배경에 따라 선호가 갈린다. 지침이 모호하면 라벨러 간 일치도가 낮아지고, 지침이 지나치게 엄격하면 현실의 다양한 사용자를 대표하지 못한다. 따라서 어떤 집단이 어떤 지침으로 라벨링했는지, 의견이 갈린 샘플을 어떻게 처리했는지, 보상 모델이 어느 분포에서 검증되었는지를 모델 성능과 함께 봐야 한다.

RLHF를 쓰지 않는 편이 나은 경우

정답을 자동 판정할 수 있는 코드 실행, 수학 검산, 스키마 유효성 같은 과제라면 비싼 인간 선호 모델보다 검증 가능한 보상을 먼저 써야 한다. 출력 형식과 말투만 고치면 되는 작은 문제는 SFT나 프롬프트로 충분할 수 있다. 선호 비교를 꾸준히 만들 인력과 도메인 전문가가 없거나, 배포 후 독립 평가를 운영할 수 없다면 RLHF의 복잡도는 이득보다 위험이 크다. 최신 지식 부족은 검색·RAG 문제이지 선호 최적화 문제가 아니다.

실무 결정 규칙은 세 질문으로 압축된다. 첫째, 좋은 답을 규칙으로 채점하기 어렵지만 사람은 일관되게 둘 중 하나를 고를 수 있는가. 둘째, SFT 이후에도 도움성·말투·거절 경계처럼 상대적 품질 문제가 반복되는가. 셋째, 보상 점수와 실제 품질이 어긋나는지 지속적으로 감사할 예산이 있는가. 세 조건이 모두 맞을 때 RLHF를 고려할 이유가 생긴다. 하나라도 빠진다면 데이터 정제, SFT, 검색, 자동 검증부터 개선하는 편이 대개 더 단순하고 추적 가능하다.

마지막으로 RLHF 모델의 출시 기준은 보상 증가가 아니라 독립된 평가의 동시 통과여야 한다. 기준 SFT 모델과 비교해 선호 승률이 올랐는지, 사실 오류와 과잉 거절은 늘지 않았는지, 핵심 벤치마크의 하락 폭이 허용 범위인지 함께 본다. 어느 하나가 악화되면 PPO 횟수를 늘리기보다 선호 데이터의 편향, 보상 모델의 길이 상관, KL 강도를 먼저 점검한다. 보상은 품질 그 자체가 아니라 품질을 대신 측정하는 불완전한 계기판이기 때문이다.

원문 자료

• Ouyang et al., Training language models to follow instructions with human feedback
• Schulman et al., Proximal Policy Optimization Algorithms
• Christiano et al., Deep Reinforcement Learning from Human Preferences, NeurIPS 2017
• Chen et al., ODIN: Disentangled Reward Mitigates Hacking in RLHF, ICML 2024

포스트 트레이닝 시리즈

• 포스트 트레이닝 전체 지도
• 이전 글: SFT와 LoRA·QLoRA의 차이
• 다음 글: DPO와 선호 데이터