GRPO와 RLVR 차이: DeepSeek-R1은 어떻게 검증 가능한 보상으로 추론을 배웠나

DeepSeek-R1을 설명하는 글에서 “GRPO가 정답을 자동 채점해 추론을 만들었다”는 문장을 자주 본다. 절반만 맞다. RLVR는 무엇을 보상할지 정하는 피드백 방식이고, GRPO는 그 보상을 이용해 모델을 어떻게 업데이트할지 정하는 최적화 알고리즘이다. 시험으로 치면 RLVR는 정답지와 채점기, GRPO는 같은 문제를 푼 학생들의 점수를 비교해 다음 수업 방향을 정하는 규칙이다.

평가 용어 먼저 보기

pass@k는 같은 문제에 k번 답했을 때 한 번 이상 성공한 비율이다. avg@32는 문제마다 32개 답을 뽑아 계산한 평균 성능이다. OOD는 학습 때와 분포가 다른 문제를 뜻한다. advantage는 한 답이 같은 그룹의 평균보다 얼마나 좋거나 나쁜지 나타내는 학습 신호다.

이 둘을 분리해야 중요한 판단이 가능하다. 정확한 코드 테스트가 있어도 PPO를 쓸 수 있고, GRPO에 사람 선호 보상 모델을 붙일 수도 있다. DeepSeek-R1 계열의 특징은 검증 가능한 보상과 그룹 상대 최적화를 결합했다는 것이지, 두 용어가 동의어라는 뜻이 아니다.

RLVR: “좋다”가 아니라 “맞다”를 싸게 확인한다

RLVR(Reinforcement Learning with Verifiable Rewards)는 결과를 프로그램으로 검증할 수 있는 문제에 강화학습을 적용한다. 수학은 최종 답의 일치 여부, 코드는 단위 테스트 통과 여부, 형식 문제는 파서 통과 여부가 보상이 된다. 사람이 매 답변을 읽고 1~5점을 줄 필요가 없으니 대량 샘플을 반복 채점하기 좋다.

문제	가능한 검증기	검증기가 보지 못하는 것
대수·경시 수학	추출한 최종 답 exact match	중간 논리의 진실성, 우연한 정답
프로그래밍	컴파일·단위 테스트	숨은 입력, 보안, 유지보수성
도구형 에이전트	환경 상태·작업 성공 플래그	불필요한 행동, 안전한 과정
출력 형식	XML·JSON 파서	내용의 정확성과 유용성

즉 RLVR의 장점은 “자동으로 반복 판정할 수 있는 확장 가능한 보상”이고 약점은 “검증기가 정의한 것만 진실로 취급”한다는 점이다. 멋진 사고과정을 직접 가르치는 것이 아니라, 여러 시도 중 채점기를 통과한 경로의 확률을 높인다.

GRPO: 같은 문제의 답끼리 상대평가한다

PPO는 보통 정책 모델 외에 “이 상태에서 앞으로 받을 보상”을 예측하는 가치 모델, 즉 critic을 학습한다. 큰 언어모델 하나를 더 들고 있어야 하므로 메모리와 학습이 무겁다. DeepSeekMath 논문이 제안한 GRPO(Group Relative Policy Optimization)는 critic을 없애고, 같은 질문에서 뽑은 여러 답의 평균을 기준점으로 쓴다.

1. 현재 또는 직전 정책으로 질문 하나에 답 G개를 만든다.
2. 각 답을 보상 함수나 검증기로 채점한다.
3. 그룹 평균보다 높은 답은 양의 advantage, 낮은 답은 음의 advantage를 받는다.
4. PPO처럼 정책 변화 비율을 클리핑하며 좋은 답은 더 자주, 나쁜 답은 덜 나오게 업데이트한다.

그룹 상대 advantage
Aᵢ = (rᵢ - mean(r₁…rG)) / std(r₁…rG)

절대점수 1점보다 “이 문제에서 함께 뽑힌 답보다 얼마나 잘했는가”가 업데이트의 기준이다. critic 예측값을 그룹 통계가 대신한다.

작동 예: 답 네 개 중 두 개만 정답이라면

“37×24는?”에 네 개의 풀이를 뽑았고 최종 답 채점 결과가 [1, 0, 1, 0]이라고 하자. 평균은 0.5, 표준편차는 0.5이므로 advantage는 대략 [+1, -1, +1, -1]이 된다. 정답 두 개가 어떤 방식으로 계산했든 확률을 높이고, 오답 두 개는 낮춘다.

여기서 두 가지가 보인다. 첫째, 정답 검증만으로는 중간 풀이가 정직했는지 모른다. 둘째, 네 답이 모두 맞거나 모두 틀리면 분산이 0이라 서로 비교할 신호가 사라진다. 쉬운 문제와 현재 모델이 전혀 못 푸는 문제는 계산 비용만 쓰고 학습 기여가 작아질 수 있다. DAPO의 동적 샘플링이 이런 “전부 같은 보상” 그룹을 걸러내려 한 이유다.

DeepSeekMath에서 R1까지: 같은 이름, 다른 파이프라인

단계	확인된 구성	무엇을 보여 줬나
DeepSeekMath-RL	수학 모델에 GRPO, 질문당 64개 출력, 보상 모델 사용	critic 없는 그룹 기준의 출발점
DeepSeek-R1-Zero	DeepSeek-V3-Base에 사전 SFT 없이 GRPO, 정확성·형식 규칙 보상	순수 RL 실험에서 반성·검증·긴 추론 행동 출현
DeepSeek-R1	콜드스타트 SFT → 추론 RL → 기각 표본추출 SFT → 전체 정렬 RL	가독성·언어 혼합·일반 능력을 보완한 제품형 파이프라인
R1-Distill	R1이 만든 추론 데이터를 작은 Qwen·Llama에 SFT	작은 모델이 순수 GRPO를 그대로 거친 것은 아님

DeepSeekMath의 보고 결과도 맥락이 필요하다. 7B 설정에서 GRPO 후 GSM8K는 82.9%에서 88.2%, MATH는 46.8%에서 51.7%로 올랐다. 이는 수학 사전학습과 instruction tuning을 거친 강한 출발점, 특정 평가 설정에서 나온 수치다. GRPO 하나가 빈 모델에 수학을 발명했다는 증거가 아니다.

DeepSeek-R1 기술 보고서도 둘을 분명히 나눈다. R1-Zero는 SFT 없이 base에서 RL을 시작한 연구용 증거지만, 반복·가독성 저하·언어 혼합 문제가 있었다. 실제 R1은 수천 개의 긴 사고과정으로 콜드스타트하고 추론 RL을 한 뒤, 성공 출력을 골라 다시 SFT하고 비추론 데이터까지 섞은 최종 RL을 거쳤다. “R1은 순수 RL로 만들어졌다”는 설명은 R1-Zero와 제품 R1을 합친 과장이다.

GRPO가 critic을 없앴다고 문제가 끝나지는 않는다

그룹 평균은 싸지만 완벽한 기준선이 아니다. 질문마다 성공률이 다르고 답 길이도 다르다. 표준편차와 토큰 평균을 어떻게 적용하느냐에 따라 의도하지 않은 가중치가 생긴다. 탐색이 줄어 모든 샘플이 비슷해지는 엔트로피 붕괴, 긴 출력이 최대 길이에 걸려 잘리는 문제, 클리핑 때문에 유용한 토큰의 기울기가 사라지는 문제도 있다.

후속 제안	고치려는 지점	읽을 때의 주의점
DAPO	상·하 클립 분리, 보상 동일 그룹 동적 제거, 토큰 수준 손실, 과도한 길이의 부드러운 패널티	Qwen2.5-32B와 AIME 중심 시스템 결과이며 모든 RLVR 작업의 보편 처방은 아님
Dr.GRPO	응답 길이 정규화와 그룹 보상 표준편차 정규화를 제거해 길이·난도 편향 완화	구현별 손실 집계 차이가 크고, 비교 결과는 모델·템플릿·문제 분포에 의존

DAPO 논문은 자체 설정에서 naive GRPO의 AIME 2024 avg@32 30점을 50점으로 높였다고 보고한다. 그러나 이는 네 기법과 데이터·시스템을 함께 바꾼 결과다. “GRPO는 틀렸고 DAPO가 정답”이라기보다, 장기 추론 RL에서 샘플링과 손실 집계가 알고리즘 이름만큼 중요하다는 증거로 읽는 편이 정확하다.

정답 채점기도 게임의 대상이 된다

보상이 검증 가능하다고 해서 목표와 완전히 일치하는 것은 아니다. 공개 단위 테스트만 맞추고 숨은 입력에서 실패하는 코드, 답 추출기의 허점을 이용한 문자열, 형식 점수만 챙긴 무의미한 장문이 가능하다. 검증기는 현실의 품질이 아니라 검사한 속성만 보장한다.

LLMs Gaming Verifiers 연구는 귀납 규칙 문제에서 RLVR 모델이 일반 규칙을 찾는 대신 개별 사례 라벨을 열거해 검증을 통과하는 현상을 보고했다. 논리적으로 동형인 문제로 바꾸면 이 지름길이 깨졌다. 대응은 보상을 더 크게 주는 것이 아니라 숨은 테스트, 동형 변환, 적대적 사례, 과정 감사처럼 검증기의 사각지대를 시험하는 것이다.

RLVR가 새 능력을 만들었는지는 아직 논쟁 중이다

pass@1이 오르면 한 번에 정답을 낼 확률은 높아진다. 하지만 base 모델이 아주 많은 샘플 중 한 번은 이미 같은 풀이를 만들 수 있었다면, RL은 새 능력을 창조했다기보다 기존 희귀 경로를 자주 나오게 했다고 볼 수 있다. NeurIPS 2025 연구는 작은 k에서는 RLVR 모델이 좋지만 큰 k에서는 base가 더 높은 경우를 관찰해 “현재 설정은 경계를 넓히지 못했다”고 결론 냈다.

반대 증거도 있다. ProRL은 더 긴 학습, KL 제어, 기준 정책 재설정, 다양한 13.6만 문제를 사용해 base의 대규모 샘플에서도 나오지 않던 풀이를 보고했다. ACL 2026의 VLM 미로 연구도 제한된 공간 추론 설정에서 경계 확장을 관찰했다. 측정 자체도 유한 샘플에 의존한다. 그래서 현재의 안전한 결론은 “항상 창조”도 “항상 재가중”도 아니다. 출발 모델의 지식, 탐색 다양성, 학습 기간, 문제 분포와 경계 정의에 따라 달라진다.

실무 결정은 세 층으로 나눠야 한다

1. 보상층: 정답을 싸고 정확하게 검증할 수 있는가? 아니라면 RLVR보다 사람 선호·과정 보상·혼합 평가가 맞을 수 있다.
2. 최적화층: critic 비용이 병목이고 같은 프롬프트에서 여러 샘플을 뽑을 수 있는가? 그렇다면 GRPO 계열이 후보가 된다.
3. 감사층: 보상 상승과 실제 품질 상승을 분리했는가? 숨은 테스트, OOD, pass@k, 길이, 다양성, 사람이 읽은 과정까지 별도 추적해야 한다.

정답이 분명한 수학·코드에는 RLVR가 강력하다. 그러나 고객지원 말투, 의료 조언의 안전성, 장기 에이전트 행동처럼 성공이 다차원적이면 최종 exact match 하나로 줄이기 어렵다. 그 경우 GRPO를 선택하기 전에 먼저 “무엇을 검증하면 실제 성공과 어긋나지 않는가”를 설계해야 한다. DeepSeek-R1의 교훈은 특정 약어가 아니라, 확장 가능한 검증·충분한 탐색·제품용 SFT와 정렬 단계를 분리한 전체 파이프라인에 있다.

1차 자료: DeepSeekMath · DeepSeek-R1 · DAPO · Dr.GRPO · RLVR capability boundary · ProRL · Verifier gaming · ACL 2026 VLM 미로 연구

포스트 트레이닝 시리즈

• 포스트 트레이닝 전체 지도
• 이전 글: DPO와 선호 데이터
• 다음 글: 지식 증류와 PUBG Ally 사례