지식 증류란? 큰 AI를 작은 모델로 옮기는 방법과 PUBG Ally 8B→2B 사례

큰 AI가 잘하는 일을 작은 모델에서도 재현하려면 어떻게 해야 할까. 흔히 “큰 모델의 답을 모아 작은 모델을 파인튜닝하면 된다”고 설명하지만, 실제 지식 증류에는 서로 다른 정보량을 가진 여러 방법이 있다. 최종 정답만 따라 쓰게 할 수도 있고, 다음 단어 후보 전체의 확률 분포를 옮길 수도 있으며, 추론 과정이나 도구 호출의 순서까지 학습시킬 수도 있다. 중요한 것은 모델을 단순히 작게 만드는 일이 아니라, 서비스에 필요한 행동을 어느 정도까지 보존할지 정하는 일이다.

배포 용어 먼저 보기

GGUF는 모델 가중치와 메타데이터를 담는 파일 형식이고, Q4_K_M은 그 가중치를 4비트 계열로 압축하는 양자화 방식이다. KV 캐시는 이미 처리한 토큰의 중간 계산을 재사용하는 메모리다. CiG(CUDA in Graphics)는 게임 렌더링과 AI 연산이 같은 GPU 문맥을 효율적으로 공유하게 하는 NVIDIA 기술이다.

KRAFTON이 공개한 PUBG Ally 사례는 이 차이를 실전 파이프라인으로 보여준다. 클라우드의 대형 LLM으로 에이전트 구조를 검증하고, 그 LLM이 만든 궤적 데이터로 Minitron 8B를 먼저 학습한 뒤, 8B의 확률 분포를 같은 계열의 Minitron 2B에 증류하고, 마지막으로 모델을 GGUF로 변환하고 Q4_K_M 방식으로 양자화해 PC 안에서 실행한다. 즉 경로는 LLM → Minitron 8B → Minitron 2B → Q4_K_M이다. 왜 2B를 LLM에 바로 붙이지 않고 8B를 중간 교사로 뒀는지 이해하면 지식 증류의 핵심이 보인다.

로짓 기반 증류는 정답뿐 아니라 후보 사이의 관계도 옮긴다

교사 모델과 학생 모델이 “엄폐물 뒤로 이동하라”는 같은 문장을 출력했다고 하자. 겉으로는 완전히 같은 답이다. 그러나 교사는 다음 토큰 후보에 ‘이동’ 0.55, ‘후퇴’ 0.30, ‘대기’ 0.10, ‘공격’ 0.05를 부여했을 수 있다. 정답 토큰 하나만 저장하면 학생은 ‘이동=1, 나머지=0’만 본다. 반면 교사의 로짓(logit), 즉 소프트맥스를 통과하기 전 점수에서 얻은 확률 분포를 쓰면 ‘후퇴도 꽤 그럴듯하지만 공격은 위험하다’는 상대적 관계까지 배운다.

학습 신호	학생이 보는 것	장점	놓치는 것
하드 라벨	선택된 정답 토큰·문장	API 출력만으로 수집 가능, 단순함	대안 후보의 미세한 선호도
소프트 로짓	어휘 전체 또는 후보들의 확률 분포	‘얼마나 비슷하게 틀렸는지’까지 전달	교사 내부 로짓 접근과 큰 저장·연산 비용 필요

학생은 보통 교사와 자신의 분포 차이를 KL 발산 같은 손실로 줄인다. NVIDIA의 Minitron 연구와 NeMo 문서는 교사와 학생의 로짓을 비교하는 logit-only distillation을 설명한다. 이때 교사 가중치는 고정하고 학생만 역전파한다. 같은 문장을 외우는 것보다, 각 위치에서 교사가 가능하다고 본 선택지의 지형을 따라가는 셈이다. 다만 외부 상용 API처럼 로짓을 주지 않는 교사라면 하드 라벨 방식에 머물 가능성이 크다.

문장 증류, 추론 증류, 궤적 증류는 무엇이 다른가

시퀀스 증류는 교사가 생성한 완성 문장이나 코드 전체를 학생의 정답으로 사용한다. 고객 상담 답변, 번역, 요약처럼 입력과 출력의 대응이 핵심인 작업에 적합하다. 추론 증류는 중간 계산, 계획, 근거, 자기 점검을 포함한 풀이 흔적을 학습시킨다. 최종 답이 맞아도 중간 규칙을 반복해서 어기는 모델을 고칠 때 유용하지만, 교사가 쓴 설명이 실제 내부 추론과 일치한다고 보장할 수는 없다.

궤적 증류는 한 단계 더 나아간다. 에이전트가 관찰한 상태, 선택한 도구, 도구가 돌려준 결과, 다음 행동을 시간 순서로 저장한다. 예를 들어 “안전 구역을 확인한다 → 현재 위치를 조회한다 → 이동 경로를 제안한다 → 플레이어가 거부하면 다시 관찰한다”가 하나의 궤적이다. PUBG Ally처럼 도구를 3~5번 반복 호출하는 시스템에서는 자연스러운 말투만큼이나 올바른 도구 이름, 인자 형식, 결과를 읽고 다음 행동을 바꾸는 능력이 중요하다.

PUBG Ally의 실제 경로: 왜 8B가 중간에 필요한가

KRAFTON 공식 기술 글은 두 방식을 비교했다고 밝힌다. 첫째는 2B가 대형 LLM의 출력, 즉 하드 라벨을 직접 배우는 방식이다. 둘째는 LLM의 궤적으로 8B를 먼저 맞춘 뒤, 8B가 내놓는 소프트 확률 분포를 2B가 배우는 방식이다. 공개 자료에는 두 방식의 수치 비교표까지 나오지는 않지만, KRAFTON은 후자를 선택했고 같은 아키텍처 계열에서의 지식 전달을 결정적 이점으로 설명한다.

단계	입력되는 지식	목적
대형 LLM	PUBG 규칙, 게임 상태, 도구 명세	좋은 의사결정·도구 호출 궤적 생성
Minitron 8B	LLM이 만든 하드 라벨 궤적	도메인 행동을 충분한 용량에 먼저 정착
Minitron 2B	8B의 소프트 로짓 분포	대안의 상대적 선호까지 압축
GGUF·Q4_K_M 양자화 모델	2B 가중치의 4비트 계열 표현	VRAM·메모리 사용량과 지연시간 축소

8B와 2B는 Minitron 계열로 토크나이저, 어텐션 구조, 학습 말뭉치가 맞닿아 있다. 토큰 경계가 같으면 8B의 특정 위치에서 계산한 후보 분포를 2B의 같은 위치와 직접 비교하기 쉽다. 구조와 사전학습 배경도 유사해 “이 점수 차이가 무엇을 뜻하는지”가 덜 어긋난다. 서로 다른 모델 계열 사이에서도 증류는 가능하지만, 토크나이저가 다르면 토큰 정렬부터 복잡해지고 내부 표현의 의미도 달라질 수 있다. 동계열 증류는 품질을 자동 보장하는 마법이 아니라, 전달 과정에서 생기는 번역 비용을 줄이는 선택이다.

작은 예제로 보는 정보량의 차이

훈련 데이터에 “적이 보이고 체력이 낮다”는 상태가 1,000번 있다고 가정해 보자. 하드 라벨 교사가 700번은 ‘엄폐’, 200번은 ‘회복’, 100번은 ‘교전’을 최종 행동으로 출력했다면 학생은 각 사례에서 선택된 행동 하나만 정답으로 본다. 동일한 입력에서 출력이 흔들리면 데이터가 서로 충돌하는 것처럼 보일 수도 있다. 소프트 로짓을 저장하면 각 사례마다 ‘엄폐 0.62, 회복 0.30, 교전 0.08’처럼 대안의 순위와 간격이 남는다. 학생은 엄폐를 가장 높이되, 치료 아이템이 확인된 변형 상황에서는 회복으로 전환할 여지를 배울 수 있다.

궤적까지 포함하면 학습 단위는 더 길어진다. ‘적 감지 → 내 체력 조회 → 엄폐 위치 조회 → 이동 명령’이 모범 경로라면, 도구 결과가 “엄폐물 없음”일 때는 연막 보유량을 조회하는 복구 분기도 데이터에 있어야 한다. 최종 행동만 맞추는 데이터는 이런 조건부 전환을 숨긴다. 반대로 로짓과 궤적을 모두 모으면 저장 공간과 교사 추론비가 커진다. 모든 토큰의 전체 어휘 분포를 저장하기 어렵다면 상위 후보만 저장하거나, 학습 중 교사를 동시에 실행해 분포를 계산하는 절충이 필요하다.

배포 경제성: 작아지면 실제 운영비는 어떻게 달라질까

파라미터 저장량만 단순 계산하면 2B 모델을 16비트로 보관할 때 가중치에 약 4GB가 필요하고, 이상적인 4비트 기준으로는 약 1GB다. 계산은 20억 개 × 2바이트와 20억 개 × 0.5바이트다. 실제 실행에는 양자화 메타데이터, KV 캐시, 런타임 버퍼, 음성 인식·합성, 게임 그래픽 메모리가 더 들어가므로 이 숫자가 곧 전체 VRAM 요구량은 아니다. Q4_K_M의 K-quant 블록과 혼합 정밀도 오버헤드도 있다.

그럼에도 모델이 작아지면 한 토큰을 만들 때 읽어야 할 가중치가 줄어 지연시간과 전력 사용량이 낮아질 가능성이 크다. 서버에서는 같은 GPU에 더 많은 요청을 올릴 수 있고, 온디바이스에서는 네트워크 왕복과 클라우드 호출료를 없앨 수 있다. NVIDIA 공식 Q&A에 따르면 PUBG Ally는 로컬 2B 모델과 추가 양자화로, 그래픽이 이미 쓰고 남은 VRAM 안에 들어가도록 설계됐으며 총 8GB VRAM급 GPU를 지원 대상으로 삼았다. KRAFTON 글은 반복 도구 호출마다 그래픽과 CUDA 문맥 전환 비용이 누적되므로 같은 GPU 문맥에서 실행하는 CiG도 활용한다고 설명한다.

증류의 한계: 작아져도 남는 문제

첫째, 학생은 교사보다 용량이 작다. 드문 상황, 긴 문맥, 복합 도구 오류 복구가 먼저 무너질 수 있다. 둘째, 교사가 틀린 규칙이나 편향을 가진다면 그것도 압축된다. 셋째, 하드 라벨 궤적은 성공 사례만 모을수록 실패 뒤 복구하는 법을 가르치지 못한다. 넷째, 4비트 양자화는 별도의 압축 단계이므로 증류와 같은 개념이 아니며, 민감한 가중치의 정밀도 손실이 품질 저하를 더할 수 있다.

평가도 일반 대화 점수 하나로 끝내면 안 된다. 도구 이름과 인자 형식의 정확도, 여러 번 호출한 뒤 목표를 유지하는 비율, 오래된 대화 기억 대신 최신 게임 상태를 다시 조회하는지, 지연시간의 평균뿐 아니라 상위 95% 지연, 최소 사양에서의 VRAM, 실제 플레이어가 느끼는 유용성을 따로 봐야 한다. KRAFTON 사례가 주는 결론은 “2B도 큰 모델만큼 똑똑하다”가 아니다. 필요한 행동을 명확히 정의하고, 정보량이 큰 중간 교사를 두며, 실행 환경까지 함께 최적화하면 작은 모델이 제한된 역할을 실시간으로 수행할 수 있다는 것이다.

PUBG Ally 관련 성능과 구현 설명은 KRAFTON과 NVIDIA가 공개한 당사자 자료에 근거한다. 공개된 구조를 설명하는 데는 유용하지만, 독립적인 품질 비교 실험으로 해석해서는 안 된다.

출처

• KRAFTON AI, From Workflow-Based SLM to Autonomous Agent: Evolving PUBG Ally's Architecture
• NVIDIA Technical Blog, How KRAFTON Built PUBG Ally
• NVIDIA Research, LLM Pruning and Distillation in Practice: The Minitron Approach
• NVIDIA NeMo Framework, Optimizing Models with Knowledge Distillation

포스트 트레이닝 시리즈

• 포스트 트레이닝 전체 지도
• 이전 글: GRPO와 RLVR의 차이
• 다음 글: AI 에이전트 궤적 학습