PUBG Ally1 지식 증류란? 큰 AI를 작은 모델로 옮기는 방법과 PUBG Ally 8B→2B 사례 큰 AI가 잘하는 일을 작은 모델에서도 재현하려면 어떻게 해야 할까. 흔히 “큰 모델의 답을 모아 작은 모델을 파인튜닝하면 된다”고 설명하지만, 실제 지식 증류에는 서로 다른 정보량을 가진 여러 방법이 있다. 최종 정답만 따라 쓰게 할 수도 있고, 다음 단어 후보 전체의 확률 분포를 옮길 수도 있으며, 추론 과정이나 도구 호출의 순서까지 학습시킬 수도 있다. 중요한 것은 모델을 단순히 작게 만드는 일이 아니라, 서비스에 필요한 행동을 어느 정도까지 보존할지 정하는 일이다.배포 용어 먼저 보기GGUF는 모델 가중치와 메타데이터를 담는 파일 형식이고, Q4_K_M은 그 가중치를 4비트 계열로 압축하는 양자화 방식이다. KV 캐시는 이미 처리한 토큰의 중간 계산을 재사용하는 메모리다. CiG(CUDA in G.. 2026. 7. 29. 이전 1 다음
