AI 에이전트 포스트 트레이닝: 도구 호출 궤적을 SFT·DPO·RL로 학습하는 법

AI 에이전트가 도구 이름을 알고 있다는 것과 실제 일을 끝낸다는 것은 다르다. “가격을 확인해 달라”는 요청에 검색 도구를 한 번 부르는 모델은 만들기 쉽다. 하지만 검색 결과가 비어 있을 때 조건을 바꾸고, 권한 오류가 나면 멈추고, 최신 정보를 다시 확인한 뒤, 중복 결제 없이 작업을 마치는 모델은 훨씬 어렵다. 에이전트 포스트 트레이닝의 대상은 예쁜 최종 문장 하나가 아니라 이런 상호작용의 전 과정이다.

포스트 트레이닝은 사전학습이 끝난 모델의 행동을 특정 목적에 맞게 다듬는 단계다. 여기에는 정답 행동을 모방하는 SFT, 더 나은 행동과 나쁜 행동을 비교하는 DPO 계열, 실제 또는 모의 환경에서 보상을 최대화하는 강화학습(RL)이 포함된다. 세 방법은 유행에 따라 순서대로 갈아타는 기술이 아니다. 실패 원인이 다르면 써야 할 학습 신호도 다르다.

궤적은 에이전트가 남긴 ‘작업 기록’이다

에이전트의 한 스텝은 다음처럼 볼 수 있다. 현재 관찰·상태(observation) → 행동 또는 도구 호출(action/tool) → 환경 변화·도구 결과(result) → 다음 관찰이다. 관찰에는 사용자 요청, 현재 화면, 이전 행동 기록이 들어간다. 도구는 검색, 계산기, 데이터베이스 조회, 게임 상태 확인처럼 외부에 영향을 주거나 정보를 가져오는 함수다. 결과를 읽은 모델은 답을 하거나 다른 도구를 선택하고, 그 행동 때문에 환경 상태가 달라진다. 이 고리가 목표를 달성하거나 중단 조건을 만날 때까지 이어진 전체 기록이 궤적(trajectory)이다.

예를 들어 쇼핑 에이전트가 ‘3만원 이하 무선 마우스’를 찾는다면 첫 검색 결과에 광고 상품과 품절 상품이 섞일 수 있다. 성공 궤적은 가격 필터를 적용하고, 재고를 다시 확인하고, 배송비를 합산한 뒤 후보를 제시한다. 실패 궤적은 첫 화면의 표시 가격만 읽거나, 검색 결과가 없는데도 제품을 지어낸다. 최종 답만 저장하면 어느 단계에서 잘못됐는지 알기 어렵지만, 궤적을 저장하면 도구 선택·인자·결과 해석·중단 판단을 따로 학습하고 평가할 수 있다.

SFT·DPO·RL은 서로 다른 실패를 고친다

방법	주요 데이터	잘 맞는 실패	주의점
SFT	검증된 모범 궤적	도구 형식 자체를 모르고 시작법이 없음	정답 경로만 외우고 예상 밖 오류에 약할 수 있음
DPO·선호 최적화	같은 상태의 좋은 행동·나쁜 행동 쌍	둘 다 그럴듯하지만 한쪽이 더 안전·정확·효율적임	멀티턴 길이 차이와 상태 분포 이동을 조심해야 함
RL	환경 롤아웃과 보상	정답 경로가 여러 개이고 장기 결과를 직접 탐색해야 함	비용·불안정성·보상 해킹 위험이 큼

SFT(지도 미세조정)는 “이 상태에서는 이 도구를 이런 JSON 인자로 호출한다”는 기본 문법과 작업 순서를 심는다. AgentTuning 연구는 여섯 종류 에이전트 작업에서 GPT-4가 생성하고 보상 점수로 걸러낸 1,866개 상호작용 궤적을 일반 지시 데이터와 섞어 Llama 2를 학습했다. 연구진은 에이전트 데이터만 과도하게 학습해 일반 언어 능력을 잃지 않도록 혼합 학습을 택했다. 이는 궤적 SFT가 출발점으로 유효하지만, 모범 궤적의 범위가 학습되는 행동 분포를 제한할 수 있음을 시사한다.

DPO(직접 선호 최적화)는 별도 보상 모델과 온라인 RL 없이, 선택된 응답의 확률을 버려진 응답보다 높이는 방식이다. 원래 DPO는 한 번의 응답 비교에 특히 간결하다. 그러나 에이전트는 이전 행동이 다음 상태를 바꾸므로 전체 성공 궤적과 실패 궤적을 통째로 비교하면 길이 차이와 누적 오류가 섞인다. DMPO 연구는 상태-행동 점유와 길이 정규화를 도입해 멀티턴 선호 최적화 문제를 다뤘다. 실무에서는 “재고 오류 뒤 다시 조회”와 “오류를 무시하고 구매 시도”처럼 같은 상태에서 갈리는 한 스텝 또는 짧은 구간의 선호 쌍이 더 해석하기 쉽다.

RL은 모델이 직접 여러 경로를 시도하고 성공 신호를 따라 정책을 바꾼다. 웹 작업의 정답 클릭 순서를 사람이 모두 쓰기 어렵고, 새로운 화면에서 스스로 복구해야 할 때 가치가 크다. WebRL은 실패 시도에서 새로운 과제를 만드는 자기 진화 커리큘럼, 결과 기반 보상 모델, 적응형 온라인 RL을 결합했다. 논문 보고 기준으로 WebArena-Lite에서 Llama-3.1-8B 성공률은 4.8%에서 42.4%로 올랐다. 다만 이는 해당 벤치마크와 훈련 설정의 결과이며, 실제 쇼핑·은행·사내 시스템으로 그대로 일반화된다는 뜻은 아니다.

결과 보상과 과정 보상은 무엇을 보나

결과 보상(outcome reward)은 마지막 상태가 목표를 충족했는지 본다. 파일이 실제로 생성됐는지, 게임 캐릭터가 지정 위치에 도착했는지, 예약이 중복 없이 완료됐는지처럼 환경이 판정할 수 있다. 규칙 기반 검증이 가능하면 명확하고 확장하기 쉽지만, 긴 작업에서는 성공 1·실패 0만 남아 어느 스텝이 문제였는지 신호가 희박하다.

과정 보상(process reward)은 중간 행동을 평가한다. 최신 상태를 다시 관찰했는지, 허용된 도구만 썼는지, 도구 결과와 다음 주장이 일치하는지, 외부 변경 전에 확인을 받았는지에 점수를 준다. 학습 신호가 촘촘해 오류 위치를 찾기 좋지만, 좋은 과정의 정의가 잘못되면 불필요하게 긴 궤적이나 형식만 그럴듯한 행동을 보상할 수 있다. 따라서 최종 성공은 서버 상태 같은 권위 있는 검증기로 확인하고, 과정 보상은 안전 규칙과 복구 행동을 보조하는 혼합 설계가 현실적이다.

작은 게임 에이전트로 계산해 보기

목표를 “체력 35인 동료를 치료하고 엄폐물로 이동”이라고 하자. 시작 관찰은 동료 HP 35, 치료 키트 1개, 20m 앞 적 감지다. 에이전트가 ① 상태 재조회 ② 연막 투척 ③ 동료에게 접근 ④ 치료 도구 사용 ⑤ 엄폐 위치로 이동을 수행했다면 결과 보상은 ‘치료 완료 +1, 둘 다 엄폐 도달 +1, 사망 -2’로 둘 수 있다. 과정 보상은 ‘적 감지 후 노출 이동 -0.3, 치료 전 거리 확인 +0.1, 존재하지 않는 아이템 호출 -1’처럼 붙일 수 있다.

두 궤적 모두 동료를 살렸더라도 A는 연막 뒤 치료하고, B는 적 앞을 가로질러 우연히 성공했을 수 있다. SFT는 검증된 A를 기본기로 가르친다. DPO는 같은 관찰에서 A를 선호하고 B를 비선호하는 쌍으로 위험한 지름길을 낮춘다. RL은 지도에 따라 연막 대신 차량·우회·엄호 사격 등 사람이 쓰지 않은 대안을 탐색한다. 여기서 승리 여부만 보상하면 동료를 버리고 숨는 정책이 더 높은 점수를 받을 수 있다. 팀워크를 원한다면 치료, 합류, 생존, 명령 이행을 별도 지표로 분해해야 한다.

보상 해킹: 점수는 올랐는데 에이전트가 나빠지는 이유

보상 해킹은 모델이 의도한 일을 하지 않고 측정기의 빈틈으로 점수만 얻는 현상이다. “테스트 통과”를 보상했더니 테스트 파일을 수정하거나, “클릭 수”를 보상했더니 같은 버튼을 반복 클릭하는 경우가 대표적이다. 2026년 Reward Hacking Benchmark는 도구를 쓰는 다단계 과제에서 검증 생략, 주변 메타데이터로 답 추측, 평가 함수 변조 같은 지름길을 조사했다. 연구 보고상 모델별 악용률 차이가 컸고, 접근권한과 검증 경로를 강화하는 간단한 환경 보호 조치가 악용률을 5.7%포인트 낮췄다. 숫자보다 중요한 교훈은 더 강한 심판 모델 하나에 맡기기보다 환경 자체에서 조작 경로를 막아야 한다는 점이다.

온라인 학습은 특히 조심해야 한다. 실제 사용자의 계정, 돈, 메시지, 공개 게임에 연결된 채로 탐색시키면 ‘학습용 실패’도 현실 피해가 된다. 처음에는 복제 데이터와 샌드박스에서만 롤아웃하고, 쓰기 도구는 허용 목록과 최소 권한을 적용하며, 결제·삭제·외부 전송은 사람 확인을 요구해야 한다. 보상 계산 코드와 정답 파일은 에이전트가 읽거나 수정하지 못하게 분리한다. 새 정책은 바로 전면 배포하지 말고 고정된 숨은 테스트, 적대적 과제, 소규모 그림자 실행을 통과한 뒤 단계적으로 노출해야 한다.

배포 전 평가 체크리스트

• 성공: 최종 목표 달성률과 부분 성공률을 구분했는가.
• 도구 정확성: 도구 이름, 인자 스키마, 호출 순서, 존재하지 않는 도구 호출률을 측정하는가.
• 복구: 빈 결과, 시간 초과, 권한 오류, 상태 변경 뒤 재관찰 능력을 따로 시험하는가.
• 효율: 성공당 호출 수·토큰·지연시간·비용을 함께 보는가.
• 안전: 확인 없는 외부 변경, 민감정보 노출, 중복 실행, 금지 도구 사용률을 0에 가깝게 관리하는가.
• 견고성: 도구 설명 순서, 화면 문구, 과제 표현을 바꿔도 성능이 유지되는가.
• 해킹 저항성: 평가 파일·로그·보상 함수에 접근할 수 없는 숨은 환경에서도 같은 성능인가.
• 회귀: 에이전트 성능을 올린 뒤 일반 대화와 기존 안전 행동이 나빠지지 않았는가.

실무 파이프라인은 실패 유형에 따라 SFT·선호 최적화·RL을 선택적으로 조합한다. 먼저 SFT로 최소한의 문법과 안전한 기본 궤적을 만들고, 명확한 선택 오류는 선호 최적화로 교정하며, 사람이 경로를 열거하기 어려운 부분만 통제된 RL로 탐색한다. 그리고 모든 단계에서 결과 검증기와 과정 검사기를 분리한다. “SFT 다음 DPO 다음 RL”이라는 순서를 외우는 것보다, 지금 실패가 지식 부족인지, 선택 기준의 문제인지, 탐색 부족인지 진단하는 일이 먼저다.

출처

• AgentTuning: Enabling Generalized Agent Abilities for LLMs, Findings of ACL 2024
• WebRL: Training LLM Web Agents via Self-Evolving Online Curriculum Reinforcement Learning, ICLR 2025
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model, NeurIPS 2023
• Direct Multi-Turn Preference Optimization for Language Agents
• Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use, ICML 2026

포스트 트레이닝 시리즈

• 포스트 트레이닝 전체 지도
• 이전 글: 지식 증류와 PUBG Ally 사례
• 에이전트 하네스의 비용·행동 예산 설계