Mixture-of-Agents(MoA) 해설: 같은 모델도 층층이 쌓으면 GPT-4o를 넘는 이유 (arXiv 2406.04692)

질문 하나를 GPT에 던지면 답이 하나 나온다. 그런데 답이 애매할 때, 우리는 보통 다른 모델에도 물어보고 비교한다. 여기서 한 걸음 더 나가면 이런 질문이 된다. "여러 모델의 답을 고르지 말고 합치면 더 좋아지지 않을까?"

2024년 Together AI·Duke·Stanford 팀의 Mixture-of-Agents(MoA)가 정확히 이 아이디어다. 그리고 놀랍게도, 오픈소스 모델만 합쳤는데 GPT-4o를 이겼다. 이 글은 "왜 합치면 좋아지는가"의 메커니즘까지 파고든다.

원문: arXiv:2406.04692

 

출발점: LLM의 "협력성"이라는 발견

논문의 핵심 관찰은 하나의 실험에서 나온다. 모델 A에게 그냥 답을 시키면 승률이 X다. 그런데 다른 모델들의 답을 같이 보여준 뒤 다시 답하게 하면 승률이 오른다. 여기서 중요한 반전이 있다.

같이 보여준 다른 답들이 A보다 못한 답이어도, A의 최종 답은 좋아진다.

이걸 논문은 "협력성(collaborativeness)"이라고 부른다. 사람으로 치면, 후배들의 어설픈 초안이라도 옆에 펼쳐 놓고 보면 내가 놓친 관점·빠뜨린 사실이 눈에 들어와서 내 글이 나아지는 것과 같다. MoA는 이 현상을 시스템으로 만든 것이다.

 

구조: 3층 릴레이

MoA는 l개의 층(layer)을 쌓고, 각 층에 n개의 모델을 둔다. 기본 설정은 3층 × 6모델이다.

1. 1층: 6개 모델이 같은 질문에 각자 답을 쓴다. (병렬)
2. 2층: 6개 모델이 "1층의 6개 답 + 원래 질문"을 보고 각자 다시 쓴다.
3. 3층(마지막): 집계 모델 1개가 최종본을 만든다.

각 층이 앞 층의 결과를 재료로 삼아 다듬는 릴레이 구조다. 논문이 쓴 6개 오픈 모델은 Qwen1.5-110B/72B, WizardLM-8x22B, LLaMA-3-70B, Mixtral-8x22B, dbrx이고, 최종 집계자는 Qwen1.5-110B다.

집계 프롬프트의 핵심 지시는 이렇다. "여러 모델의 답을 줄 테니, 베끼지 말고, 틀린 정보는 걸러내고, 편향을 비판적으로 검토해 하나의 더 정확한 답으로 합성하라." 즉 붙여넣기가 아니라 재합성이다.

 

역할이 다르다: 제안자 vs 집계자

여기가 실무적으로 가장 중요한 부분이다. 논문은 모델별로 두 역할의 적합도가 다르다는 걸 표로 보여준다.

모델	집계자로 쓸 때	제안자로 쓸 때
Qwen1.5-110B	61.3%	56.7%
LLaMA-3-70B	45.0%	60.6%
WizardLM-8x22B	52.9%	63.8%

읽는 법: WizardLM은 제안자로는 최고(63.8%)인데 집계자로는 평범(52.9%)하다. 반대로 Qwen1.5-110B는 집계에 강하다. 즉 "제일 센 모델을 모든 자리에 넣기"는 틀린 전략이다. 초안을 잘 뿜는 모델과 정리를 잘하는 모델은 다르다.

 

숫자: 오픈소스가 GPT-4o를 넘은 지점

AlpacaEval 2.0 (길이 보정 승률)

• MoA (오픈소스만): 65.1%
• MoA w/ GPT-4o 집계: 65.7%
• MoA-Lite (2층, 저가): 59.3%
• GPT-4 Omni: 57.5%
• GPT-4 Turbo: 55.0%

MoA-Lite는 층을 2개로 줄이고 집계자를 Qwen1.5-72B로 낮춘 버전이다. 그런데도 GPT-4o보다 비용은 비슷하거나 싸면서 품질은 1.8%p 높았다. 이게 "합치기"의 가성비다.

 

왜 작동하나: 랭킹이 아니라 합성이라서

"그냥 6개 답 중 제일 좋은 걸 고르는 것 아니냐"는 반론이 자연스럽다. 논문은 이걸 직접 반박한다. 집계 모델이 답을 고르게만 하는 "LLM 랭커"와 비교했더니, MoA(합성)가 랭커(선택)를 뚜렷하게 이겼다.

추가로, 최종 답과 각 제안 답의 문장 유사도(BLEU)를 재보니, 좋은 평가를 받은 제안일수록 최종 답과 더 닮아 있었다. 집계자가 아무거나 섞는 게 아니라, 좋은 재료를 골라 실제로 녹여낸다는 증거다.

 

워크드 예시: 제안자 수의 효과

제안자 수 n을 늘리면 어떻게 될까(2층, 집계자 Qwen1.5-110B).

제안자 수	서로 다른 모델	같은 모델 복제
n=1	47.8%	47.8%
n=2	58.8%	54.5%
n=3	58.0%	56.1%
n=6	61.3%	56.7%

두 가지가 보인다. (1) 제안자를 늘릴수록 오른다. (2) 같은 모델을 여러 번 복제하는 것보다, 서로 다른 모델을 섞는 게 항상 낫다. 다양성이 곧 성능이다. 온도만 바꿔 같은 모델을 6번 돌리는 것보다, 성향이 다른 6개를 섞어라.

 

내일 당장 쓸 인사이트

1. 중요한 글/설계 초안은 성향 다른 모델 3개에 같은 프롬프트로 뽑고, 마지막에 1회 "비판적으로 통합" 집계를 돌려라.
2. 집계 프롬프트에 반드시: "베끼지 말 것 / 틀린 정보 걸러낼 것 / 빠진 관점 보완할 것".
3. 집계자는 "정리를 잘하는 모델"로, 제안자는 "관점이 다양한 모델"로. 같은 모델일 필요 없다.
4. 비용이 부담이면 층을 3→2로. 논문도 첫 집계의 이득이 가장 크다고 본다.
5. 실시간 채팅에는 쓰지 마라. 마지막 층까지 기다려야 해서 첫 응답이 늦다.

 

한계

• 지연(TTFT): 마지막 층 전까지 첫 토큰이 안 나온다. 논문도 최대 한계로 인정. 층 축소로 완화.
• 호출 수·토큰이 단일 모델보다 많다. 배치·초안·리서치 요약에 적합, 실시간 대화엔 부적합.
• 벤치가 사람 선호(AlpacaEval, MT-Bench, FLASK) 중심. 코딩 에이전트·정밀 정확도 작업엔 별도 검증 필요.
• 집계자가 약하면 "길고 뭉툭한 답"으로 뭉개질 수 있다.

 

시리즈에서의 위치

MoA는 "여러 답의 품질을 합치는" 가장 기초적인 레고다. 도구도, 위임도 없다. 이후 논문들은 여기에 도구·환경(AOrchestra), 역할별 용량 배분(Think Big Search Small), 자동 라우팅(MasRouter)을 얹는다. 다음 글(AOrchestra)은 "답 합치기"에서 "일 시키기"로 넘어간다.

 

참고: arXiv:2406.04692 · Together MoA GitHub · 관련: 하네스 효과