콜리브리(Colibrì)란? 744B GLM-5.2를 25GB 노트북에서 돌리는 오픈소스 엔진 완전 정리 (2026)

744B 파라미터 AI를 25GB 램 노트북에서 돌린다.

처음 들으면 과장처럼 들립니다. 실제로 Threads에서도 이 문장 하나로 퍼졌고, GitHub에는 2026년 7월 22일 기준 약 1.76만 스타가 붙어 있습니다. 프로젝트 이름은 콜리브리(Colibrì). 이탈리아어로 벌새입니다.

결론부터 말하면, 이 문장은 반은 진짜고 반은 오해의 여지가 있습니다. 진짜인 부분은 "돌아간다"는 사실이고, 오해가 생기는 부분은 "쓸 만하다"는 암시입니다.

 

콜리브리가 한 일, 정확히 말하면

콜리브리는 모델이 아닙니다. 엔진입니다.

돌리는 대상은 Z.ai(Zhipu)의 GLM-5.2입니다. 744B MoE 오픈웨이트 모델이고, 토큰 하나를 만들 때 실제로 켜지는 파라미터는 대략 40B입니다. 콜리브리는 이 "다 안 켠다"는 성질을 끝까지 밀어붙인 런타임이에요.

기존 로컬 AI 흐름은 대개 이랬습니다. 큰 모델을 줄이거나 양자화해서 메모리에 욱여넣자. 콜리브리는 반대로 갑니다. 모델 크기는 거의 그대로 두고, 메모리를 쓰는 방식만 바꿉니다.

공식 저장소 기준으로 구조는 단순합니다.

• 밀집 레이어(attention, shared experts, embeddings 등)는 int4로 램에 상주 → 약 9.9GB
• 라우팅 전문가 19,456개는 디스크에 둠 → 약 370GB
• 라우터가 고른 전문가만 그때그때 읽어옴
• 자주 쓰인 전문가는 캐시에 고정되어, 쓸수록 빨라짐

도서관 전체를 책상에 올리는 대신, 필요한 책만 서가에서 가져오는 식입니다. 엔진은 pure C 중심이고 런타임에 Python/BLAS가 필요 없습니다. GPU도 필수가 아닙니다.

 

왜 25GB로 가능한가

MoE 모델은 원래 "전체가 항상 깨어 있지 않다"는 전제를 갖고 있습니다. 콜리브리는 그 전제를 하드웨어 배치로 번역했을 뿐입니다.

중요한 설계 원칙이 하나 있습니다. 공식 README 표현을 빌리면, 배치가 바꾸는 건 속도뿐이어야 합니다. 전문가가 VRAM에 있든 디스크에 있든, 라우터 결정과 가중치 정밀도는 같아야 한다는 뜻입니다. 느리게 돌리더라도 "다른 모델"이 되면 안 되니까.

그래서 이 프로젝트가 화제가 된 겁니다. 7B를 더 작게 만든 데모가 아니라, 700B급을 개인 머신으로 끌어내린 데모니까요.

 

속도 문제를 피하면 안 된다

여기서 분위기가 갈립니다.

개발자가 공개한 25GB 개발 머신 기준 cold 속도는 0.05~0.1 tok/s입니다. 문장 하나 받는 데 몇 분 걸릴 수 있는 속도입니다. 채팅 UX로 보면 사실상 실패입니다.

같은 엔진이라도 하드웨어가 바뀌면 숫자는 크게 달라집니다.

• 25GB 랩탑 cold: 0.05~0.1 tok/s
• 128GB CPU warm: 약 1.8 tok/s
• 6× RTX 5090 full residency: 5.8~6.8 tok/s

즉 콜리브리는 "느린 노트북에서도 돌아간다"는 증명이지, "느린 노트북에서도 쾌적하다"는 제품이 아닙니다. 커뮤니티 반응도 대체로 그 줄입니다. 해커 정신에는 감탄, 실사용 채팅에는 회의.

디스크도 문제입니다. 모델 컨테이너만 대략 370GB입니다. 느린 외장/네트워크 드라이브는 사실상 비추고, 로컬 NVMe가 전제에 가깝습니다. 오래 돌리면 SSD 읽기 발열도 따라옵니다.

 

그럼 어디에 쓸모 있나

저는 이렇게 나눕니다.

해볼 만할 때

• 회사 문서를 API로 못 보내는 상황에서 로컬에서 밤새 돌릴 때
• GLM-5.2 품질을 직접 확인하고 싶을 때
• MoE 스트리밍 캐시 히트율, 하드웨어 병목을 재고 싶을 때

기대하면 실망할 때

• ChatGPT/Claude 대체 실시간 대화
• 저장공간 빠듯한 노트북에서 "로컬 AI 비서" 설치
• 설치 직후 빠른 응답을 원하는 경우

실사용 팁도 거창하지 않습니다. 모델은 로컬 NVMe에 두고, 사변 디코딩(MTP)은 int8 헤드 버전을 써야 합니다. int4 MTP 헤드는 draft 수락률이 사실상 0%로 무너진다는 게 공식 이슈로 정리되어 있습니다.

 

한 줄로 남기면

콜리브리는 "못 넘을 줄 알았던 선"을 넘긴 프로젝트입니다. 그 선은 700B급 오픈 모델을 개인 하드웨어에서 돌릴 수 있는가였고, 답은 "가능하다. 다만 지금은 매우 느리다"입니다.

속도 문제가 남았다는 건 역으로, 다음 싸움터가 분명해졌다는 뜻이기도 합니다. 캐시, 프리패치, SSD, NUMA, GPU residency. 경계선이 열린 이상 남은 건 최적화입니다.

지금 당장 메인 챗봇을 바꿀 필요는 없습니다. 다만 "로컬에서는 작은 모델만 된다"는 상식이 흔들린 시점은 맞습니다.

 

참고

• GitHub JustVugg/colibri (2026.7.22 확인, 약 17,560 스타)
• 공식 benchmarks 문서
• GLM-5.2 colibrì int4 컨테이너
• Threads 원글 (takepage_)

작성: 2026년 7월 22일. 스타 수와 벤치 수치는 공식 저장소 기준으로 변동될 수 있습니다.