구독료 0원, 인터넷 끊겨도 OK! 내 노트북에 '나만의 AI(Ollama)' 심는 법

더 이상 내 코드가 유출될까 걱정하지 마세요. Ollama와 Llama 4를 활용해 클라우드 비용 없이 무제한으로 사용하는 '로컬 LLM' 구축 가이드입니다. (Mac/Windows 완벽 지원)

안녕하세요, 노마드랩입니다.

지난 포스팅에서 AI 개발을 위한 노트북 사양(NPU, RAM)에 대해 다뤘습니다. 오늘은 그 강력한 장비를 100% 활용할 시간입니다. 바로 Local LLM(로컬 설치형 AI) 구축입니다.

GPT-5.1이나 Gemini 3는 훌륭하지만, 치명적인 단점이 있습니다.

• 💸 비용: 매달 구독료를 내거나 API 비용이 발생합니다.
• 📡 인터넷 필수: 와이파이가 없는 비행기나 카페에서는 무용지물입니다.
• 🔒 보안: 회사의 민감한 데이터나 개인적인 일기를 올리기 찜찜합니다.

이 모든 문제를 해결하는 도구, Ollama(올라마)를 소개합니다. 개발 지식이 없어도 터미널 명령어 한 줄이면 여러분의 노트북이 슈퍼컴퓨터가 됩니다.

 

내 컴퓨터가 곧 서버가 됩니다. 데이터는 밖으로 나가지 않습니다.

1. 왜 'Ollama'인가요?

과거에는 로컬 AI를 돌리려면 Python 환경 설정, PyTorch 설치, 드라이버 세팅 등 복잡한 과정이 필요했습니다. Ollama는 이 과정을 버튼 하나로 압축했습니다.

마치 게임을 설치하듯 AI 모델을 다운로드하고 실행할 수 있게 해주는 'AI 모델 런처'라고 생각하시면 됩니다. 맥(Mac), 윈도우(Windows), 리눅스(Linux)를 모두 지원하며, 가장 가볍고 빠릅니다.

2. 3분 만에 설치하고 실행하기 (실전)

백문이 불여일타. 직접 설치해 봅시다.

STEP 1. Ollama 다운로드

공식 홈페이지(ollama.com)에 접속해서 [Download] 버튼을 누르고 설치 파일을 실행해 주세요. (설치 과정은 카카오톡 설치만큼 쉽습니다.)

STEP 2. 터미널에서 모델 실행

설치가 끝났다면 터미널(Mac)이나 명령 프롬프트/PowerShell(Windows)를 열고 아래 명령어를 입력해 보세요. 2025년 현재 가장 핫한 오픈소스 모델인 Llama 4 (8B)를 실행해 보겠습니다.

ollama run llama4

엔터를 치면 자동으로 모델 파일(약 5GB)을 다운로드하고, 다운로드가 끝나면 바로 대화창이 열립니다.

>>> 안녕! 넌 누구니?
안녕하세요! 저는 Meta에서 개발한 Llama 4 모델입니다. 로컬 환경에서 실행되고 있어요. 무엇을 도와드릴까요?

믿기지 않겠지만, 이게 끝입니다. 이제 인터넷 랜선을 뽑아도 AI는 정상 작동합니다.

검은 화면이 낯설 수 있지만, 명령어 한 줄이면 충분합니다.

3. 챗GPT처럼 예쁘게 쓰기: Open WebUI

"검은색 터미널 화면은 너무 불편해요!" 하시는 분들을 위해, ChatGPT와 똑같은 화면을 만들어주는 도구가 있습니다. 바로 Open WebUI입니다.

Docker가 설치되어 있다면, 아래 명령어 한 줄로 내 컴퓨터에 '나만의 ChatGPT 사이트'를 띄울 수 있습니다.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

이제 인터넷 브라우저 주소창에 localhost:3000을 입력해 보세요. 회원가입 창이 나오지만, 이는 내 컴퓨터 내부의 계정이므로 아무거나 입력하면 됩니다. 로그인하면 ChatGPT 부럽지 않은 인터페이스가 여러분을 반깁니다.

• ✅ 문서 업로드: PDF나 TXT 파일을 올려서 요약시킬 수 있습니다. (보안 걱정 NO)
• ✅ 이미지 생성: Stable Diffusion과 연동하면 그림도 그려줍니다.
• ✅ 모델 교체: Llama 4, Gemma 2, Mistral 등 원하는 두뇌를 맘대로 바꿔 낄 수 있습니다.

마치며: 데이터 주권을 되찾으세요

물론 성능 자체는 수천억 원짜리 서버에서 돌아가는 GPT-5.1이 더 좋을 수 있습니다. 하지만 "내 통제하에 있는 AI"가 주는 안정감은 대체 불가능합니다.

개발 중인 1급 기밀 코드, 나만의 은밀한 일기, 고객의 개인정보 데이터. 이제 빅테크 기업의 서버로 보내지 말고, 여러분의 노트북 안에서 안전하게 처리하세요. 이것이 진정한 'Nomad Lab'의 정신 아닐까요?

---

* 본 튜토리얼은 Ollama 최신 버전(2025.11)을 기준으로 작성되었습니다.