🧪 Ollama로 EXAONE Deep 실행하는 방법 (로컬에서 쉽게 사용하기!)

 

 

Ollama는 로컬에서 LLM 모델을 간편하게 실행할 수 있도록 도와주는 도구입니다. Mac, Windows, Linux 모두 지원되며, EXAONE Deep 모델도 Ollama에서 바로 실행 가능합니다.

✅ 준비 사항

• 💻 Windows / macOS / Linux 환경
• 💾 최소 8GB RAM (권장: GPU 또는 16GB 이상)
• 🌐 인터넷 연결 (모델 다운로드를 위해)

---

반응형

1️⃣ Ollama 설치하기

Ollama는 아래 링크에서 운영체제에 맞는 설치 파일을 다운로드할 수 있습니다.

• 🔗 Ollama 다운로드 페이지

설치 후 터미널(또는 명령 프롬프트)에서 아래 명령어로 설치 확인을 할 수 있어요:

ollama --version

---

2️⃣ EXAONE Deep 모델 실행하기

Ollama는 EXAONE Deep 7.8B 모델을 Q4_K_M 형식으로 지원하고 있습니다. 아래 명령어를 입력하면 모델이 자동 다운로드되어 실행됩니다.

ollama run exaone-deep:7.8b

처음 실행 시에는 모델을 Hugging Face에서 다운로드하며, 이후에는 캐시에 저장되어 빠르게 실행됩니다.

---

3️⃣ 대화 시작하기

모델이 실행되면 터미널에서 다음과 같이 대화형 인터페이스가 열립니다. 수학이나 논리 문제를 아래처럼 입력해보세요:

Let $x + y = 5$ and $xy = 6$. Find $x^2 + y^2$.
Please reason step by step and put your final answer within \boxed{}.

이렇게 수학 문제나 코딩 문제를 입력하면 EXAONE Deep이 추론을 거쳐 정답을 도출합니다.

---

🛠️ 옵션 커스터마이징 (Modelfile 사용)

Ollama는 GGUF 모델도 커스터마이징해서 실행할 수 있습니다. 직접 GGUF 파일을 다운로드 후 아래와 같은 Modelfile을 만들어 실행 가능합니다.

FROM ./EXAONE-Deep-7.8B-BF16.gguf

PARAMETER stop "[|endofturn|]"
PARAMETER repeat_penalty 1.0
PARAMETER num_ctx 32768
PARAMETER temperature 0.6
PARAMETER top_p 0.95

TEMPLATE """{{- range $i, $_ := .Messages }}
{{ if eq .Role "user" }}[|user|]{{ .Content }}
{{ else if eq .Role "assistant" }}[|assistant|]{{ .Content }}[|endofturn|]
{{ end }}
{{- end }}[|assistant|]
"""

SYSTEM """ """

LICENSE """EXAONE AI Model License Agreement 1.1 - NC """

그리고 아래 명령어로 모델을 등록한 뒤 사용할 수 있습니다:

ollama create exaone-custom -f Modelfile
ollama run exaone-custom

---

📌 실행 시 팁

• 터미널이 아닌 API로 활용하고 싶다면 ollama serve로 서버를 띄울 수 있어요.
• 복잡한 문제를 넣을 땐 꼭 <thought> 태그와 "step by step" 프롬프트를 넣어주세요.
• 모델은 처음 로딩에 시간이 조금 걸릴 수 있습니다. 캐시된 이후엔 훨씬 빠릅니다!

---

🙋 자주 묻는 질문 (FAQ)

Q1. Ollama는 무료인가요?

네, 완전히 무료이며 로컬에서 작동하므로 API 요금도 들지 않습니다.

Q2. Ollama에서 다른 EXAONE 버전도 쓸 수 있나요?

현재는 7.8B 버전이 공개되어 있지만, 향후 2.4B 및 32B 모델도 GGUF 포맷으로 직접 세팅하면 사용할 수 있습니다.

Q3. 왜 EXAONE Deep을 Ollama에서 사용하나요?

간편한 실행, GPU 활용 가능, 모델 다운로드 자동화 등으로 테스트나 데모에 최적입니다.

---

🧾 마무리 정리

• 🔧 설치는 1분이면 끝!
• ⚡ 명령어 한 줄로 EXAONE Deep 실행 가능
• 📚 수학·코딩 문제에 최적화된 성능 체험 가능

이제 여러분의 컴퓨터에서 EXAONE Deep을 직접 실행해보세요! 🚀