Ollama 로컬 모델 사용후기 — DeepSeek·EXAONE·Qwen 직접 돌려보고 비교

Ollama를 설치하고 각 모델을 직접 써본 느낌을 기록한다.

설치는 간단하다. ollama.com에서 받아서 설치하고, 터미널에서 한 줄이면 모델이 내려온다:

ollama run deepseek-r1:1.5b   # 모델별로 이름만 바꾸면 됨
ollama run exaone3.5
ollama run qwen2.5-coder:7b

클라우드 AI를 두고 굳이 로컬 모델을 돌려본 이유는 두 가지였다. 하나는 인터넷 없이/무료로 어디까지 되는지 궁금해서, 또 하나는 API 비용 없이 마음껏 실험할 수 있는 환경이 필요해서.

---

1. DeepSeek 1.5B

1.5B라 그런지 한글은 아예 못 알아듣고, 한국어 인식이 전혀 안 된다.

한국어로 질문하면 중국어와 영어가 섞인 답이 나오거나, 아예 딴소리를 한다. DeepSeek 자체가 나쁜 게 아니라 1.5B라는 크기의 문제다 — 파라미터가 작은 모델은 영어 이외 언어가 급격히 약해진다. 영어로 물어보면 그럭저럭 대답은 한다. 대신 가볍다 보니 응답 속도 하나는 시원시원하다.

용도: 영어로 간단한 요약/문장 다듬기 정도. 한국어 사용자에게는 비추.

2. EXAONE 3.5

나름 대화는 자연스럽다.

LG AI연구원이 만든 모델이라 그런지 한국어가 확실히 자연스럽다. 위 DeepSeek 1.5B와 비교하면 차이가 확 난다. 한국어로 질문 → 한국어로 어색하지 않은 답변이 돌아오는 것만으로도 로컬 모델치고 대단하다 싶었다.

다만 지식의 폭은 클라우드 모델과 비교하면 안 된다. 최신 정보는 당연히 모르고(학습 시점 이후 정보 없음 + 인터넷 검색 불가), 깊이 있는 기술 질문은 두루뭉술해진다.

용도: 한국어 글쓰기 보조, 아이디어 벽치기 상대. 한국어 로컬 모델 중에선 첫 선택지.

3. qwen2.5-coder:7b

파일 올리는 것 등을 이야기하면 코드로 해결할 수 있는 방법을 알려준다. 공대생 MBTI의 T인 사람 느낌이다.

코딩 특화 모델답게, 일반 질문을 해도 어떻게든 코드로 답하려는 경향이 있다. "파일 정리하고 싶다"고 하면 위로 대신 셸 스크립트가 날아온다. 7B라 위 두 모델보다는 무겁지만 M시리즈 맥에서 충분히 돌아가는 수준이고, 코드 스니펫 품질은 로컬 모델 중 확실히 낫다.

용도: 오프라인 코딩 보조, 보일러플레이트 생성, 간단한 스크립트 작성.

---

세 모델 비교 정리

	DeepSeek 1.5B	EXAONE 3.5	qwen2.5-coder:7b
한국어	❌ 거의 불가	✅ 자연스러움	△ 가능하나 어색
코딩	△	△	✅ 강점
속도	빠름	보통	보통
캐릭터	—	대화 상대	공대생 T

로컬 모델의 현실적인 위치

결론적으로 인터넷 정보나 개인정보(사주) 같은 건 아예 안 된다고 보고, 그냥 이야기할 수 있는 친구 느낌이다. 그래도 QWEN은 코딩이나 좀 더 많이 아는 친구 느낌이다.

몇 가지 덧붙이면:

• 검색이 안 된다는 걸 자꾸 까먹는다. 클라우드 AI에 익숙해져 있으면 "오늘 날씨" 같은 걸 물어보게 되는데, 로컬 모델은 학습 시점의 기억만으로 대답한다. 모르는 걸 모른다고 안 하고 그럴듯하게 지어내는 경우도 잦다.
• 비용 걱정 없는 실험장으로는 최고다. 프롬프트를 100번 던져도 전기값뿐이다. 프롬프트 패턴 실험이나 파이프라인 테스트를 로컬로 돌리고, 실전만 클라우드 API로 보내는 식으로 쓰면 개발 비용이 확 준다.
• 개인정보 걱정이 없는 것도 장점. 데이터가 기기 밖으로 안 나가니, 민감한 내용을 다뤄야 할 때는 로컬 모델이 유일한 선택지가 되기도 한다.

클라우드 모델을 대체하는 물건은 아니고, 용도가 다른 도구다. 나는 지금 "말상대는 EXAONE, 코드는 Qwen, 진짜 작업은 Claude"로 정리됐다.