ChatGPT 대신 로컬 LLM으로 비용 절감

안녕하세요, 리키입니다. 요즘 인공지능(AI) 관련해서 정말 많은 이야기가 나오죠. 저는 최근에 제가 사용하던 서비스들을 점검하다가, 유료 구독에 의존하기보다는 제 노트북에서 직접 돌아가는 로컬 대규모 언어 모델(LLM)을 사용하기로 결정했습니다. 비용 문제도 있고, 앞으로 구독료가 오를까 걱정되기도 했죠. 그래서 직접 환경을 구축하고 실제로 작동하는 시스템을 만들어보려고 했습니다.

이런 로컬 추론(local inference)에 집중하게 되면서, 단순히 채팅만 하는 것이 아니라 실제로 제가 원하는 환경을 구축하는 것이 중요하다고 느꼈습니다. 비싼 하드웨어를 당장 사지 않아도, 제 노트북에서 충분히 AI를 구동시킬 수 있다는 점이 가장 큰 매력이더군요. 직접 시스템을 구축하고 제어한다는 느낌이 참 좋았습니다.

제가 실제로 사용해 본 도구들을 보면, 이 로컬 환경을 구축하는 데 있어서 두 가지 도구가 핵심이었습니다. 하나는 모델을 직접 찾아보고 대화하는 데 좋은 'LM 스튜디오(LM Studio)'이고, 다른 하나는 다른 외부 서비스와 연결하는 백그라운드 인프라를 담당하는 '올라마(Ollama)'입니다. LM 스튜디오는 모델을 다운로드하고 채팅을 시작하는 데 아주 편리한 데 반해, 올라마는 다른 프로그램들과 연동하는 데 훨씬 유리하다는 점을 알게 되었습니다.

특히 LM 스튜디오를 사용하면 모델을 비교하거나 다운로드할 때 파라미터 수나 양자화(quantization) 같은 설정을 보면서 어떤 모델이 적합한지 쉽게 판단할 수 있었습니다. 그리고 덕덕고(DuckDuckGo)나 위키피디아 같은 플러그인 기능도 있어서, 로컬 모델이 최신 정보에 뒤떨어지지 않도록 실시간 검색 결과를 반영할 수 있다는 점도 실용적이더군요.

결론적으로, 로컬 LLM을 시작하는 것은 생각보다 어렵지 않았습니다. 단순히 모델을 구동하는 것을 넘어, 사용자가 직접 환경을 설정하고 필요한 도구들을 조합해서 원하는 대로 AI를 활용하는 시스템을 만드는 것이 중요하다고 저는 생각합니다. 여러분도 직접 시도해 보시고 좋은 경험 하시길 바랍니다.

---

참고 원문: https://www.makeuseof.com/stopped-paying-for-chatgpt-and-switched-to-local-llm-that-runs-on-my-laptop/