LM Studio 대체 오픈소스 중 최종 선택은

안녕하세요, 리키입니다. 오늘은 제가 로컬에서 대규모 언어 모델(LLM)을 돌리는 데 사용했던 LM 스튜디오(LM Studio)의 대안들을 직접 사용해 본 경험을 이야기해 드리려고 합니다.

LM 스튜디오는 컴퓨터에서 언어 모델을 실행하기에 아주 인기 있는 프로그램이죠. 저도 이 모델들을 직접 돌려보면서 다른 대안들을 시도해 보았습니다. 저는 세 가지 오픈소스 대안들을 시험해 봤는데, 각각의 장단점이 뚜렷해서 어떤 것을 선택할지는 사용 목적에 따라 달라진다고 느꼈습니다.

먼저, LM 스튜디오와 가장 직접적인 대체재를 찾는다면 저는 'Jan.ai'를 추천하고 싶습니다. 이 프로그램은 제대로 된 데스크톱 애플리케이션처럼 느껴지더군요. 설치하자마자 기본 모델을 자동으로 다운로드해서 바로 채팅을 시작할 수 있었습니다. 제 맥북 에어(MacBook Air) M2에 8GB 램만 있어도 모델을 구동할 수 있었고, ChatGPT나 클로드(Claude)처럼 편하게 대화할 수 있었습니다. 다만, 애플 실리콘(Apple Silicon)에 최적화된 모델(MLX 모델)을 구동할 때는 조금 까다로웠고, 원하는 대로 작동하지 않을 때는 이전 버전으로 낮춰야 하는 경우도 있었습니다.

다음으로 'Ollama'는 AI 앱이라기보다는 인프라에 더 가까운 느낌이었습니다. Ollama는 AI 모델을 구동하기 위한 기반 환경을 제공하는 데 중점을 두고 있습니다. 앱 자체는 채팅 인터페이스가 있지만, 실제로 모델을 실행하는 기능은 제한적이더군요. 저처럼 로컬 LLM을 돌리는 데 있어서 더 깊은 제어가 필요하다면, Ollama 자체의 명령줄 인터페이스(Terminal)를 사용하는 것이 훨씬 더 유용하다고 생각합니다.

결론적으로, 여러분이 간단하게 로컬 챗봇을 설정하고 싶다면 'Jan.ai'가 좋은 선택이 될 수 있습니다. 하지만 만약 서버 환경을 구축하거나 더 깊은 기술적인 제어를 원한다면 'Ollama'와 같은 인프라 도구를 고려해 보시는 것이 좋겠습니다. 저는 이 세 가지를 경험하면서, 어떤 도구를 선택하느냐에 따라 로컬 AI 환경을 구축하는 방식이 완전히 달라진다는 것을 알게 되었습니다.

---

참고 원문: https://www.howtogeek.com/open-source-alternatives-to-lm-studio/