반응형

안녕하세요, 리키입니다. 오늘은 제가 AI 에이전트 관련해서 집 PC를 노트북에서 부르는, 즉 원격으로 모델을 구동하는 경험에 대해 이야기해 보려고 합니다.

요즘 AI 에이전트를 직접 만들어보는 모임들이 활발한데, 참여 조건에 보통 고성능 GPU가 장착된 노트북이 필요하더군요. 제 노트북은 CPU 내장 GPU만 있어서, 모임에 참여하려면 별도로 장비를 구매해야 한다는 이야기가 있었습니다. 그래서 저는 다른 방법을 찾기 시작했습니다.

그 과정에서 LM Link라는 기능을 알게 되었는데, 이건 내 PC들 사이에 안전하고 암호화된 연결을 만들어 두 기기가 인터넷 어디에 있든 서로 직접 연결되게 해주는 일종의 사적인 터널 같은 것이었습니다. 이 기능을 활용해서 노트북의 자원을 집의 데스크톱 PC에서 빌려 쓰는 방식이었죠.

실제로 이 기능을 사용해서 노트북에서 모델을 구동해 보았는데요. 저는 노트북과 데스크톱을 연결하고 모델을 로드하는 과정을 지켜보았습니다. 처음에는 노트북이 화면만 보여주는 역할이고, 실제 추론 작업은 데스크톱에서 이루어지는구나 하고 느꼈습니다. GPU 사용률과 온도를 지켜보면서, 노트북 팬은 거의 돌지 않았는데 데스크톱의 메모리 사용량이 꽉 차는 것을 확인했더군요.

가장 흥미로웠던 부분은 모델 본인이 스스로를 설명하는 방식이었습니다. 제가 다운로드한 모델이 자신에 대해 모호하게 답하는 것을 보면서, 제가 알고 있던 하드웨어 사양과 실제 모델의 정보가 어떻게 다른지 깨닫게 되었습니다. 결국 모델을 운영하는 쪽이 모델의 신원을 가장 정확하게 안다는 것을 직접 경험하는 시간이었습니다.


참고 원문: https://brunch.co.kr/@1c55848a242d490/4

반응형

+ Recent posts