서울시, 자체 LLM 구축 완료…생성형 AI 기반 '챗봇 2.0' 가동

안녕하세요, 리키입니다. 오늘은 서울시가 자체적으로 인공지능, 즉 생성형 AI를 행정 서비스에 어떻게 적용하고 있는지에 대해 이야기해 보려고 합니다.

서울시는 공무원들의 업무 지원부터 시민들의 상담까지 생성형 AI를 기반으로 통합한 '챗봇 2.0' 운영을 시작하며, 행정 전반을 AI 기반으로 바꾸는 '서울형 AI 행정 모델'을 구축하고 있습니다. 이 시스템은 단순히 질문에 답하는 수준을 넘어, 실제 업무를 지원하는 단계로 나아가고 있는 것이더군요.

이 챗봇 2.0은 서울시 행정망 내부에 자체적으로 구축한 대규모언어모델(LLM)을 기반으로 직원들을 위한 AI 행정 지원 서비스와, 시민들을 위한 '서울톡'이라는 생성형 AI 서비스로 구성되어 있습니다. 보안이 중요한 행정 환경을 고려해서, 서울시는 자체 LLM과 외부 상용 AI 서비스를 함께 쓰는 '이원화 운영체계'를 구축했습니다. 보안이 필요한 업무는 내부 시스템에서 운영되는 자체 LLM이 담당하고, 정보 검색이나 아이디어 도출 같은 일반적인 업무는 외부 AI 서비스를 활용하는 방식입니다.

특히, 행정 업무의 정확성을 높이기 위해 270종에 달하는 행정 업무매뉴얼을 기반으로 검색증강생성(RAG) 체계를 구축했습니다. 덕분에 자연어 질문을 했을 때 근거가 되는 답변과 출처를 함께 제공받을 수 있습니다. 또한, 부서별 업무 자료를 연계해서 맞춤형으로 검색하는 'My 챗봇' 기능이나, 보도자료 등을 자동으로 작성해 주는 'AI 템플릿' 기능도 제공하고 있습니다.

시민들을 위한 '서울톡'도 생성형 AI를 적용하여 더욱 고도화되었는데요. 단순히 정해진 시나리오대로만 응답하는 것이 아니라, 'AI에게 물어보기' 기능을 통해 서울시 누리집뿐만 아니라 외부 웹 검색까지 연계하여 최신 정보를 종합해 안내해 줍니다. 앞으로는 이러한 챗봇 2.0을 기반으로 AI 에이전트를 시범 적용하여, 필요한 정보를 스스로 조회하고 문서 작성 같은 반복 업무를 AI가 대신 수행하는 단계로 나아갈 계획입니다.

---

---

참고 원문: https://www.etnews.com/20260511000270