AI 보안 보고서 작성 환각 위험 시스코 실험

안녕하세요, 리키입니다. 오늘은 시스코가 인공지능, 즉 LLM을 활용해서 보안 사고 보고서를 작성하는 실험을 해봤는데, 시간은 줄었지만 위험 요소는 여전히 남아있다는 이야기를 들려드리려고 합니다.

최근 시스코는 AI를 이용해 보안 사고 대응 훈련 보고서를 작성하는 실험을 진행했습니다. 이 실험을 통해 LLM이 긴 기술 문서를 생성할 때 심각한 부정확성이나 일관성 없는 문체를 보인다는 점이 드러났더군요. 특히 데이터 유출 사고 보고서 같은 민감한 문서에서 이러한 오류가 발생할 수 있다는 점이 주목할 만합니다.

LLM이 오류를 일으키는 방식은 크게 네 가지로 나타났습니다. 첫째는 같은 질문에도 매번 다른 데이터를 사용해서 결과를 기대하기 어렵다는 점이고요. 둘째는 같은 데이터에서 서로 다른 결론을 내놓는 경우입니다. 예를 들어, 한 사고에 대해 전사 비밀번호 초기화를 권고했다가 다른 사고에서는 대상 한정 초기화를 권고하는 식이죠. 셋째는 문서의 구조와 형식이 실행할 때마다 달라진다는 점, 그리고 마지막으로 핵심 데이터가 누락되어 중요한 정보가 빠질 수 있다는 점입니다.

시스코는 이러한 문제들을 줄이기 위해 LLM에게 보고서의 특정 소규모 부분만 다루도록 지시하는 '단일 작업 지시' 방식을 개발했습니다. 또한 사용할 출처를 지정하고 문체와 형식 규칙을 명확히 정해주면 환각 현상과 내용 오류를 크게 줄일 수 있다고 설명했습니다. 이 방법을 활용해서 시스코는 보안 훈련 기반 사고 보고서 초안 작성 시간을 무려 50%나 줄이는 데 성공했더군요.

실제로 이 기법을 적용했을 때, 동료 검토자나 편집자들은 AI가 작성한 보고서의 사실 관계에 대해 긍정적으로 평가했습니다. 오탈자나 문법 오류도 평균 보고서보다 훨씬 적었다는 평가도 나왔습니다. 하지만 한 가지 주의할 점이 있습니다. 여러 보고서를 편집할 때 앞선 내용이 다음 보고서에 섞여 들어가는 오류가 발생할 수 있으니, 보고서마다 새로운 세션을 시작하고 프롬프트를 다시 입력하라고 권고했습니다.

시스코는 맞춤법 검사용 프롬프트도 개발했지만, 존재하지 않는 문법 오류를 만들어내거나 실제 오류를 잡아내지 못하는 경우가 많아 실무 사용에는 아직 부적합하다는 입장입니다. 결국 최종 보고서의 모든 문장에 대해 작성자가 책임을 져야 하며, 수동 검수 없이 작성하면 중복되거나 실행 불가능한 권고가 포함될 수 있다는 점을 강조하고 있습니다.

---

---

참고 원문: https://www.digitaltoday.co.kr/news/articleView.html?idxno=668768