전체 설문조사 응답자의 51%는 AI 도구가 인터넷 보안을 개선할 수 있을지 모르겠다고 말했고, 63%는 챗GPT 정보를 불신한다고 밝혔다. 또 52%는 관련 규제가 마련될 때까지 챗GPT 개발을 일시 중단해야 했다고 답했다. 챗GPT 및 기타 AI 도구가 인터넷 보안을 개선할 것이라는 응답은 7%에 불과했다.
지난 3월 기술 업계의 여러 저명인사가 모여 “독립적인 외부 전문가가 엄격하게 감사하고 감독하는 고급 AI 설계 및 개발을 위한 일련의 공유된 안전 프로토콜을 공동으로 구축할” 시간을 확보하기 위해 최소 6개월 동안 GPT-4보다 더 강력한 AI 시스템 개발을 즉각 중단할 것을 촉구하는 서한에 서명했다. 이 서한은 또한 “인간과 경쟁할 수 있는” 지능을 갖춘 AI 시스템이 초래할 “심각한 위험”을 언급했다.
기업에서 사용하는 대규모 언어 모델(LLM) 애플리케이션에 영향을 미치는 것으로 알려진 취약점과 마찬가지로, 기업의 생성형 AI 사용을 둘러싼 잠재적인 보안 위험도 잘 알려져 있다. 악의적인 행위자는 생성형 AI/LLM을 사용해 공격을 강화할 수 있다. 하지만 반대로 사이버 보안을 강화하기 위해 이 기술을 사용하기도 한다. (사이버 보안) 제품을 더 스마트하고, 빠르며, 간결하게 하려고 하면서 사이버 보안 시장에서 생성형 AI/LLM으로 강화된 보안 위협 탐지 및 대응이 널리 유행하고 있다.
“챗GPT와 생성형 AI, 정확하지 않거나 신뢰할 수 없다”
맬웨어바이츠의 설문조사 결과 전체 응답자의 12%만이 챗GPT가 생성한 정보는 정확하다고 동의한 반면, 과반수 이상(55%)은 동의하지 않았다. 챗GPT가 생성한 정보를 신뢰한다고 밝힌 응답자도 10%에 그쳤다.생성형 AI 플랫폼에서 생성되는 데이터와 관련해 가장 큰 우려 사항은, 머신러닝 모델이 거짓을 생성하는 ‘환각’의 위험이다. 특히 위협 탐지 및 대응 의사결정을 내릴 때 AI가 제공하는 콘텐츠를 활용하는 기업이라면 심각한 문제가 될 수 있다.
옴디아(Omdia)의 사이버 보안 부문 수석 애널리스트 락 터너는 “LLM은 무언가를 꾸며내는 것으로 악명 높다. (LLM이) 헛소리를 했을 때 애널리스트가 이를 쉽게 식별할 수 있다면, 헛소리를 꾸짖고 알고리즘을 더 학습시킬 수 있다. 하지만 환각이 매우 그럴듯하고 실제처럼 보인다면 어떨까? 다시 말해, 잠재적으로 심각한 결과를 초래할 수 있는 LLM을 신뢰할 수 있을까?”라고 말했다.
editor@itworld.co.kr