온디바이스 vs. 클라우드…모두가 주목하는 AI, 처리는 어디서?

클라우드를 채택한 기업 IT 부서에서는 지난 몇 년 사이버 보안과 규정 준수는 물론 클라우드의 경제성에 대한 실망감도 커졌다. 그러나 소수를 제외하고 일반적으로 기업은 별다른 조치를 취하지 않았다. 확장성과 효율성이 너무 매력적이었기 때문이다.
 
2024년과 2025년에는 상황이 바뀔까?
 

인텔과 엔비디아에 이어 애플도 자체 칩에 더 고급 컴퓨팅 기능을 추가하는 방안을 언급하기 시작했다. 새로운 기능의 목적은 온디바이스에서 더 많은 대규모 언어 모델(LLM) 기능을 실현하는 것이지만, 그 정도의 데이터 처리 및 분석이 가능하다면 다른 기업 IT 작업도 대부분 처리할 수 있다.
 
CIO가 클라우드 비용에 이미 실망하고 있는 상황에서(게다가 아마존, 구글, 마이크로소프트는 올해 클라우드 요금을 인상할 것이 분명하다) 고성능화된 CPU가 클라우드에 대해 이른바 '가득찬 물컵을 넘치게 하는 마지막 한 방울'이 될 수 있을까?
 
온프레미스에서 클라우드로 이동하는 기업 데이터의 비율은 원래 매년 점진적으로 증가하는 추세였다. 변곡점은 코로나19로 인해 대부분의 기업이 사무실 및 컴퓨터실 운영을 중단한 2020년 2월경으로, 기업은 급작스럽게 클라우드로 전환해야 했다. 그후 다시 2019년의 온프레미스 수준으로 돌아가기를 원하는 기업은 거의 없었다.
 
언스트 앤 영의 사이버 보안 및 데이터 개인정보 보호 담당 이사 브라이언 레빈은 "기업과 기업의 CISO, CIO는 클라우드가 일부에서 기대했던 만병통치약이 아니라는 사실을 이제 인식하고 있다. 클라우드에는 장단점이 있다. 많은 효율성을 얻을 수 있지만 새로운 보안 문제도 생긴다. 예를 들어 범죄자들이 큰 표적을 노릴 기회를 갖게 된다. 기업 입장에서는 등에 커다란 과녁을 붙이는 것과 같다”라고 말했다.
 
레빈의 핵심은 클라우드로 인해 단일 장애 지점이 생성된다는 것이다. 주요 클라우드 환경 같이 클라우드 보안이 최고 수준이라는 측면에서 보면 클라우드가 유일한 장애 지점이라는 것은 좋은 일이지만, 이 말은 공격자가 일단 침입에 성공하기만 하면 수백, 수천 개의 주요 기업 일급 비밀에 접근할 수 있다는 의미이기도 하다. 매력적인 공격 표적이며, 특히 국가와 관여된 공격자가 관심을 가질 정도의 기밀이라면 공격을 위해 상당한 노력과 투자를 할 가치가 있는 표적이 된다.
 
또 다른 요인은 클라우드 경제성과 관련된다. 초기 클라우드 판매에서 내세운 점은 기업이 데이터 요구사항을 클라우드 공급업체에 넘기고 IT 비용을 다른 곳에 투자할 수 있다는 것이었다.
 
그러나 클라우드 비용은 지속적으로 증가했고 효율성도 현실화되지 않았다. 기업은 일반적으로 다양한 목적에 따라(백업, 재해 복구, 데이터 주권에 관한 지리적 문제 등) 복수의 클라우드 환경을 두고 있으므로 AWS, 구글, 애저와 같은 각 클라우드 유형별로 전문가를 채용해야 한다.
 
대형 클라우드 업체가 제공하는 고급 보안을 구현할 역량이 없는 소규모 기업의 경우 이 같은 절충이 재무적 측면에서 합리적일 수도 있다. 그러나 대기업, 특히 포춘 100대 기업에 속하는 수준이라면 자체적으로 강력한 보안을 구축할 수 있는 경우가 많다.
 
레빈은 "클라우드에 지출하는 금액에 불만을 가진 기업이 많다. 실제로 장기간에 걸쳐 발생하는 비용은 기업이 깜짝 놀랄 정도다. 환경에 많은 전문가가 필요하다 보니 '사공이 너무 많아져서' 서로 무엇을 하는지 모르는 상태에 직면하는 경우도 많다”라고 말했다.
 
이 같은 현상이 발생하는 이유는 기업 IT 부서가 모든 설정과 구성이 IT 부서의 필요에 정확히 부합하는 것을 목표로 한다는 데 있다. 그렇게 해도 클라우드 담당자가 고객을 위해 전체 변경을 수행해서 IT 구현을 망가뜨릴 수 있다. 게다가 많은 경우 클라우드 팀은 설정을 변경하기 전에 기업 고객의 허락을 구하지 않을 뿐만 아니라, 아예 변경을 고객에게 알리지도 않는다.
 
레빈은 "이로 인해 IT 팀이 작업을 수행한 이후 누군가가 그 작업을 되돌리지 않는지 확인하느라 시간을 소비하는 상황이 발생한다. 복잡한 문제다"라며, 환경을 보호하기 위한 노력이 의도치 않게 오히려 보안을 약화시킬 수 있다고 지적했다. 레빈은 "온프레미스, 온디바이스 같이 데이터를 내부로 가져오는 방식을 통해 환경을 축소하면 보호하기가 더 쉬워진다. 나름대로 더 나은 방법을 만들었다고 생각했지만(예를 들어 칩에서 LLM 실행하기) 충분히 고민하지 않은 탓에 사각지대가 발생하는 경우가 종종 있다”라고 말했다.
 
아일랜드에 소재한 윌리엄 프라이(William Fry) 로펌의 기술 법률 및 데이터 보호 담당 변호사 배리 스캐넬은 보안과 규정 준수, 특히 개인정보 보호 및 AI에 관한 EU의 규정과 관련한 애플의 움직임을 주시하고 있다.
 
스캐넬은 "온디바이스 AI 처리는 개인정보 보호 측면에서 클라우드 기반 방식에 비해 상당한 이점을 제공하며 오프라인 기능도 지원한다. 이 접근 방식은 GDPR의 요구사항에 따라 사용자 개인정보 보호를 강화할 뿐만 아니라 데이터 유출 및 무단 액세스로부터 시스템을 보호하기 위해 디바이스 수준에서 엄격한 데이터 보안 프로토콜의 필요성을 강조한다”라고 말했다.
 
물론 스캐넬의 말은 생성형 AI에 대한 애플의 투자에만 국한되지 않는다. 디바이스에서의 모든 데이터 처리도 마찬가지다. 데이터가 디바이스, 또는 적어도 기업 환경을 벗어나지 않는다면 훨씬 더 작은 공격 표적이 된다. 더 좋은 점은 기업 IT 부서가 이 환경을 통제한다는 것이다. (이렇게 해서 안전해질 수도 있고 그렇지 않을 수도 있지만, IT 부서가 규정 준수 위반의 책임을 진다는 것은 클라우드 측 담당자의 잘못으로 인한 문제는 피할 수 있다는 뜻이다.)
 
또 다른 관점은 히든레이어(HiddenLayer)의 최고 보안 및 신뢰 책임자 말콤 하킨스가 가장 적절히 설명했다. 하킨스는 사이버 보안과 규정 준수가 중요한 고려 사항이기는 하지만 의사 결정의 바탕에는 예산 문제가 있다고 강조했다.
 
하킨스는 "최종적으로는 항상 경제성이 승리한다고 확신한다. 온디바이스 방식이 경제적으로 더 효율적이고 효과적임이 판명된다면 그 방식대로 가고, 그렇지 않다면 클라우드로 갈 것이다. 또한 처리 위치만 생각하지 말고 그 이상으로 시야를 넓혀야 한다. 로컬에서 처리한다면 더 큰 범위의 AI 발전과 데이터 흐름이 주는 혜택을 어떻게 얻을 수 있을까? 일부 항목의 경우 데이터가 로컬에서 처리된다 해도 그 데이터를 다른 정보와 함께 공유/활용함으로써 얻는 가치(경제성)를 감안할 때, 많은 정보가 여전히 클라우드를 향하게 될 것"이라고 말했다.
 
관건은 기업 IT 부서가 클라우드에서 이것저것을 빼서 내부로 다시 가져올 것인지가 아니다. IT 부서는 항상 그렇게 할 수 있는 역량이 있었음에도(팬데믹 기간을 제외하고) 대부분 하지 않았다. 필자는 앞으로도 마찬가지일 것이라고 생각한다. 다만 클라우드로 전송되는 새로운 데이터의 양이 조금 줄어들 가능성은 분명히 있다.
 
현재 대부분의 기업은 새 데이터의 95% 이상을 클라우드로 보내는데, 이 수치가 75% 또는 80%로 낮아질 수 있다.
 
앞으로 구현될 새로운 칩 역량이 변화를 가져올까? 핵심 질문은 바로 이것이다.
editor@itworld.co.kr