"AI 추론 및 배포 위한 엔드투엔드 경험 제공" 클라우드플레어, 개발자 플랫폼 출시

클라우드플레어가 AI 애플리케이션을 구축하려는 개발자에게 엔드투엔드 경험을 제공하는 개발자 플랫폼을 선보인다고 밝혔다. 이제 개발자는 클라우드플레어의 네트워크에서 풀스택 AI 애플리케이션을 구축할 수 있다고 업체 측은 설명했다.

회사에 따르면 클라우드플레어 개발자 플랫폼을 사용하면 별도의 인프라 관리 없이 빠르고 합리적인 가격에 추론 작업을 할 수 있다. 클라우드플레어 플랫폼은 보안, 규제 준수, 속도를 기본으로 제공해 개발자가 프로덕션 환경에서 사용할 수 있는 애플리케이션을 신속히 배포할 수 있도록 한다는 설명이다.
 

클라우드플레어 개발자 플랫폼은 ▲대규모 서버리스 AI ‘워커스 AI(Workers AI)’ ▲AI 워크플로우 속도를 높이는 벡터 데이터베이스 ‘벡터라이즈(Vectorize)’ ▲AI를 위한 통합 가시성 및 확장성 제공 ‘AI 게이트웨이(AI Gateway)’으로 구성된다. 

클라우드플레어 매튜 프린스 CEO 겸 공동 창업자는 “클라우드플레어는 개발자가 확장 가능한 AI 기반 애플리케이션을 구축하는 데 필요한 모든 인프라를 갖추고 있으며, 사용자에게 근접한 AI 추론을 제공할 수 있다”라며, “워커스 AI는 일반적으로 몇 주에서 몇 달이 걸리는 일을 며칠 만에 효율적이고 경제적으로 프로덕션에 바로 사용할 수 있는 AI 환경을 구축할 수 있도록 지원한다”라고 말했다.

클라우드플레어 워커스AI는 개발자들이 클라우드플레어의 글로벌 네트워크에서 AI 모델을 실행할 수 있는 간단하고 합리적인 가격의 방법을 제공한다. 파트너십을 통해 클라우드플레어의 대규모 글로벌 네트워크에서 작동하는 GPU에 대한 액세스를 제공하고, 사용자와 근접한 곳에서 AI 추론이 이뤄지도록 하여 최종 사용자 경험에서 대기 시간을 줄여준다. 또 데이터 검증시에는 최종 사용자 경험에서 대기 시간을 감소시켜 AI 추론이 사용자에게 근접할 수 있게 보장한다고 업체 측은 전했다.

데이터 검증 위치를 제어하는데 도움이 되는 데이터 로컬라이제이션 제품군과 결합하면, 고객은 워커스 AI를 통해 정부가 AI 사용에 관한 정책을 만들 때 발생할 수 있는 잠재적인 규정 준수 및 규제 요건을 예측할 수 있다. 애플리케이션 개발에 대한 클라우드플레어의 개인정보 보호 우선 접근 방식은 추론에 사용된 데이터가 LLM 학습에 사용되지 않도록 보장함으로써 기업이 고객과의 약속을 지킬 수 있도록 지원한다.

아울러 클라우드플레어는 현재 개발자가 빠르게 작업에 착수할 수 있도록 모델 카탈로그를 지원하며, 여기에는 LLM, 음성 텍스트 변환, 이미지 분류, 감정 분석 등의 사용 사례가 포함돼 있다.

클라우드플레어의 새로운 벡터 데이터베이스 ‘벡터라이즈’는 개발자들이 온전히 클라우드플레어에서 전체 스택 AI 응용 프로그램을 구축할 수 있게 한다. 벡터라이즈는 워커스 AI의 기본 제공 모델을 사용해 임베딩을 생성하는 것부터 이를 벡터라이즈에서 색인화하고, 쿼리로 만들어 소스 데이터를 R2에 저장하기까지 전 과정을 지원한다. 개발자들은 워커스 AI와 벡터라이즈를 사용하면 더 이상 AI와 머신러닝으로 앱의 성능을 강화하기 위해 여러 조각을 붙일 필요 없이 하나의 플랫폼에서 이 모든 작업을 수행할 수 있다.

또 벡터라이즈는 클라우드플레어의 글로벌 네트워크 이점을 활용하여 사용자와 더 근접한 곳에서 벡터 쿼리를 수행하고 대기 시간과 전체 추론 시간을 전반적으로 단축할 수 있다. 벡터라이즈는 보다 광범위한 AI 생태계와 통합되어 개발자가 오픈AI(OpenAI)나 코히어(Cohere)로 생성된 임베딩을 저장할 수 있으므로. 팀은 이미 보유하고 있는 임베딩을 가져와서 AI 앱을 프로덕션으로 확장할 때 벡터라이즈의 이점을 누릴 수 있다.

클라우드플레어는 AI 애플리케이션의 안정성, 관찰 가능성, 확장성을 높이기 위한 AI 게이트웨이를 선보였다. IDC의 최신 전망에 따르면, 올해 AI 지출은 1,540억 달러로 급증하고, 2026년에는 3,000억 달러 이상으로 증가할 것으로 예상된다. 하지만 개발자와 고위 경영진은 AI 인프라 전반에서 비용이 어떻게 지출되고 있는지, 얼마나 많은 쿼리가 어디에서 생성되고 있는지 파악할 방법이 없다.

개발자는 구축 뒤에 숨겨진 인프라나 규모, 비용, 또는 관찰 가능성이 아니라 자신이 구축하는 대상에 집중할 수 있어야 한다. AI 게이트웨이는 개발자에게 요청 수, 사용자 수, 앱 실행 비용, 요청 기간과 같은 AI 트래픽을 이해할 수 있는 통합 가시성 기능을 제공한다. 또한, 개발자는 캐싱 및 속도 제한을 통해 비용을 관리할 수 있다.

캐싱을 이용하면, 반복되는 질문에 대한 답을 캐시로 저장할 수 있어서 값비싼 API를 지속적으로 여러 번 호출할 필요성을 줄일 수 있다. 속도 제한은 악의적인 행위자와 트래픽 폭주를 관리해 성장과 비용을 관리하는데 도움이 되며, 개발자에게 애플리케이션 확장에 대한 제어 능력을 부여한다.
editor@itworld.co.kr