"생성형 AI 시대를 대비하라" 변화를 도울 데브섹옵스 주요 기술 4가지

클라우드 컴퓨팅이 엔터프라이즈용으로 사용할 수준이 되고 지속적 통합 및 지속적 제공, 코드형 인프라, 쿠버네티스와 같은 도구가 주류로 부상하자 기술(dev)과 운영(ops)에서 명확한 패러다임 변화가 일어났다. 개발과 운영을 구분하는 작업이 데브옵스의 책임 영역이 됐고 협업 팀이 수동으로 했던 인프라 구성, 컴퓨팅 환경 확장, 애플리케이션 배포는 자동화 및 오케스트레이션된 워크플로우로 바뀌었다.
 
전문가들은 생성형 AI 기능, 코파일럿 및 대규모 언어 모델(LLM)이 개발자와 데이터 과학자, 엔지니어가 일하고 혁신하는 방법에 있어 새로운 시대를 열어준다고 생각한다. AI가 생산성과 품질, 혁신을 개선할 것이라는 기대와 별개로, 데브섹옵스 팀은 새로운 데이터, 보안 및 기타 운영 위험을 파악하고 관리해야 한다. 
 

더 중요한 점은 CIO와 데브섹옵스, 정보 보안, 데이터 과학 팀이 생성형 AI 기능을 사용해서 기업을 지원하고 보호하는 데 중요한 역할을 하게 된다는 것이다.
 

IT 리더는 AI 책임의 전환을 이끌어야 한다

CIO와 IT 리더는 이 패러다임 변화와 생성형 AI가 디지털 트랜스포메이션 우선 순위에 미치는 영향에 대비하여 팀과 직원들을 준비시켜야 한다. SAP의 개발 및 고객 성공 학습 부문 부사장 니콜 헬머는 교육의 우선 순위를 높여야 한다면서 “기업은 개발자를 위한 교육을 중시해야 한다. 적응력을 높이기 위해서는 개발자가 AI 기술을 배우고 탐색하고 경험할 수 있는 공간을 만드는 것이 중요하다”라고 말했다
 
더 많은 IT 자동화가 상품화되면서 이 전환은 심층적, 전술적으로 진행되고 그에 따라 IT의 책임 영역도 더 많은 혁신과 아키텍처, 보안으로 전환되고 있다.
 
TCS의 최고 기술 책임자 해릭 빈 박사는 “생성형 AI의 관점에서 데브옵스 팀은 인프라 프로비저닝과 구성, 저수준 모니터링 구성과 지표 추적, 테스트 자동화를 위한 기본적인 스크립팅 기술의 우선 순위를 낮춰야 한다. 그 대신 비판적 사고와 설계, 전략적 목표 설정, 창의적인 문제 해결 기술을 필요로 하는 제품 요구사항 분석, 채택 기준 정의, 소프트웨어 및 아키텍처 설계에 더 초점을 맞춰야 한다”라고 말했다.
 
생성형 AI 시대를 맞아 개발해야 할 데브섹옵스, 데이터 과학 및 기타 IT 기술을 4가지 꼽는다면 다음과 같다.
 

1. 프롬프트로 AI에 묻되, 응답을 조사하고 검증할 것

프롬프트는 챗GPT, 코파일럿 및 기타 LLM을 포함한 생성형 AI 도구를 다룰 때 기본적인 요소다. 그러나 그보다 더 중요한 기술은 결과를 평가하고 환각을 인식하고 생성형 AI가 추천하는 내용을 독립적으로 검증하는 것이다.
 
코파도(Copado)의 수석 부사장 겸 에반젤리스트 데이비드 브룩스는 “개발자, 테스터, 비즈니스 분석가는 프롬프트를 작성하는 방법을 배우고, 생성형 AI가 잘 하는 부분과 그렇지 못한 부분을 파악해야 한다. 생성된 콘텐츠를 모두 실제로 읽어보고 합리적인지 판단하는 '신뢰하되 검증하는' 사고방식을 채택해야 한다”라고 말했다.
 
런치다클리(LaunchDarkly)의 개발자 관계 부문 이사 코디 드 아클랜드는 프롬프트 및 검증 기술을 LLM 실험에 적용해야 한다면서 “개발자는 특히 가설을 중심으로 적절한 대상을 염두에 두고 프롬프트를 구성하면 새로운 실험 변형을 빠르게 생성함으로써 제품 실험을 개선하는 데 LLM을 활용할 수 있다. LLM이 제공하는 답변에서 빈틈을 포착해서 내용의 90%를 취하고 마지막 10%에서 빈틈을 메우는 방법을 배우면 훨씬 더 효과적인 데브옵스 실무자가 될 수 있다”라고 말했다.
 
데브섹옵스 엔지니어에게 필자가 권장하는 것은 해결 접근 방식의 변경이다. LLM 이전의 엔지니어는 솔루션을 조사, 검증, 구현, 테스트했다. 지금의 엔지니어는 프로세스를 시작할 때 프롬프트를 삽입하되, 실험하는 과정에서 나머지 단계를 놓치면 안 된다.
 

2. 데이터 엔지니어링으로 LLM 개선

톨라 캐피털(Tola Capital)의 파트너 악샤이 부샨에게 중요한 생성형 AI 기술이 무엇이냐고 묻자 부샨은 “데이터 엔지니어링이 가장 중요한 기술이 되고 있다. 모델에 데이터를 공급하기 위한 파이프라인을 구축할 사람이 필요하기 때문”이라고 답했다.
 
LLM이 등장하기 전에는 많은 기업이 견고한 데이터 파이프라인 구축, 데이터 품질 개선, 시민 데이터 과학 역량 육성, 정형 데이터에 대한 선제적 데이터 거버넌스 확립에 집중했다. LLM은 더 넓은 맥락을 학습하고 구현하기 위해 텍스트, 문서, 멀티미디어를 포함한 더 넓은 범위의 비정형 데이터가 필요하다. 기업의 데이터 과학자와 데이터 거버넌스 전문가는 비정형 데이터 파이프라인을 지원하고 LLM 임베딩을 개발하기 위한 새로운 도구를 배워야 한다. 또한 데브섹옵스 엔지니어에게는 애플리케이션을 통합하고 기반 인프라를 자동화하기 위한 기회가 있을 것이다.
 
액셀데이터(Acceldata)의 공동 설립자이자 CEO 로히트 쵸다리는 “생성형 AI 모델은 학습과 평가를 위해 데이터에 크게 의존하므로 데이터를 정제, 전처리하고 머신 러닝에 적합한 형식으로 변환하기 위한 데이터 파이프라인 오케스트레이션 기술이 필수적이다. 데이터 분포를 이해하고 패턴을 식별하고 모델 성능을 분석하기 위한 시각화 기술도 중요하다”라고 말했다.
 
모든 기술자는 앞으로 새로운 데이터 엔지니어링 기술을 배우고, 증가하는 비즈니스 요구에 적용해야 한다.
 

3. 코파일럿에서 모델옵스에 이르기까지 AI 스택 배우기

기술 플랫폼 업체는 IDE, IT 서비스 관리 플랫폼 및 기타 애자일 개발 도구에 생성형 AI 기능을 도입하고 있다. 개발자의 프롬프트를 기반으로 코드를 생성하는 코파일럿은 개발자에게 유망한 기회가 되지만 통합, 성능, 보안 및 법적 고려 사항을 반영한 결과 평가가 필요하다.
 
프라이온(Pryon)의 설립자 겸 CEO 이고르 자블로코프는 “AI는 새로운 효율성의 시대를 열었지만 코파일럿과 같은 도구가 생성하는 방대한 양의 코드가 항상 정확한 것은 아니다. 데브옵스 스택 및 사이버 보안 업계 모두 저작권 문제와 결함이 유입되지 않도록 생성형 코드를 찾아내는 역량을 길러야 한다”라고 말했다.
 
상당한 지적 재산을 보유한 기업은 이 데이터를 대상으로 자연어 쿼리를 프롬프팅하고 사용하기 위한 임베딩을 만들고 개인화된 LLM을 개발할 수 있다. 예를 들어 금융 정보 검색, 의료 환자 데이터에 대한 LLM 개발 또는 새로운 교육용 학습 도구 구축 등이 포함된다. LLM 개발에 기여하고자 하는 개발자와 데이터 과학자는 여러가지 새로운 기술을 배워야 한다.
 
릴레이셔널AI(RelationalAI)의 연구 머신 러닝 담당 부사장 니콜라오스 바실로글로우는 “현대의 데브옵스 엔지니어는 벡터 데이터베이스와 허깅 페이스(Hugging Face), 라마(Llama), 랭체인(LangChain)과 같은 오픈소스 스택을 배워야 한다. 1,000억 개의 매개변수가 있는 거대한 언어 모델을 사용하는 것이 인기지만, 더 작은 크기의 모델 수백 개를 미세 조정하고 구성하는 방법이 효과적이라는 증거가 충분히 나와 있다. 이러한 모델의 수명 주기를 관리하는 것 역시 간단하지 않은 일”이라고 말했다.
 
마지막으로 개념 증명을 개발하고 실험하는 것도 중요하지만 목표는 프로덕션에서 사용 가능한 생성형 AI 역량을 제공하고 그 결과를 모니터링하고 지속적으로 개선하는 것이 되어야 한다. ML옵스와 모델옵스 분야는 머신 러닝에서 생성형 AI로 확장되며, 개발 및 지원 수명 주기 전체를 지원하기 위해 필요하다.
 
도미노(Domino)의 데이터 과학 전략 및 에반젤리즘 책임자 젤 칼슨은 “생성형 AI 모델과 그 파이프라인을 실용화하는 역량은 생성형 AI에서 효과를 얻기 위해 넘어야 할 가장 큰 장벽이므로 AI에서 가장 가치 있는 기술로 급부상하고 있다”라고 말했다.
 

4. 보안의 시프트 레프트와 테스트 자동화

전문가는 모두 생성형 AI의 응답을 조사, 검증, 테스트하는 것이 중요하다고 말하지만, 많은 IT 기업은 갈수록 늘어나는 과제에 대처하기 위한 보안 및 QA 테스트 자동화 인력, 기술, 도구 부족 문제를 겪고 있다. 개발자와 운영 엔지니어, 데이터 과학자는 이러한 보안 및 테스트 자동화 기술에 투자해서 공백을 줄여야 한다.
 
세마포어 CI/CD(Semaphore CI/CD)의 공동 설립자 마르코 아나스타소프는 “AI를 사용하면 보안, QA 및 관찰가능성을 개발 수명 주기의 왼쪽으로 옮겨 더 빠르게 문제를 발견하고 더 고품질의 코드를 제공하고 개발자에게 신속한 피드백을 제공할 수 있다. AI 및 자동화가 처리하는 작업의 범위가 확대되면서 수동 테스트, 사일로화된 보안과 같은 레거시 기술의 중요성은 낮아질 것”이라고 말했다.
 
IT 부서는 워크플로우에 생성형 AI 기능을 집어넣거나 AI가 생성한 코드를 활용하거나 LLM 개발을 실험할 때 항상 지속적인 테스트 및 보안 규칙을 적용해야 한다.
 
소나타입(Sonatype)의 제품 혁신 담당 부사장 스티븐 매길은 “데브옵스 팀은 생성형 AI와 데브옵스 간의 간극을 잇는 기술에 우선 순위를 둬야 한다. 예를 들어 AI 기반 위협 탐지를 마스터하고 자동화된 CI/CD 파이프라인의 보안을 보장하고 AI 기반 버그 수정을 이해해야 한다. 코드가 어떻게 구축되었는지에 대한 인사이트 부족, 또는 너무 많은 코드를 생산하는 데 따른 무분별한 코드 확산 등 팀의 가장 큰 고충점에 투자하는 것도 중요하지만, 수동 및 사후 대응 작업을 간과해서는 안 된다”라고 말했다.
 
그러나 IT 부서에서 생성형 AI를 사용하는 방법의 보안과 테스트에만 집중하는 것으로는 충분하지 않다. 다른 많은 부서와 직원도 이미 챗GPT를 비롯한 생성형 AI 도구를 실험적으로 사용하고 있기 때문이다.
 
라케라(Lakera)의 CEO이자 공동 설립자 데이비드 하버는 데브옵스 팀이 AI 보안을 이해해야 한다면서 “프롬프트 주입이나 학습 데이터 오염과 같은 일반적인 취약점을 완화하는 기술을 개발하고 LLM 중심의 레드팀 훈련을 수행해야 한다. 데브옵스 팀은 새로운 위협을 신속하게 감지하고 회사 전체의 문제로 발전하기 전에 대응하기 위해 지속적인 모니터링 및 사고 대응 메커니즘을 구현해야 한다”라고 말했다.
 
생성형 AI가 세상을 바꾸게 될까, 아니면 위험과 규제로 인해 혁신이 늦춰질까? 중요한 기술 발전에는 항상 새로운 기술적 기회와 과제, 위험이 수반된다. 도구를 익히고 테스트 기반 접근 방식을 적용하는 것은 기술자가 생성형 AI에 적응하기 위해 중요한 부분이다. 또한 여러 회사 부서가 AI가 구현된 기능을 사용할 방법을 모색하는 만큼 보안 책임도 커지고 있다.
editor@itworld.co.kr