AIㆍML / 개발자

테스트 자동화에서 데이터, 분석, 머신러닝을 사용하는 3가지 방법

Isaac Sacolick | InfoWorld 2021.10.20
불과 10년 전만 해도 대부분의 애플리케이션 개발 테스트 전략은 비즈니스 로직을 검증하기 위한 단위 테스트, 사용자 경험을 확인하기 위한 수동 테스트 케이스, 그리고 성능과 확장성을 검사하기 위한 별도의 부하 테스트 스크립트를 중심으로 이뤄졌다. 클라우드 인프라와 마이크로서비스 아키텍처, 지속적 통합 및 지속적 제공(CI/CD) 자동화, 지속적 테스트 기능을 기반으로 하는 지금의 개발 방식에 비하면 기능 개발과 릴리스 속도는 느릴 수밖에 없었다. 
 
ⓒ Getty Images Bank

또한 지금은 많은 애플리케이션이 SaaS로 제공되거나 로우코드 및 노코드 애플리케이션을 구축하는 방법으로 개발된다. 이 경우에도 기반 비즈니스 흐름과 프로세스에 대한 테스트는 필요하다. 

데브옵스 조직의 애자일 개발팀은 기능 개발 주기를 단축하고 제공 빈도를 높이고 고품질 사용자 경험을 보장하는 것을 목표로 한다. 관건은 새로운 테스트 복잡성과 배포 병목, 보안 틈새나 상당한 비용 증가를 수반하지 않으면서 위험성과 시프트 레프트(shift-left) 테스트를 줄이는 방법이다.

코파도(Copado)의 제품군 관리자인 에스코 하눌라는 증가하는 테스트 규모에 대처하기 위한 열쇠는 머신러닝이라면서 “디지털 비즈니스의 품질은 곧 코드와 코드를 실행하는 테스트의 품질이다. 테스트할 코드가 많을수록 머신러닝을 사용한 테스트 자동화의 중요성도 커진다. QA 인력과 기계의 지능이 서로를 지원해 단순한 직감이 아닌 데이터에 근거해 더 현명한 의사 결정을 내릴 수 있다”고 말했다. 

필자는 마이크로서비스를 구축하거나 다수의 서드파티 API와 접속할 때 서비스 가상화를 사용해 더 견고한 웹 서비스 테스트를 개발하는 방법을 소개한 바 있다. 여기서 한 걸음 더 나아가 개발팀과 QA 테스트 자동화 엔지니어가 더 견고한 테스트를 개발하고 지원하기 위해 활용할 수 있는 데이터, 분석, 머신러닝 기반의 테스트 기능을 소개한다.

이와 같은 기능은 새로운 영역이고 테스트 플랫폼에 따라 이미 견실한 기능을 제공하는 경우도 있고 초기 도입 단계에 있는 경우도 있다. 하지만 앞으로 주류 기능이 될 가능성이 높으므로 개발팀에서는 미리 연구하고 계획해야 한다. 
 

자연어 처리를 사용한 테스트 생성 

QA 플랫폼이 웹페이지의 문서 객체 모델(DOM)을 분석하고 컴퓨터 비전을 활용해 사용자 인터페이스 변경을 감지하고 광학 문자 인식을 사용해 텍스트 요소를 추출하는 등 지난 10년 동안 테스트 품질은 크게 개선됐다. 그러나 테스트 개발을 위해서는 QA 플랫폼이 테스트 케이스를 기록하는 동안 테스트 엔지니어가 수동으로 사용자 인터페이스를 일일이 클릭하고 양식에 데이터를 입력하고 워크플로우를 따라 이동해야 하는 경우가 많다. 

자연어 처리(NLP)를 사용해 테스트 케이스를 문서화하는 접근 방법이 새롭게 부상 중이다. 소스 랩스(Sauce Labs)는 최근 사용자가 자연어로 테스트 단계를 기술하면 소프트웨어가 자동으로 테스트 케이스를 생성하는 방식의 툴인 오토놈IQ(AutonomIQ)를 인수했다. 

소스 랩스 CTO 존 켈리는 이 기능이 중요한 이유로 점점 더 많은 조직이 맞춤형 고객 관계 관리, 비즈니스 프로세스 관리 워크플로우, 로우코드 애플리케이션을 개발하고 있다는 점을 들었다. 켈리는 비즈니스 관점에서 이 경험을 설명하면서 “소스 랩스에는 주제 전문가가 자연어로 기술하면 NLP 머신러닝이 이를 원하는 만큼 자주 실행할 수 있는 테스트 케이스로 변환한다. 그러면 외부 감사자들에게 규정 준수를 입증할 수 있다. 즉, 코드 없이 테스트 케이스를 만드는 방법이 비즈니스 프로세스를 문서화하고 검증하는 새로운 방법으로 부상 중”이라고 설명했다.
 

합성 테스트 데이터 생성으로 테스트 확장 

QA 엔지니어가 테스트 케이스를 캡처하면 다음 작업은 기반 비즈니스 규칙과 경계 조건을 검증하기에 충분한 테스트 데이터를 생성하는 것이다. 검색 엔진, 복잡한 다계층 양식, 문서 업로드와 같은 개방형 환경, 그리고 개인 식별 정보를 비롯한 민감한 데이터를 사용한 테스트의 경우 특히 테스트 데이터 생성이 어려울 수 있다. 

큐리오시티 소프트웨어(Curiosity Software), 댓프로프(Datprof), 델픽스(Delphix), 젠로켓(GenRocket), 토라나(Torana, iCEDQ), K2뷰(K2View) 등의 툴은 기능 테스트, API 테스트, 데이터옵스, 데이터 레이크, 비즈니스 인텔리전스를 포함한 다양한 애플리케이션과 데이터 흐름에 대한 테스트 데이터 자동 생성 기능을 제공한다. 
 

지속적 테스트의 최적화 

애자일 개발 팀과 QA 자동화 엔지니어가 테스트 작업을 최적화하도록 돕는 플랫폼도 있다. 

실패 분석은 테스트가 실패할 경우 개발팀이 실패의 근본 원인을 조사하는 데 도움이 된다. 켈리는 이 과제와 관련해 “1,000건의 셀레늄 테스트를 실행해 300건이 실패한다면 팀은 잘못된 API가 원인인지, 다른 문제가 있는지 알 수 없고 테스트 환경이 프로덕션 환경을 완전하게 반영하지 못하므로 문제가 프로덕션에서 발생할 것인지 여부도 알 수 없다. 팀은 테스트 실패의 근본 원인을 알고자 한다. 우리 모델은 실패한 테스트를 그룹화하고 어떤 테스트가 동일한 문제와 관련되는지를 보고한다”고 말했다. 

또 다른 과제는 테스트 모음을 최적화하고 릴리스의 코드 변경을 기반으로 어느 테스트를 실행할지를 결정하는 것이다. 테스트팀은 필수 앱 기능 및 흐름에 대한 회귀 테스트인 “스모크 테스트(Smoke Test)”를 설계할 수 있다. 그러나 지속적 테스트를 구현하는 데브옵스팀이라면 테스트, 코드 변경, 프로덕션 시스템 간에 데이터를 연결하고 머신러닝을 적용해 실행할 테스트를 선택할 수 있다. 빌드 테스트 최적화는 핵심 애플리케이션에 대한 코드를 빈번하게 릴리스하는 개발팀에 반드시 필요한 기능이다. 

이 문제 해결을 위한 솔루션 중 하나는 테스트 케이스를 코드 경로에 매핑하는 종속성 그래프를 생성하는 유어베이스(YourBase)이다. 개발자가 코드를 변경하면 툴이 종속성 그래프를 사용해서 실행해야 하는 테스트 케이스를 최적화한다. 유어베이스의 CEO 이브스 준퀘이라는 “기업에서는 수만, 수십만 개의 테스트를 사용한다. 기업은 코드를 프로덕션에 배포하기까지의 리드 시간을 개선하고 개발자 생산성을 높이기를 원한다. 이런 팀은 변화를 위해 정말 필요한 테스트가 무엇인지를 현명하게 결정하고 테스트 실패의 원인을 더 정확히 파악해야 한다”고 설명했다.  

세 번째 접근 방법은 테스트 환경 외부에서 작동하면서 디바이스 엔지니어와 소프트웨어 개발자가 프로덕션 오류, 예외, 중요한 이벤트를 추적할 수 있게 해준다. 백트레이스(Backtrace)가 이 기능을 제공한다. 개발팀은 백트레이스의 종합적인 오류 보고 및 중복 제거 분석을 사용해서 게임, 모바일 및 기타 임베디드 애플리케이션의 문제를 신속하게 찾아 해결할 수 있다. 

데브옵스 조직에 중요한 것은 주요 애플리케이션의 더 빈번한 릴리스를 추구하기 위해서는 테스트 자동화, 견고성, 인텔리전스를 늘리기 위한 노력도 병행해야 함을 인식하는 것이다. AI옵스 플랫폼은 운영 데이터를 중앙화하고 머신러닝 기능을 활성화해서 IT 서비스 관리 팀이 마이크로서비스와 복잡한 애플리케이션 종속성을 지원하는 데 도움을 준다. QA 플랫폼은 이와 비슷한 방식으로 애자일 개발 팀에 테스트를 개선하기 위한 자동화, 분석, NLP 및 머신러닝 기능을 제공하는 것을 목표로 한다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.