
지금의 소프트웨어 개발은 전에 비해 더 쉽기도 하고 더 복잡하기도 하다. 새로운 소프트웨어 대부분은 브라우저로 전달된다. 서로 멀리 떨어진 개발자로 이뤄진 팀이 정교한 중앙 코드 저장소를 사용해 대용량의 코드베이스를 관리한다. 이들은 이슈 추적 및 커뮤니케이션 툴을 사용해 협업하며 전용 툴로 지속적 통합과 지속적 배포를 구현한다. SaaS 제공 모델을 활용해 팀이 원할 때마다 새로운 기능을 즉각 릴리스한다.
이런 방식에는 많은 소프트웨어 툴이 필요하다. 좋은 의자와 와이드스크린 모니터가 개발 파이프라인을 개선하는 데 (툴보다) 더 효과적이라고 주장하는 이도 있지만, 일단 여기서는 논외로 한다. 현대 소프트웨어 개발에 필요한 소프트웨어 툴은 무엇일까? 최소한 다음과 같은 5가지 툴이 필요하다.
통합 개발 환경
코드를 쓰는 일이 갈수록 어려워지므로 개발자에겐 상황 변화에 보조를 맞추기 위한 툴이 필요하다. 좋은 IDE는 코드 편집, 구문 하이라이팅, 코드 완성, 소스 제어 관리, 컴파일, 디버깅 등을 지원한다. 또한 누구나 편집기의 기능을 강화할 수 있는 일종의 확장 API도 제공한다.매우 이례적인 요구사항이 있는 경우가 아니라면 비주얼 스튜디오 코드를 권장한다. 단순해서 가장 인기 있고 강력하며 개방적이고 강력한 IDE이기 때문이다. 비주얼 스튜디오 코드는 마이크로소프트가 만들고 유지하는 오픈소스다. 매우 폭넓게 사용되고, 거의 모든 프로그래밍 언어를 처리할 수 있으며 수많은 유용한 확장 기능이 있다. 비주얼 스튜디오 코드는 2,000만 명 이상이 사용하는 단연 선택 1순위 툴이다. 특히 깃허브의 AI 기반 코딩 비서인 코파일릿(Copilot)을 추가하는 기능이 매력적이다.
커뮤니케이션 툴
코로나바이러스로 개발팀의 협업 방식도 바뀌었다. 모든 개발 팀원이 갑자기 재택근무를 하면서 물리적으로 모이지 못할 때 소통할 방법이 필요하게 됐다. 가장 많은 이들이 선택한 방법은 슬랙(Slack)과 줌(Zoom)의 조합이고 지금도 마찬가지다.슬랙은 많이 사용되는 만큼 다양한 용도로 사용할 수 있는 플러그인과 통합 라이브러리가 풍부하다. 줌은 화상 회의의 사실상의 표준이라 해도 과언이 아니다. 슬랙과 줌을 쉽게 통합할 수 있는데 그 결과는 상상 이상이다. 이 조합을 추천하는 이유는 둘 다 광범위하게 사용되므로 개발팀뿐만 아니라 기업 전체에 걸쳐 다른 직원과 고객, 업체와 커뮤니케이션하기가 용이하기 때문이다. 마이크로소프트 팀즈(Teams)도 이에 못지않게 좋은 선택이다. 팀즈는 하나의 앱에서 채팅과 화상 회의를 모두 지원한다는 것이 장점이다.
소스 버전 제어
한때 머큐리얼(Mercurial)이 급부상했지만 소스 제어 툴 분야의 확고한 승자는 깃(Git)이다. 깃을 사용하지 않으면 뒤처진 개발자가 된다고 해도 과언이 아니다. 깃은 분산 버전 제어 시스템이지만 이를 제대로 사용하려면 중앙 저장소가 필요하다. 이 영역에서 확고부동한 리더는 깃허브(GitHub)다. 필자는 보편성과 코드 저장소 이상의 풍부한 기능 때문에 깃허브를 선택했다. 깃허브는 오픈소스 프로젝트 호스트 분야에서도 압도적인 선두다. 모든 기업이 어떤 형식으로든 깃허브를 사용한다고 봐도 무방하다.깃허브의 부가 기능으로는 이슈 추적, 코드 리뷰, 빌드 및 배포 프로세스로 연결되는 후크 등이 있다. 깃허브는 코드스페이스(Codespaces)라는 제품으로 비주얼 스튜디오 코드 기반의 브라우저 IDE 분야도 선도하고 있다. 소스 제어 분야에서 깃허브 다음으로는 깃랩(GitLab)이 있다. 깃랩은 오픈소스 버전으로 제공되며 거의 모든 면에서 깃허브를 바짝 뒤쫓고 있다.
기능 플래그
솔직히 필자는 약 1년 전만 해도 기능 플래그를 대수롭지 않게 여겼다. 그런데 이제 SaaS 솔루션에서 마우스 클릭으로 기능을 켜고 끌 수 있게 되면서 기능 플래그를 자주 사용한다. 기능 플래그를 쓰면 회사별, 고객 수준별, 사용자별 등 원하는 기준으로 자유롭게 기능을 제어할 수 있다. 예를 들어 고객 중 일부만 대상으로 베타 테스트를 배포하거나 '카나리' 배포를 테스트하면서 새로운 기능이 실제 환경에서 어떻게 작동하는지 확인할 수 있다.이 분야의 확고한 선두는 런치다클리(LaunchDarkly)다. 런치다클리는 기능 관리를 위한 SaaS 플랫폼으로 애플리케이션과 그 배포 방식을 강력하게 제어하는 툴이다. 독보적인 선두 업체인데다 기능도 계속 확장하고 있으므로, 다른 선택을 할 이유를 찾기 어렵다.
CI/CD 툴
필자는 몇 년 전부터 지속적 통합을 활용하고 있다. 반면 지속적 배포는 더 낯설고 어려울 뿐만 아니라 솔직히 말해 두려운 느낌까지 든다. CI/CD를 구현하려면 소프트웨어를 빌드하고 테스트하고 적절한 위치에 아티팩트를 배치하고 클라우드 리소스를 프로비저닝하고 여러 위치에 애플리케이션을 배포하는 등 코드를 체크인하는 순간부터 최대한 신속하게 프로덕션에서 실행하기까지의 프로세스에 수많은 개별 활동이 필요하다.많은 개발팀이 코드 체크인부터 배포에 이르기까지 걸리는 시간을 기존의 며칠 수준에서 15분으로 줄이기 위해 노력 중이다. 필자가 두려운 부분은 여기다. 이렇게 빨리 뭔가를 프로덕션에 풀어 놓는다는 것은 상황에 신속하게 대응할 준비가 되어 있어야 한다는 의미이기 때문이다. 반면, 문제 발생 시 신속한 피드백을 제공하므로 개발자의 머릿속에 최근 변경의 맥락을 유지한 상태에서 더 빠르게 오류를 수정할 수 있는 장점이 있다.
CI/CD를 제대로 하려면 당연히 강력한 툴킷이 필요하다. 답은 서클CI(CircleCI)다. 서클CI는 앞서 설명한 모든 기능을 지원하고 애플리케이션을 신속하게 빌드하고 배포하는 풍부한 프레임워크, 시스템을 연결한다. 다양한 기능과 빠른 속도, 컴플라이언스야말로 서클CI의 장점이다. 이밖에 오픈소스 CI/CD 툴인 젠킨스(Jenkins)도 차선책으로 고려할 만하다.
여기서 살펴본 IDE, 커뮤니케이션, 소스 제어, 기능 플래그, CI/CD 등 5가지 툴 범주는 현대 소프트웨어 개발을 위한 최소한의 조건이다. 모든 툴은 코딩과 코드를 프로덕션에 배포하는 데 소요되는 시간을 최소화하는 방향으로 작동한다. 모두 클라우드를 지원하므로 작업 외의 다른 어떤 부분도 신경 쓸 필요가 없다. 이 5가지 툴을 사용하면 클라우드 기반 IDE에서 코딩하든, 강력한 CI/CD 툴을 사용해 분 단위로 배포하든 상관없이 모든 소프트웨어 개발 프로세스를 원활하게 수행할 수 있다.
editor@itworld.co.kr
Sponsored
Intel
인텔이 12가지 가속기로 데이터센터에 확장성과 유연성을 추가하는 방법
ⓒ Getty Images Bank 사파이어 래피즈(Sapphire Rapids)라는 코드명으로 알려진 인텔의 4세대 제온 스케일러블 프로세서가 최근 출시됐다. 이 칩은 12가지 가속기로 주목받고 있지만 기능적인 흥미를 넘어 인텔이 급격하게 변화하는 데이터센터, 서버, 클라우드 시장에 대응하는 방법이 반영되어 있다는 점에 주목할 필요가 있다. 프로세서의 근본적인 역할은 연산에 있다. 프로세서는 여전히 연산을 빠르게 많이 할 수 있으면 좋다. 하지만 처리해야 하는 데이터의 종류와 특성이 다양해지면서 데이터를 다루는 방법도 진화했다. 그리고 이는 실질적인 성능의 향상으로 이어진다. 나승주 인텔 데이터센터 담당 상무는 4세대 제온 스케일러블 프로세서가 새로운 데이터센터 환경을 반영한다고 설명한다. ⓒ Intel “단순히 작동속도와 코어의 개수를 늘리는 것만이 최고의 가치를 주는 것은 아닙니다. 폭발적으로 증가하는 데이터센터 수요와 복잡한 데이터 처리에 대한 필요성을 풀어내기 위한 방법은 단순히 트랜지스터 수에만 의존할 일이 아니라 완전히 새로운 방법을 찾을 필요가 있습니다.” 인텔코리아 나승주 데이터센터 담당 상무는 데이터센터 환경이 달라지는 만큼 프로세서 구조도 새로 그려져야 한다고 설명한다. 그 관점에서 4세대 제온 스케일러블 프로세서는 이전과 다른 두 가지 전환점을 갖는다. 한 가지는 연산의 양적 증가, 다른 하나는 데이터 처리의 효율성이다. “모놀리식 아키텍처로는 소켓당 절대적 성능을 높이는 데에 한계가 있습니다. 이를 극복하기 위한 노력이 여전히 이어지고 있지만 단위 칩을 더 작게 만들고 효과적으로 연결하는 방법으로 성능 손실을 최소화하고 단일 칩에 준하는 처리 능력을 제공할 수 있습니다.” 최대 4개의 칩릿을 묶는 구조로 같은 공간 안에 더 많은 코어를 넣을 수 있다. ⓒ Intel 인텔은 사파이어 래피즈를 통해 ‘칩릿(Chiplet)’ 구조를 녹였다. 한정된 공간 안에 더 많은 코어를 넣는 것은 반도체 업계의 숙제였다. 제온 스케일러블 프로세서는 4개의 칩릿을 이어 붙여 최대 60개 코어를 쓴다. 칩릿 구조는 생산이 훨씬 쉬워지고 필요에 따라서 단일 칩부터 2개, 4개 등 필요한 만큼 이어 붙여 다양한 설계의 자유도를 제공하기도 한다. 핵심 기술은 칩과 칩 사이를 손실없이 연결하는 데에 있다. “중요한 것은 인터페이스와 패키징 기술입니다. 사실 이 칩릿 구조는 인텔만의 고민은 아닙니다. 반도체 업계, 그리고 더 나아가 산업 전체의 숙제이기 때문에 이를 공론화해서 업계가 함께 답을 찾아가는 중입니다.” 나승주 상무는 기술 개방과 표준에 해결책이 있다고 말했다. UCIe(Universal Chiplet Interconnect Express) 컨소시엄을 통해 전 세계 반도체 관련 기업들이 경쟁을 내려놓고 답을 찾아가고 있다. UCIe는 단순히 코어와 코어를 연결하는 수준이 아니라 단일 패키지 안에서 GPU도, 컨트롤러도, 또 가속기도 성능 손실을 최소화하면서 이어붙일 수 있다. 성능의 확장 뿐 아니라 단순화된 칩들을 자유롭게 맞붙이는 설계의 자유도 얻게 된다. ⓒ Intel 이 모듈형 칩릿 구조를 적극적으로 활용하는 또 하나의 방법이 바로 12가지 가속기다. 데이터의 특성에 맞는 처리 방법은 점점 중요해지고 있다. 인텔은 오래 전부터 MMX(Multi Media eXtension)와 SSE(Streaming SIMD eXtensions)를 비롯해 AVX(Advanced Vector Extensions)와 최근에는 AMX (Advanced Matrix Extensions) 까지 데이터를 효과적으로 처리하는 기술을 발전시켜 왔다. 사파이어 래피즈의 가속기는 프로세서를 현대 데이터센터의 필요에 맞춰 최적화할 수 있는 방법이라는 것이 나승주 상무의 설명이다. “클라우드는 가상머신과 네트워크는 물론이고, 암호화와 인공지능 처리까지 더욱 복잡해지기 때문에 기업은 설계의 고민이 많습니다. 클라우드에서 GPU의 활용도가 높아지고 있는 것은 사실이지만 머신러닝의 학습과 추론 작업의 80%가 CPU에서 이뤄지고 있습니다. 프로세서가 이를 받아들일 필요가 있습니다.” AMX(Advanced Matrix Extensions)가 더해진 이유도 막대한 실시간 학습 데이터가 필요하지 않은 상황에서 범용적인 인공지능 학습이 CPU만으로 충분히 빠르게 이뤄질 수 있도록 하기 위해서다. AMX는 텐서플로와 파이토치 등 범용적인 머신러닝 프레임워크에 최적화되어 기존 환경을 그대로 가속한다. 12가지 가속기를 통해 데이터센터의 특성에 맞는 서버를 구성할 수 있다. ⓒ Intel 마찬가지로 데이터센터에서 큰 리소스를 차지하는 암호화 효율을 높여주는 QAT(QuickAssist Technology), 로드밸런싱을 맡는 DLB(Dynamic Load Balancer), 인메모리 분석 처리를 가속하는 IAA(In-Memory Analytics Accelerator), 데이터 스트리밍을 가속하는 DSA(Data Streaming Accelerator) 등 별도의 전용 가속 코어를 두고, 필요에 따라서 가속기를 선택할 수 있도록 했다. 그리고 이는 데이터센터의 자원 관리에 직접적으로 영향을 끼치게 된다. “가속기가 실제 현장에서 주는 가치는 특정 리소스를 빠르게 처리하는 것도 있지만 특정 처리에 대한 부담을 덜어 CPU가 본래 해야 할 연산에 집중하는 것입니다. 데이터센터에서 70개 코어를 할당해서 쓰던 암호화가 사파이어 래피즈의 QAT 가속기를 이용하면 11개 코어로 충분합니다. 나머지는 실제로 데이터센터가 처리해야 하는 인스턴스에 할당되면서 자원의 효율이 크게 높아집니다.” ⓒ Intel 4세대 제온 스케일러블 프로세서는 구조의 변화와 가속기를 통해서 ‘스케일러블(Scalable)’이라는 이름이 어울리는 확장성을 갖게 됐다. 이는 곧 데이터센터의 최적화, 그리고 유연성과도 연결된다. 반도체는 시대의 흐름을 읽어야 하고, 인텔은 사파이어 래피즈를 통해 기술로 그 답을 제시하고 있다.
Intel
데이터센터 성능을 재정의하는 게임 체인저 ‘4세대 인텔® 제온® 스케일러블 프로세서’
ⓒ Getty Images Bank AI, HPC, 첨단 분석 등 새로운 유형의 워크로드가 급부상하면서 데이터센터의 성능에 대한 재정의가 필요한 시대가 되었다. 이런 시대적 요구에 부응하기 위해 인텔은 4세대 제온 스케일러블 프로세서(코드명 사파이어 래피즈)라는 답을 내놓았다. 인텔은 이전 세대에 비해 성능, 확장성 및 효율성을 크게 개선한 4세대 제온 스케일러블 프로세서로 차세대 데이터센터에 대한 인텔의 전략을 구체화하고 있다. 성능 최적화의 새로운 관점 ‘워크로드 최적화’ 4세대 제온 스케일러블 프로세서는 ‘다양한 워크로드 각각의 요구에 맞는 최대 성능을 끌어 낸다’라는 한 줄로 핵심을 짚을 수 있다. 이 프로세서의 설계 사상은 AI, HPC, 첨단 분석 등 다양한 워크로드의 요구사항을 충족하기 위해 CPU 및 관련 기술을 설계하고 최적화하는 것이다. 최근 기업들이 주목하는 주요 워크로드는 각각 성능에 대한 요구와 기준이 다르다. 예들 들어 AI 워크로드는 매트릭스 연산과 병렬 처리에 크게 의존한다. 더불어 대용량 데이터 세트를 처리해야 하는 경우가 많아 CPU와 메모리 간의 효율적인 데이터 전송을 위해 높은 메모리 대역폭이 필요하다. AI 워크로드에 맞는 최고의 성능을 제공하기 위해 인텔은 4세대 제온 스케일러블 프로세서에 고급 매트릭스 확장(AMX)과 같은 특수 명령어 세트와 통합 가속기를 내장하였다. 이는 꽤 주목할 개선이다. AMX의 내재화는 CPU도 AI 처리가 준비됐다는 것을 뜻한다. 이는 AI 인프라에서 CPU의 역할을 크게 확장할 전망이다. 최근 ChatGPT의 등장과 함께 모든 기업의 관심사가 된 초거대 언어 모델 기반 생성형 AI 전략 수립에 있어 AMX에 관심을 두는 곳이 늘고 있는 것도 같은 맥락에서 이해할 수 있다. HPC 워크로드는 복잡한 수학적 계산이 포함되며 높은 부동소수점 성능을 보장해야 한다. HPC 워크로드에는 병렬 처리가 수반되는 경우가 많다. 멀티코어 CPU는 이러한 워크로드를 가속하는 데 있어 핵심이라 할 수 있다. 또한, 대규모 HPC 시뮬레이션은 효율적인 데이터 처리를 위해 높은 메모리 용량과 대역폭도 요구한다. 이런 특수성도 4세대 제온 스케일러블 프로세서는 유연하게 수용한다. 4세대 제온 스케일러블 프로세서는 최대 8채널 DDR5 메모리 구성 및 인텔 옵테인 퍼시스턴트 메모리(Optane Persistent Memory)를 지원하여 HPC 시뮬레이션을 위한 높은 메모리 용량과 대역폭을 제공한다. 또한, PCIe 5.0을 지원하여 PCIe 4.0의 두 배에 달하는 대역폭을 제공하여 CPU와 가속기 및 스토리지와 같은 기타 장치 간의 통신 속도가 빠르다. QAT를 통해 암호화 및 압축 워크로드를 가속화하여 네트워킹 및 스토리지와 같은 애플리케이션의 성능과 효율성도 크게 높인다. 열거한 특징들은 HPC뿐 아니라 AI 워크로드의 성능 요구에도 부합한다. 다음으로 첨단 분석의 경우 적시에 통찰력을 제공하고 빠른 의사결정을 지원하려면 지연 시간을 최소화하면서 데이터를 빠르게 처리할 수 있는 CPU가 필요하다. 인텔은 단일 스레드 성능 및 멀티 스레딩 기능을 향상시켜 실시간 분석을 위한 저지연 처리를 가능하게 한다. 그리고 인텔 프로세서는 최적화된 캐시 계층 구조를 갖추고 있어 메모리 액세스 시간을 최소화하여 실시간 분석 워크로드의 지연 시간을 줄이고 성능을 개선할 수 있다. 여기에 4세대 제온 스케일러블 프로세서는 넓은 메모리 대역폭으로 데이터베이스 성능을 향상하고 인텔 인-메모리 분석 가속기(IAA), 데이터 이동 속도를 높이는 인텔 데이터 스트리밍 가속기(DSA)까지 통합하여 실시간 데이터 처리 성능을 높였다. 요약하자면 워크로드마다 특화된 CPU 기능, 아키텍처 또는 가속기가 필요한 요구사항이 다르다. AI 워크로드는 가속 기술과 넓은 메모리 대역폭의 이점을 누리고, HPC 워크로드는 높은 부동소수점 성능과 병렬 처리가 필요하며, 실시간 분석 워크로드는 지연 시간이 짧은 처리와 효율적인 I/O 및 스토리지가 필요하다. 4세대 제온 스케일러블 프로세서는 다양한 워크로드의 성능 요구를 수용하여 각각 최대의 성능을 끌어 낸다. 워크로드 최적화 성능 추구가 가능한 이유 CPU의 발전사를 보면 무어의 법칙의 시대를 지나 멀티 코어의 시기가 이어지고 있다. 멀티 코어는 현재 진화를 거듭 중인데 최근 동향은 더 나은 성능과 에너지 효율성을 보장하는 가운데 워크로드별 최적화를 지원하는 것이다. 이를 실현하기 위해 인텔은 코어 수를 늘리는 가운데 다양한 가속기를 CPU에 통합하는 방식을 택하였다. 이런 노력의 결과물이 4세대 제온 스케일러블 프로세서다. 멀티코어 아키텍처는 병렬 처리를 가능하게 하여 성능과 에너지 효율을 높인다. 예를 들어 인텔의 제온 스케일러블 프로세서는 최대 60개의 코어를 가지고 있어 AI, HPC, 실시간 분석 등 다양한 워크로드 처리에 이상적이다. 여기에 다양한 가속기를 통합하여 워크로드마다 차이를 보이는 최적의 성능 목표 달성에 한걸음 더 가까이 다가서고 있다. 또한, 4세대 제온 스케일러블 프로세서는 CPU와 가속기 간의 고속 통신을 위해 설계된 개방형 산업 표준 인터커넥트인 컴퓨트 익스프레스 링크(CXL)를 지원한다. 이 밖에도 인텔은 상호 연결 및 효율적인 전력 공급을 위해 4개의 실리콘 다이를 EMIB(Embedded Multi-Die Interconnect Bridge)라는 고급 패키징 기술로 연결했다. 인텔의 EMIB 기술은 CPU 설계 및 패키징의 패러다임 전환을 잘 보여준다. 인텔은 프로세서를 타일이라고 하는 더 작은 모듈식 구성 요소로 분할하고 EMIB라는 작은 실리콘으로 연결하여 하나의 Monolithic 구조와 같은 성능, 에너지 효율성 및 설계 유연성을 높였고 그 결과물이 4세대 제온 스케일러블 프로세서다. 인텔은 고급 패키징 기술을 통해 다양한 가속기를 통합하면서도 높은 전력 효율을 달성했다. 가령 4세대 인텔 제온 스케일러블 프로세서가 내장된 가속기를 사용하면 이전 세대 대비 워크로드 처리에 있어 평균 2.9배 높은 와트당 성능 목표 달성이 가능하다. 더 자세히 알아보면 범용 컴퓨팅에서 53% 평균 성능 향상을 기대할 수 있고, AI는 최대 10배 높은 추론과 학습 성능, 네트워킹과 스토리지 분야에서는 95% 적은 코어로 더 높은 데이터 압축 성능을 보여 최대 2배 성능을 높일 수 있고, 데이터 분석의 경우 최대 3배 성능 개선이 가능하다. 달라진 게임의 법칙 4세대 제온 스케일러블 프로세서의 등장으로 차세대 데이터센터 시장을 놓고 벌이는 다양한 프로세서 간 새로운 경쟁이 본격화될 전망이다. 4세대 제온 스케일러블 프로세서는 단순한 신제품이 아니다. 다양한 워크로드의 급변하는 요구 사항을 해결하고 성능, 확장성 및 효율성에 중점을 둔 차세대 데이터센터 구축에 대한 인텔의 전략을 상징한다. 4세대 제온 스케일러블 프로세서는 반도체 시장의 게임의 법칙은 시대의 흐름에 따라 바뀐다는 것을 보여주는 산증인이다.