최신뉴스
넘버스
리뷰
How-To
오피니언
테크 라이브러리
컨퍼런스
최신뉴스
넘버스
리뷰
How-To
오피니언
테크 라이브러리
컨퍼런스
테크 플레이
BrandZone
TOPIC
톱뉴스 | 많이 본 뉴스 | 토픽 브리핑
1/3
테크 플레이
BrandZone
테크라이브러리
넘버스

소프트웨어 및 애플리케이션 보안 패치 적용 빈도

5주
마다 한 번
전 세계 임베디드 소프트웨어 개발자 및 엔지니어 대상 설문조사 comprehensive survey of embedded software developers and engineers from around the world
날짜 : 2024년 10월 10일

한국 스타트업 생태계 투자 현황, "매우 부정적"

42.7
%
스타트업 대표 100인에 한국 스타트업의 현주소를 묻다
날짜 : 2024년 10월 04일

모든 영역에 걸쳐 사이버 회복탄력성 조치를 시행한 기업

2
%
2025 글로벌 디지털 신뢰 인사이트 2025 Global Digital Trust Insights
출처 : PwC
날짜 : 2024년 10월 02일

생성형 AI를 현재 사용 중인 국내 기업

72
%
국내 생성형 AI 업무 적용 사례 연구 Generative AI Use Cases: Adoption and Priorities in Korea
출처 : 한국IDC,
날짜 : 2024년 10월 02일
AIㆍML | 디지털 디바이스   2일 전
"크롬북 정체성 흔드는 구글" AI 강조하느라 또 자충수 두나

이번 주 배포되는 크롬OS와 그 뒤에 숨어 있는 혼란스러운 논리를 생각하면 구글이 스스로 자사의 장점을 없애는 역사적인 장면을 목격하는 기분이 든다. 배경을 설명하려면 먼저 아주 구체적인 맥락이 필요하다.     크롬OS의 핵심인 ‘구글적’ 명령 센터 구글의 크롬OS 플랫폼은 처음부터 표준적인 기존 데스크톱 컴퓨팅 설정과는 의도적으로 달랐다. 크롬북이 일반 컴퓨터와 다른 여러 가지 차이점을 설명하려면 며칠이 걸릴 수도 있다. 하지만 이 대다수 사용자는 이미 잘 알고 있을 것이다. 크롬OS 환경에서 중요한 것은은 최초의 크롬북 컴퓨터부터 - 심지어 크롬북이라고 불리기 전부터 - 표준 캡스락 키보드 키 대신 사용되어 온 버튼, 즉 런처 또는 에브리씽 키라고 알려진 검색 버튼이다. 구글은 처음부터 크롬북이 필요한 것을 쉽게 찾을 수 있는 기기라는 점과, 군살을 빼고 현대 사회에서 아무도 원하지 않는 오래된 컴퓨팅 요소를 없앴다는 점을 강조하고 싶어했다. 그래서 캡스락 키가 사라지고 그 자리에 단순해 보이는 검색 버튼이 등장했다. 처음에 이 버튼은 아주 기본적인 웹 기반 검색 프롬프트만 띄웠지만, 시간이 지나면서 마이크로소프트의 윈도우 키 연결 시작 메뉴보다 훨씬 더 기능적이고 효과적인 버전처럼 앱을 실행하고 답을 찾는 올인원 메카로 확장되었다. 그 결과 검색 키는 어느 순간부터 런처 키로 불리게 되었다. 그리고 2020년에 구글은 가장 대담한 움직임을 보였다. 구글 어시스턴트를 끌어들여 검색/런처 키를 거의 모든 것을 찾거나 수행할 수 있는 에브리씽 버튼이라는 브랜드로 바꾼 것이다. 당시 필자가 표현한 에브리씽 버튼은 다음과 같다.   웹 검색 로컬 컴퓨터 저장소 검색 드라이브 파일 저장소 검색 웹 기반 문서, 스프레드시트, 프레젠테이션 컬렉션에서 문서, 스프레드시트, 프레젠테이션을 검색한다. 수정하려는 시스템 수준 설정 검색하기 앱 유형에 관계없이 자신의 기기에서 실행할 앱을 검색하거나 구글 플레이 스토어에서 설치할 새 앱을 검색한다. 구글 어시스턴트를 통해 상상할 수 있는 모든 작업 어시스턴트가 에브리씽 버튼에 추가된 후 이 기능은 더 강력하고 완벽해졌다. 솔직히 크롬OS에서 작업하다가 기존 운영체제 환경으로 돌아갈 때 이 기능이 없는 것이 아쉬웠다. 크롬OS는 구글 최고의 역량이 한데 모여 완전히 새로운 종류의 커넥티드 경험을 형성하는 공간이 되기 직전 단계에 있다. 지능형 데스크톱 컴퓨팅의 흥미진진한 새로운 시작이며, 안드로이드가 제공할 수 있고, 제공해야 하며, 언젠가 제공할 수 있는 완전히 연결된 구글 경험의 유형을 보여준다. 이제 10월 초 구글이 방금 발표한 놀라운 변화, 즉 크롬OS의 핵심과 플랫폼의 개념을 크게 바꿀 것 같은 변화를 알아보자.   크롬OS와 에브리씽 시대의 종말 구글은 크롬북 키보드의 가장 눈에 잘 띄는 위치에서 오랫동안 사용되어 온 검색/런처/에브리씽 키를 빼고 그 자리에 새로운 '퀵 인서트(Quick Insert)' 키를 넣었다. 이제 캡스락과 같은 위치에 제미나이라는 생성형 AI 브랜드를 더 많이 밀어 넣고 그것이 완전한 미래이며 매일 매시간 사용자가 의지해야 할 것이라고 설득하려는 변명 같은 기능이 자리 잡을 것이다. 다행히도 구글은 적어도 에브리씽 버튼을 본격적으로 제미나이 버튼으로 바꾸지는 않고 있다. 대신 크롬OS 환경 전체에서 다양한 유형의 콘텐츠를 텍스트 필드에 삽입할 수 있는 다각적인 소스로 활용하고 있다. 즉, 이모티콘, GIF, 파일, 사진을 불러오는 데 사용할 수 있으며, 물론 품질이 의심스러운 텍스트를 생성하는 제미나이의 도움말 쓰기 시스템과 곧 제미나이의 AI 이미지 생성 시스템도 소환할 수 있다. 하지만 이 마지막 두 가지 요소가 이 기능을 탄생시킨 원동력인 것은 분명해 보인다. 한편, 한때 눈에 띄었던 에브리씽 버튼은 스페이스바 옆의 작은 'G' 키로 강등되었는데, 새로 발표된 삼성 갤럭시 크롬북 플러스부터 시작되어 이후 다른 새로운 크롬OS 기기에도 이 변화가 적용될 것으로 보인다. Computerworld의 동료 크리스 호프먼이 말했듯, 마치 마이크로소프트가 윈도우 키를 코파일럿 AI 비서 전용 버튼으로 대체한 것과 같은 느낌이다. 대다수 윈도우 사용자가 환영하지 않을 만한 조치라고 해도 과언이 아니다. 크롬OS의 경우 비교가 더 극단적인데, 에브리씽 버튼은 플랫폼의 철학을 대변하는 동시에 구글 중심의 소프트웨어만이 제공할 수 있는 매우 중요한 실용적 이점이었기 때문이다. 기능 자체가 완전히 사라지지는 않겠지만, 최고의 위치에 있던 기능을 다른 곳으로 옮기는 것은 어리석고 근시안적인 조치로 보이며 역효과를 불러올 수 있다. 가장 표면적인 수준에서 보면, 크롬북 사용자는 수년 동안 익숙하게 눌러왔던 버튼이 다른 곳에 있다면 상당히 불쾌해할 것이다. 특히 원하지 않는 기능 때문에 잘 쓰던 버튼이 눈에 잘 띄는 위치에서 그렇지 않은 곳으로 이동하면 사용자의 습관에 큰 변화가 온다(마이크로소프트가 시작 버튼을 이렇게 바꿨다고 상상해 보라). 하지만 더 큰 문제는 철학적 차원에서, 구글이 대부분의 제품 및 서비스와 함께 크롬OS 경험에 대한 우선순위를 바꾸고 있다는 것이다. 이러한 관점에서 보면 이번 조치가 그리 놀랍지 않을 수도 있다. 대부분의 기술 업계와 마찬가지로 구글도 지난 몇 달 동안 생성형 AI라는 이름으로 조직을 변화시켜 왔다. 대부분의 생성형 AI가 그다지 유용하거나 신뢰할 만하지 않음도 불구하고 가능한 모든 기회를 모아 생성형 AI를 강조했다. 최신 제품인 픽셀 9에도 생성형 AI가 추가됐고, 구글의 최근 크롬북 중심 AI 추가 기능도 마찬가지다. 이런 AI 기능에도 불구하고 기기는 훌륭하다. 제미나이의 도입 비율이나 사용자 정착률에 대한 구체적인 통계 수치가 공개되지는 않았지만, 일반 개인 사용자와 기업 모두 생성형 AI 기술이 제공하는 가치에 대해 점점 더 회의적인 태도를 보이고 있다는 징후는 점점 더 많아지고 있다. 하지만 도전은 분명히 시작되었다. 구글은 다른 많은 기술 기업과 마찬가지로 AI를 미래의 핵심으로 삼고 있다. 사실에 도전하는 AI 봇을 통한 '창의적 브레인스토밍', 사실과 허구를 구분할 수 없는 기술에서 정보를 검색하는 작업, 그리고 사용자 대부분이 일상 업무의 일부로 생각하지 않는 기타 작업 등의 가치를 깨닫고, 사람들이 쓰게끔 강요하기로 결심한 것이다. 구글은 크롬북을 생산성 중심의 실제 업무를 효과적으로 처리해 주는 기기가 아니라 화려한 구글표 인공지능을 사용하기 위한 기기로 만들기로 결심했다. 제미나이를 보면 마치 예전 브랜드인 구글+가 생각난다. 특히 이번 조치로 그러한 느낌이 더 적중하는 것만 같다. 자, 이제 정리해 보자. 새로 등장한 '퀵 인서트' 키가 특정 기기에서 중복됐고 곧 없어질 것처럼 보인 어시스턴트 키의 자리를 차지하고 있었다면, 약간 거슬리더라도 그렇게까지 얼굴을 찌푸리게 하는 문제는 아니었을 것이다. 하지만 크롬OS의 정체성과 가장 밀접한 관련이 있고 가장 중요한 기능인 것처럼 중요한 위치를 차지하면서 에브리씽 버튼을 훨씬 눈에 덜 띄는 쪽으로 치워버린다는 변화는 정말 잘못된 결정이다. 실제 크롬북 사용자의 불만과 짜증이 눈에 선하다. 구글 스스로도 몇 년이 지나면 후회할지 모른다. 마치 주인공이 실패할 것이 뻔한 행동을 할 때 모든 사람이 “안돼!”라고 외치는 시트콤의 한 장면이 연상된다. 그러나 현재로서는 한숨만 쉬며 기존 크롬북을 최대한 오래 사용하는 수밖에 없다. editor@itworld.co.kr 

윈도우의 새로운 보안 기술, VBS 인클레이브 이해하기
아이폰 16·16 플러스 리뷰 | 더 이상 일반적이지 않은 일반 시리즈
아이폰 16 프로·프로 맥스 리뷰 | 고성능 카메라 제외하면 '굳이'
LLM 프로젝트를 프로덕션에 도입하기 위한 5가지 과제와 해결책
노드의 내장형 SQ라이트 모듈 소개
생성형 AI와 기후 위기 그리고 마이크로소프트의 딜레마
게임   2024.09.25
"사양은 강력해지는데…" PC 게임 최적화, 왜 계속 나빠질까?

필자는 지난 몇 년 동안 공개된 대작 게임의 권장 사양보다 사양이 높은 게임 환경을 유지해왔다. 몇 년 동안 많은 하드웨어가 출시됐지만 계속 높은 사양을 유지하고 있다.   하지만 놀랍게도 일부 새로운 게임(전부는 아님)이 원활하게 실행되지 않는 경우가 많았다. 무슨 일이 벌어지고 있는 걸까? 또 다른 업그레이드를 해야 하는가? 아니면 일부 게임 개발사가 필자의 PC 사양에서 게임이 원활하게 실행되도록 최적화하지 않아서 문제가 발생한 것일까?   게임 개발사의 태만 사실 필자는 이미 개발사가 아무것도 하지 않고 있다는 관점을 가지고 있다. 최근 출시된 게임은 제대로 최적화되지 않고 있다. 과거 개발사는 게임으로 해낸 놀라운 일을 해냈지만 말이다. 필자의 첫 번째 컴퓨터는 코모도어 아미가(Commodore Amiga) 500이었다. 아버지가 방학 때 사주신 기본 컴퓨터였고, x86 PC를 사용하기 전 몇 년 동안 이 컴퓨터로 많은 시간을 보냈다. 구입 당시 아미가는 512KB RAM 모듈로 작동했지만 최고의 게임을 플레이하려면 1MB가 필요했다. 그래서 아버지는 당시에는 엄청나게 많은 돈을 들여 512KB로 업데이트해주셨다.   당시의 개발사가 단 1MB로 이룬 성과를 생각하면 아직도 경외심이 든다. 가로 스크롤 슈팅 게임인 실크웜(Silkworm)의 정신적 후계자 격인 SWIV라는 게임은 여름 내내 필자를 매혹시켰다. 최첨단 그래픽부터 논스톱 액션 게임 플레이까지, SWIV는 현재 출시된 최고의 최신 인디 슈팅 게임과 견주어도 손색이 없었다. 1991년작치고는 전혀 나쁘지 않다. 그렇다면 개발사는 16비트 컴퓨터 플랫폼용으로 설계된 게임에서 어떻게 이런 성과를 거둘 수 있었을까? 는 흥미로운 이야기를 들려준다. 요약하자면, SWIV의 개발자인 세일즈 커브는 게임 코드를 독특하고 다른 방식으로 작성하기 위해 상식을 깨야 했다. 그 아이디어 중 하나는 게임의 배경과 관련이 있었다. 거의 모든 게임이 타일 매핑 배경을 사용하던 시절, 개발사는 대신 스프라이트 기반 레벨 에디터를 사용하기로 결정했다. 그래서 배경과 동기화되어 스크롤되는 색상 팔레트 변경 사항을 배치할 수 있었다. 그리고 새로운 난이도 단계마다 레벨이 로드되는 것이 아니라 한 번의 공격이 끊기지 않는 게임 고유의 전제를 뒷받침할 수 있었다. 또한 플레이어가 살아남은 시간에 따라 적응형 난이도를 적용했다. 즉, 데이터를 일시 중지하고 새로운 레벨을 로드할 필요 없이 게임이 점차 더 어려워졌다. SWIV는 환상적인 게임이었다. 하지만 더 중요한 것은 아미가 500의 사양과 완벽하게 맞아 떨어져 게임을 제대로 즐기기 위해 더 많은 고급 부품이 필요하지 않았다는 점이다.   끔찍하게 자원을 낭비하는 최신 게임 SWIV로 달성한 성과를 더 강력한 CPU, GPU, RAM을 사용하는데도 제대로 실행되지 않는 오늘날의 최신 게임과 비교해 보면 현재의 게임 최적화 방식의 문제를 알 수 있다. 수많은 예가 있지만 가장 먼저 떠오르는 게임은 고담 나이트(Gotham Knights)다. 이 게임의 스팀 권장 사양은 인텔 코어 i7-10700K 또는 라이젠 5 5600X, RTX 2070 또는 AMD 라데온 RX 5700XT, 16GB RAM이다. 하지만 실제로는 이보다 약간 더 사양이 높은 PC에서 게임이 CPU의 전체 78%를 사용하는데도 프레임 속도가 심각하게 떨어지는 CPU 최적화 문제가 발생했다.   다른 최적화되지 않은 게임들은 단순히 PC용 포팅이 잘 되지 않은 범주에 속한다. 키보드와 마우스 컨트롤이 제대로 작동하지 않거나 시야각 문제 등 콘솔 게임에서 발생하는 문제였다. 성능 저하에 대한 변명은 될 수 없다. 개발자가 PC용 게임이 준비되었다고 판단하고 권장 사양을 충족해 게임을 구매했다면, 일반적인 몇 가지 문제를 제외하고 실행 자체는 버터처럼 부드워야 한다.   유명 개발사도 최적화에 서툴러 베데스다는 즐거운 게임을 많이 선사했다. 베데스다의 최신 오픈월드 MORPG인 스타필드도 처음부터 최적화 문제로 골머리를 앓고 있는 게임이다. 출시 초기에 문제를 겪는 게임은 많지만, 스타필드의 경우 문제에 대한 홍보가 더 잘 이루어졌어야 했다. 일관되지 않은 프레임 속도와 미세한 끊김 현상 같은 문제를 경험한 플레이어가 게임이 PC에 최적화되지 않은 이유에 대해 문의하자 담당 개발자는 “사양을 업그레이드해야 할 수도 있다”라고 . 하지만 16GB RAM이 장착된 AMD 라이젠 5600, 지포스 RTX 4070 Ti 환경에서 게임을 실행했음에도 불구하고 여전히 문제를 겪은 를 보면 믿기 어려운 변명이다. 스타필드의 경우, 최적화 문제는 단순히 개발자가 획기적인 무언가를 만들려고 노력했고 그 과정에서 예상보다 요구 사항이 높은 게임을 제작하는 과정에서 발생한 것으로 치부할 수 있다. 그러나 일부 게이머는 게임 실행 시 CPU에 대한 의존도가 높다는 점을 지적하며 최적화가 제대로 이루어지지 않았을 수도 있다고 지적하기도 한다. 어느 쪽이든 게이머가 불편을 감수할 필요는 없다.   다른 게임에서 최적화가 잘 안 되는 이유는 좀 더 불분명하다. 빠른 처리 시간? 느린 포팅? 이러한 질문은 개발자에게 유효한 질문이다. 권장 사양이 지나치게 낮게 책정된 경우에도 관심을 끌기 위해 사용할 수 있는 일종의 수상한 판매 전략이 아닌지 의심하게 된다. 게임은 최적화되지 않으면 그 자체로 실패다. 하지만 어떤 게이머도 그런 실패를 바라지는 않는다. editor@itworld.co.kr 

벡터 데이터베이스, AI 시대의 비정형 데이터 관리 방식
메타버스에서 공간 컴퓨팅까지…애플과 메타의 경쟁과 융합
"쉽고 다재다능한 문서 소스 형식" 마크다운 문서 도구 3종 비교
헤드리스 데이터 아키텍처를 구현하는 방법
"프로만큼 당당해진" 일반 아이폰 16, 그 어느 때보다 격차 적어
AI 코딩 오류, 관리는 인간 프로그래머가 담당해야
오픈소스   2024.09.10
오픈소스 커뮤니티의 유혹과 배신, 그리고 반격

오래 전, 아주 단순한 개념 하나가 개발 커뮤니티 내에 뿌리를 내리기 시작했다. 소프트웨어는 변화의 엔진으로서 막대한 잠재력을 지닌 만큼 모두에게 무료로 개방되어야 한다는 개념이다. 지금은 오픈소스 소프트웨어 운동에서 일반적인 개념으로 통하지만 초기에는 당연히 비즈니스 커뮤니티의 격렬한 저항에 직면했다.   그러나 지난 40여년 동안 오픈소스 소프트웨어 운동은 큰 발전을 이뤘다. 당시 마이크로소프트 CEO였던 스티브 발머가 ‘암’이라고까지 표현했던 오픈소스 소프트웨어는 이제는 말 그대로 주류가 됐다. 이 일상적인 운영에 오픈소스 소프트웨어를 사용하며, 무려 96%의 소프트웨어에 오픈소스 구성요소가 포함된다. 2022년을 기준으로 마이크로소프트 자체가 1,200개 이상의 오픈소스 프로젝트를 출범하고 20개 이상의 오픈소스 단체에 가입했을 정도다.     부수적인 무료 기능에서 오픈소스와 주류까지 오픈소스의 극적인 부상은 어느 날 갑자기 사람들이 그 가치를 인식한 데 따른 결과가 아니다. 오픈소스 개념을 기업 커뮤니티에 더 매력적으로 보이도록 하기 위한 실용주의적인 옹호자들이 펼친 의식적이고 계산된 노력의 결과다. 이를 위해 ‘이사회의 은밀한 전파자’들이 생각한 최선의 방법은 철학, 윤리, 사회정치적 측면에 맞춰진 오픈소스 운동의 초점을 더 실용적인 자유시장 친화적인 혜택으로 옮기는 것이었다. 그 이전의 ‘자유 소프트웨어 운동(Free Software Movement)’과 달리 이 오픈소스 옹호자들은 수익이라는 동기가 있어야 움직이는 실리콘 밸리 등지의 주요 기업을 대상으로 오픈소스 라이선싱 모델이 결코 자선적 모델이 아님을 설득하기 위해 상당한 노력을 기울였다. 이들이 사실을 호도한 것도 아니다. 지금 우리에게 익숙한 오픈소스 라이선싱 모델에서 소프트웨어를 개발하는 기업은 실제로 금전적 이득을 얻을 수 있다.   막대한 비용 절감부터 출시 시간 단축, 개발자 생산성 향상과 도입 장벽의 획기적인 완화에 이르기까지 오픈소스 모델은 기업, 특히 이제 막 창업한 신생 기업에 사유 소프트웨어 라이선스 대비 많은 이점을 제공한다.   그러나 지난 20년 동안 오픈소스가 광범위하게 도입됐다고 해도 어디까지나 철학이나 원칙보다는 주로 비즈니스 모델로 채택된 것이다. 최근 몇 년 동안 이 분열이 점점 더 문제가 되고 있다.   오픈소스 미끼 상술이란 무엇인가 지난 5년에 걸쳐 이 분열은 달갑지 않지만 ‘오픈소스 미끼 상술’이라고 불러야 할 현상으로 나타나기 시작했다. 열성적인 스타트업이 초창기에는 오픈소스 모델과 그에 따르는 모든 고유한 장점을 진심으로 수용하지만, 경영진이든 그 회사의 투자자든 우선순위를 성장에서 수익성으로 전환할 때가 됐다고 판단하는 순간 허용적이었던 라이선스를 거두어 들이는 행위가 바로 오픈소스 미끼 상술이다.   이 같은 사례는 반복해서 나타나고 있다. 엘라스틱(Elastic), 하시코프(HashiCorp), 레디스(Redis) 등 한때 ‘자랑스러운 오픈소스’를 표방하며 오픈소스 깃발을 내걸어 몇 년 동안 방대한 커뮤니티와 사용자 기반을 구축한 조직들이 갑자기 태도를 바꿔 오픈소스의 허용성에서 멀어졌다.   미끼 상술의 정도는 사례마다 다를 수 있지만 일반적인 원칙은 동일하다. 이들 기업은 성장하는 중에는 오픈소스 모델을 경쟁 우위의 도구로 사용하다가, 수익에 욕심을 내는 시점이 되면 커뮤니티와 기여자, 사용자에게 했던 약속을 버린다.   오픈소스의 분노가 촉발한 풀뿌리 운동 물론 오픈소스 커뮤니티 구성원들은 이 같은 현상을 전혀 반기지 않았으며 불만을 공개적으로 드러냈다. 한동안 오픈소스 변절자들은 기껏해야 사람들의 실망 정도만 감수하면 된다고 생각했다. 이들은 ‘진정한 신봉자’의 초기 반발은 잦아들 수밖에 없고 결국 대다수의, 그리고 대부분 이미 종속된 사용자 기반은 다른 선택지가 없어 새로운 약관을 받아들일 수밖에 없을 것이라고 판단했다.   잠깐이지만 이 오픈소스 미끼 상술은 성공적으로 보였다. 커뮤니티가 집단적으로 할 수 있는 일이 분노를 표현하는 것 말고 뭐가 있겠는가? 한동안은 필자도 오픈소스 변절자들이 그렇게 하고도 별탈 없이 넘어갈지도 모른다고 생각했다. 오픈소스 전체가 이제 끝났다는 두려움을 불러일으키는 포럼 글과 논평, 사설이 넘쳐났다. 그러나 처음에 그랬듯이 지금의 오픈소스 운동 역시 오픈소스 커뮤니티의 지식과 의지, 전문성을 바탕으로 한다. 그 커뮤니티가 반격에 나섰다.   레디스, 하시코프, 엘라스틱의 앞길에 놓인 포크 최근까지도 오픈소스 커뮤니티에는 이 오픈소스 변절자들에게 맞설 실체적인 의지가 없는 것으로 보였다. 그러다가 지난 3월, 레디스가 오픈소스 BSD 라이선스에서 소스 사용 가능(source-available) 라이선스로 전환하자 이후 를 만들 것이라고 발표했다.   이 발표는 일반적인 오픈소스 지지자뿐만 아니라 AWS, 구글 클라우드, 오라클 등 예상치 못한 곳에서도 열렬하고 광범위한 지지를 얻었다. (필자의 회사인 퍼코나 역시 기여자 그룹에 속함.) 레디스는 지금까지 요지부동이지만, 발키가 이처럼 많은 인기를 끌고 강력한 지지를 얻고 있는 만큼 분명히 어느정도 압박을 느끼고 있을 것이다.    한편 레디스는 이런 상황에 처한 기업이 혼자가 아니라는 사실에 위안을 얻을 수도 있다. 발키가 발표되기 얼마 전에 오픈소스 커뮤니티는 테라폼의 완전한 오픈소스 포크인 와 같은 프로젝트를 촉발했다.   궁극적으로 이러한 프로젝트의 성공 여부에 따라 오픈소스 미끼 상술은 지속되거나 사라지게 될 것이다. 아직 지켜봐야 하는 상황이지만 만일 필자가 지금 오픈소스 소프트웨어 회사를 창업한다면 이러한 행보를 하지 않도록 매우 조심할 것이다. 필자의 말을 오해하지 말기를 바란다. ‘개방성’에는 많은 측면이 있고 허용성과 수익성이 꼭 상호 배타적인 것은 아니다. 그러나 높은 허용성과 완전한 사유 사이의 ‘중간 경로’를 택하고자 한다면 올바른 접근 방법은 간단하다. 바로 정직함이다. 자신의 이상과 의도를 처음부터 밝힌다면 역풍에 대한 걱정은 하지 않아도 된다. 더 중요한 점은 오픈소스는 본질적으로 비즈니스 모델이 아닌 철학임을 기억하는 것이다.    커뮤니티의 힘을 과소평가하지 말 것 하버드 비즈니스 스쿨이 에 따르면 오픈소스 소프트웨어는 지난 몇 년 동안 기업이 고품질의 무료 소프트웨어와 구성요소를 기반으로 제품을 구축할 수 있도록 함으로써 9조 달러 가까운 개발 비용을 절감할 수 있게 해줬다. 오픈소스 기회주의자가 될 생각을 갖고 있다면 잠시 멈춰서 스스로에게 질문해 보자. 그 손을 정말 물고 싶은가?   결국 오픈소스 소프트웨어의 보편성은 자유롭고 개방적인 소프트웨어 개발이라는 오픈소스의 설립 원칙을 기업 세계에서 수용한 데 따른 결과로 얻은 것이 아니다. 오픈소스 운동의 지속과 폭넓은 기술 업계에 제공해온 무수히 많은 혜택은 이 원칙을 기반으로 한다. 오픈소스 커뮤니티를 구성하는 수많은 개발자와 기여자, 관리자, 옹호자가 행동하는 동기가 바로 이 원칙에 있다.   오픈소스 케이크를 혼자 소유하고 먹겠다는 생각을 갖고 있는 조직이 있다면 이 경고의 말을 들려주고 싶다. ‘진정한 신봉자’들이 조직에 의존하는 것보다 조직이 그들에게 의존하는 부분이 더 크다는 것이다. 최근 레디스와 테라폼의 포킹 사례만 봐도 오픈소스 세계에서 진정한 힘이 누구에게 있는지 알 수 있다. *필자 앤 쉴레머는 오픈소스 데이터베이스 소프트웨어 지원 업체 퍼코나(Percona)의 CEO로 재직하고 있다. editor@itworld.co.kr 

아이폰 16∙16 프로에서 가장 중요한 2가지 "애플 인텔리전스와 카메라 컨트롤"
글로벌 칼럼 | 애플의 로봇용 AI에 필요한 것은 '인격'이 아니다
"진짜 문제는 파일럿 다음 단계" 생성형 AI 2일차 배포에 대처하기
지도 데이터의 정확성과 유지, 왜 중요할까?
쿠버네티스와 클라우드 인프라의 미래 : 복잡성, 가시성, 추상화, 자동화, 가상화, 엣지
시스크로 닷넷 웹 API 더 간단하게 쓰기
AIㆍML | 데이터ㆍ분석   2024.08.30
“구현부터 활용, 진화까지” 데이터 파이프라인 최종 가이드

데이터 처리 아키텍처를 쉽게 이해하기 위해 집의 구조와 기능을 생각할 수 있다. 집의 기초는 저장, 쿼리, 트랜잭션, 보안 및 기타 기본적인 데이터 기능을 제공하는 데이터 관리 플랫폼이다. 집 안에는 마이크로서비스, API, 애플리케이션, 분석, 머신러닝 모델, 생성형 AI 모델 등 다양한 어플라이언스가 있다. 이런 어플라이언스는 데이터를 검색, 분석하고 최종 사용자 및 기타 서비스에 퍼블리싱하는 데 사용된다. 이런 모든 시스템을 연결하는 것은 한 시스템에서 다른 시스템으로 데이터를 이동하는 데이터 처리 도구인 파이프, 배관, 필터인 셈이다. 데이터 소스와 어플라이언스가 적은 소규모 조직에서는 데이터 프로세스가 비교적 간단하다. 하지만 대기업은 최종 사용자의 요구와 다양한 데이터 유형을 충족하기 위해 더 광범위한 애플리케이션이 필요한 경우가 많다.   여기서는 한 시스템에서 다른 시스템으로 데이터를 이동하는 데이터 처리 도구인 데이터 파이프라인에 대해 자세히 살펴본다. 데이터 파이프라인의 기본 사항과 이를 구현하는 데 사용되는 다양한 아키텍처 및 플랫폼을 소개한다. 또한 데이터 파이프라인이 지원하는 다양한 비즈니스 목표와 생성형 AI와 함께 등장한 몇 가지 새로운 사용례도 살펴보겠다. 마지막으로 데이터 변환, 데이터 운영, 데이터 파이프라인의 향후 발전 방향에 대해서도 논의할 것이다.    데이터 파이프라인 : 데이터를 이동하는 한 가지 방법 데이터 이동에는 데이터 복제, 데이터 마이그레이션, 데이터 동기화 등 여러 가지 운영 기능이 포함된다. 하지만 비즈니스 요구에 따른 데이터 이동을 생각할 때, 다음 세 가지 기능이 가장 많이 사용된다.   데이터 통합은 여러 소스에서 데이터를 추출해 다운스트림 사용을 위해 결합하는 것으로, 자동화와 수동 데이터 처리를 혼합해 사용하는 경우가 많다. 데이터 파이프라인은 자동화를 의미하며, 한 시스템의 데이터를 다운스트림 소비자가 액세스할 수 있도록 하지만 반드시 실시간일 필요는 없다. 데이터 스트림은 성능, 지연 시간, 오류율과 관련된 목표 서비스 수준 목표를 충족하는 확장성이 뛰어난 실시간의 강력한 데이터 파이프라인을 의미한다. 다시 한번 강조하지만, 데이터 통합, 파이프라인, 스트림은 시스템 간에 데이터를 이동하고 공유할 수 있는 배관이다. 데이터 관리 아키텍처가 여러 위치에 있는 여러 건물의 아파트처럼 분산되어 있다면, 보다 강력하고 확장 가능한 데이터 공유를 지원하기 위해 데이터 메시와 데이터 패브릭, 마스터 데이터 관리 기술과 같은 도구도 필요할 수 있다.   데이터 파이프라인 기술 데이터 파이프라인은 다양한 형태를 취하지만, 데이터 자동화 및 공유를 위한 기본 요소이다. 데이터 파이프라인은 웹후크, API, 퍼브-서브 패턴(Pub-sub pattern) 또는 IFTTT 서비스처럼 간단할 수도 있고, 더 정교한 데이터 파이프라인 설계 패턴을 통합하도록 확장할 수도 있다. 데이터 파이프라인에는 다음과 같은 요소가 포함된다.   일괄 처리 아키텍처. 데이터 이동이 실시간이 아니며, 레코드 그룹이 고정된 일정에 따라 한 시스템에서 다른 시스템으로 이동되거나 이벤트에 의해 트리거되는 아키텍처. 이벤트 중심 아키텍처. 데이터 생산자, 소비자, 변환 서비스를 연결하는 확장 가능한 접근 방식을 제공한다. 람다 및 카파 아키텍처. 실시간 및 일괄 처리 기능을 결합한다.  마이크로서비스 기반 데이터 파이프라인. 상대적으로 규모가 작으며, 독립적으로 릴리즈할 수 있고, 보통 단일 개발팀에서 관리한다. 프리사이즐리(Precisely)의 제품 관리 수석 부사장 에밀리 워싱턴은 “데이터 파이프라인은 데이터를 이동, 변환, 관리해 가치 있는 보고서와 분석이 되기 때문에 모든 엔터프라이즈 데이터 전략의 기본이다"라며, “이런 파이프라인 내에서 데이터 무결성을 보장하는 것은 매우 중요하며, 소스에서 대상으로 데이터를 효율적으로 통합하고, 데이터가 있는 곳에서 데이터를 정리하고, 속성을 추가해 데이터가 의도된 용도에 적합하고 의사 결정 프로세스에 정보를 제공하는지 확인해야 한다”고 설명했다.   데이터 파이프라인, 통합 및 스트리밍을 위한 플랫폼 데이터 파이프라인 설계 패턴은 AWS 람다, 애저 펑션즈, 또는 구글 클라우드 펑션즈와 같은 서버리스 아키텍처에 배포할 수 있다. 데이터 파이프라인은 데이터 웨어하우스와 데이터 레이크의 구성 요소로 데이터를 이동하고 변환하거나 독립적인 서비스로 배포할 수 있다. 개발자는 거의 모든 언어로 데이터 파이프라인을 코딩할 수 있지만, 데이터 과학자와 엔지니어는 일반적으로 파이썬을 사용한다. 파이프라인, 통합 및 스트림을 개발하기 위한 주요 플랫폼과 제품은 다음과 같다.   SaaS 플랫폼을 연결하는 데이터 파이프라인은 IFTTT, 인테그레이틀리(Integrately), 메이크(Make, 이전의 Integromat), 마이크로소프트 파워오토메이트(PowerAutomate), 퀵베이스(Quickbase), 워카토(Workato), Tray.io, 조호 플로우(Zoho Flow) 등의 데이터 자동화 플랫폼에서 수행할 수 있으며, 이런 도구에서 생성된 파이프라인은 일반적으로 하나의 소스를 하나의 대상으로 연결하고 공통 데이터 변환 기능을 제공한다. 가트너 매직 쿼드런트의 상위 데이터 통합 플랫폼 업체로는 앱 이니시오(Ab Initio), AWS, 디노도(Denodo), 파이브트랜(Fivetran), 구글, IBM, 인포매티카, K2view, 오라클, 마틸리언(Matillion), 마이크로소프트, 팔란티어(Palantir), 프리사이즐리 클릭(Precisely Qlik), SAP, 스냅로직(SnapLogic), 탈렌드(Talend), 팁코 등이 있다. 데이터 파이프라인 플랫폼에는 액티언(Actian), 아파치 에어플로우(Apache Airflow), 어센드아이오(Ascend.io), 아스테라(Astera), 아스트로노머(Astronomer), AWS 글루, 씨데이터(Cdata), 데이터브릭스, 드레미오, 디비티 랩스(dbt Labs), 헤보(Hevo), Integrate.io, 넥슬라(Nexla), 펠리칸(Peliqan), 프로페시(Prophecy), 리버리(Rivery), 스카이비아(Skyvia), 스티치(Stitch), 스톤브랜치(Stonebranch). 스팀세트(StreamSets)가 있다. 데이터 파이프라인은 서비스형 통합 플랫폼(IPaaS)의 기능이기도 하며, 가트너의 2024년 매직 쿼드런트에는 부미, 셀리고, 인포매티카, 지터빗, 마이크로소프트, 오라클, 세일즈포스, SAP, 스냅로직, 소프트웨어 AG, 트레이.io, 워크아토의 플랫폼이 포함돼 있다. 데이터 스트리밍 플랫폼에는 아파치 핑크(Apache Fink), 아파치 카프카, 아파치 펄사, 아파치 스톰, AWS 키네시스, 아타카마(Ataccama), Azure 스팀 애널리틱스, 클라우데라, 콘플루언트(Confluent), 데이터스택스(DataStax), 구글 클라우드 데이터플로우, 헤이즐캐스트(Hazelcast), 프라베가(Pravega), 레드햇, 레드판다, 레디스, 스파크 스트럭처드 스트리밍(Spark Structured Streaming), 스트림네이티브, 팁코가 포함된다. 데이터 통합 및 파이프라인 기능은 또한 많은 데이터베이스, 데이터 웨어하우스, 데이터 레이크, AI/ML 워크플로우우 플랫폼에 내장되어 있다. 레이턴트뷰 애널리틱스(LatentView Analytics)의 데이터 엔지니어링 책임자인 수닐 칼라는 “데이터 파이프라인 구축은 최신 데이터 관리의 중요한 측면이지만, 많은 기술과 아키텍처 및 설계 패턴이 있기 때문에 복잡할 수 있다"라며, “데이터 양이 증가함에 따라 효율적인 데이터 파이프라인의 중요성이 점점 더 커지고 있다”고 강조했다.    다양한 비즈니스 목표를 지원하는 파이프라인 기본적인 데이터 파이프라인은 여러 기록 시스템에서 정보를 공유할 때마다 필요하다. 예를 들어, 직원 온보딩 워크플로우우에서는 HR, 재무, IT 및 기타 시스템에서 신규 직원을 설정해야 하는 경우가 많다. 일부 사용자 정보는 마이크로소프트 엔트라 ID 같은 디렉터리에 저장할 수 있지만, 각 기록 시스템에서는 신규 직원을 설정하기 위해 몇 가지 공통 사용자 데이터가 필요하다. 데이터 파이프라인은 이런 시스템 간에 워크플로우와 데이터 공유를 트리거하는 한 가지 방법이며, 가장 기본적인 파이프라인은 최소한의 데이터 변환을 통해 한 기록 시스템에서 다른 시스템으로 하나의 정보 레코드를 푸시한다. 보다 정교한 데이터 통합 플랫폼은 여러 소스의 데이터를 조인(join)하고, 정교한 다중 레코드 데이터 변환을 수행하고, 하나의 데이터 파이프라인에서 여러 다운스트림 시스템에 연결할 수 있다. 기본적인 단순 데이터 파이프라인 외에도 복잡한 워크플로우를 조율하고, 데이터 과학 활동을 지원하고, IoT 센서 데이터를 처리하는 다양한 비즈니스 사용례가 있다. 생성형 AI, 컴퓨터 비전, AR/VR을 비롯한 새로운 기술을 도입하면, 데이터 파이프라인의 복잡성은 극적으로 높아진다. IT 및 데이터팀은 데이터 관리 전략의 일환으로 현재와 미래의 비즈니스 요구사항을 고려해야 하며, 점점 더 많은 데이터 파이프라인을 개발하고 지원할 방법을 고려해야 한다. 예를 들어, 데이터 과학자는 데이터 파이프라인의 소비자인 동시에 생산자이기도 한다. 쿠모(Kumo)의 엔지니어링 담당 부사장 헤마 라가반은 “데이터 과학자는 데이터를 머신러닝에 적합한 형태로 만들기 위해 몇 주 또는 몇 달 동안 데이터를 큐레이팅한다. 예를 들어, 애플리케이션 페이지 보기 및 클릭 로그를 조작해 데이터 과학자에게 필요한 필드를 추출하거나 사일로화된 엔지니어링 조직에서 수집한 이벤트에서 제품 이름을 확인하는 등의 작업을 할 수 있다”고 설명했다. 마찬가지로, 개발팀은 애플리케이션 상태를 이해하고, 성능 문제를 진단하며, 오류를 해결하기 위해 데이터 파이프라인을 만든다. 애피카(Apica)의 최고 제품 및 기술 책임자인 란잔 파타사라티는 “데이터 파이프라인의 중요한 하위 집합은 로그, 메트릭, 추적, 알림, 이벤트, 프로필 등 다양한 데이터 유형을 캡처하는 원격 분석 파이프라인으로, IT 운영, 개발, 보안 환경으로부터 수집한다"라며, “텔레메트리 파이프라인은 데이터 정규화, 품질 개선, 혼란 감소, 컨텍스트 지원, 가장 필요한 곳에 데이터의 온디맨드 가용성을 제공해 상당한 비용 절감 효과를 가져온다”고 강조했다.   데이터 파이프라인을 위한 생성형 AI 사용례 워크플로우, 개발 및 데이터 과학 외에 새로운 생성형 AI 사용자 경험도 있다. 데이터 파이프라인은 검색 증강 생성(RAG)을 지원하기 위해 벡터 데이터베이스, 데이터 레이크, 대규모 언어 모델(LLM)을 연결하는 데 필요하다. 이런 연결은 기본적으로 기업 데이터를 생성형 AI 기능과 연결할 수 있게 해 준다. 퀵베이스의 엔지니어링 수석 부사장인 존 케네디는 “누구나 프로세스를 간소화하고 생산성을 높이는 AI를 원하지만, 정보, 워크플로우, 팀, 프로젝트를 연결하는 양질의 데이터 파이프라인 없이는 이런 이점을 실현할 수 없다"라며, “데이터의 출처를 이해하고, 무결성을 검증하고, 조직 전체에서 데이터가 사용되면서 어떻게 변화하는지 파악하는 것이 훨씬 더 중요해졌다”고 지적했다. 많은 기업이 머신러닝과 AI를 지원하기 위해 데이터 소스와 분석 기능을 추가하고 있다. 이는 기본 데이터 파이프라인이 머신러닝 모델의 전체 개발, 테스트, 배포, 모니터링 및 재교육을 지원하고(MLOps), 데이터 및 AI 거버넌스 모델을 준수해야 한다는 것을 의미한다. 도미노의 데이터 과학 전략 및 에반젤리즘 책임자인 키엘 칼슨은 “생성형 AI 파이프라인에는 데이터 엔지니어링 단계를 생성하고 조율하는 것도 포함되지만, 더 중요한 것은 모델, 벡터 스토어, 신속한 엔지니어링 단계, 업스트림 예측 AI 모델, 다운스트림 LLM, 다운스트림 시스템과의 통합을 임베딩해야 한다는 것”이라며, “기업은 최소한 데이터 파이프라인 기능을 새로운 데이터 저장소, MLOps 및 ML 거버넌스 기능과 통합해야 한다”고 설명했다. 견실한 데이터 파이프라인에 범위와 비즈니스 수요가 추가되면서 대규모 조직은 데이터 파이프라인 개발 및 업데이트 프로세스를 확장하는 방법을 고려해야 할 것이다. 리버리의 솔루션 엔지니어링 담당 부사장인 테일러 맥가스는 “이런 볼륨을 성공적으로 처리하고 병목 현상을 방지하려면 중앙 집중식 데이터 플랫폼팀은 분산된 팀이 자체 파이프라인을 구축할 수 있도록 지원하는 동시에 데이터 액세스, 클라우드 컴퓨팅 사용량, 실행된 데이터 파이프라인의 상태에 대한 올바른 거버넌스를 유지하는 것 사이에서 적절한 균형을 찾아야 한다”고 제안했다.   데이터 파이프라인에서 혁신 구현하기 데이터 파이프라인의 핵심은 소스 시스템에서 다운스트림 시스템의 요구 사항에 맞게 데이터를 변환하는 데 필요한 데이터 변환이다. 간단한 변환은 파이프라인의 사비자를 위해 단일 레코드를 매핑, 결합 및 정리한다. 보다 복잡한 변환에는 레코드, 문서 및 기타 데이터 유형의 그룹을 집계, 조인, 요약 및 보강하는 것이 포함된다. 제비아 데이터(Xebia Data)의 지오바니 란자니는 “전통적으로 데이터 웨어하우스는 소스에서 원시 데이터를 추출하고 변환한 다음 저장하는 추출-변환-로드(ETL) 프로세스를 통해 채워져 왔다. 저장 및 처리 비용이 절감되자 데이터팀은 원시 데이터를 변환(ELT)하기 전에 데이터 웨어하우스에 저장하기 시작했고, 새로운 인사이트를 창출할 수 있는 유연성이 높아졌다.” 아스트로노머의 CTO 줄리안 라네브는 “ETL은 분석을 위해 사전 처리된 데이터가 필요한 시나리오에 적합한 반면, ELT는 데이터 레이크나 클라우드 기반 데이터 웨어하우스와 같은 최신 시스템의 처리 능력을 활용하여 더 많은 양의 데이터를 더 효율적으로 처리할 수 있다"라고 덧붙였다. ETL과 ELT 변환은 일반적으로 데이터 웨어하우스와 데이터 레이크에 데이터를 로드하는 데이터 파이프라인에 사용되는 용어이다. 전송 중 및 스트리밍 데이터 변환은 데이터 파이프라인이나 스트림이 결과 데이터를 저장하지 않고 프로세스 흐름에서 데이터를 변환할 때 사용되는 용어이다. 사용례로는 실시간 분석, IoT 데이터 스트림, 신용카드 거래 처리, 사기 탐지 등이 있다. 데이터 변환에는 필터링, 집계, 윈도우, 강화 및 이상 징후 탐지가 포함된다. 데이터 파이프라인의 핵심 기능은 데이터의 계보를 추적하는 것이다. 여기에는 데이터의 수명 주기를 드러내고 누가, 언제, 어디서, 왜, 어떻게 데이터가 변경되는지에 대한 질문에 답하는 데 도움이 되는 방법론과 도구가 포함된다. 데이터 파이프라인은 데이터 계보 범위의 일부인 데이터를 변환하며, 데이터 변경을 추적하는 것은 규제를 받는 산업이나 사람의 안전을 고려해야 할 때 매우 중요하다. 데이터 계보 기능을 갖춘 플랫폼으로는 알렉스 솔루션(Alex Solutions0, 앨레이션(Alation), 아틀란(Atlan), 부미, 콜리브라(Collibra), 어윈(Erwin), IBM, 인포매티카, 만타(Manta), 마이크로소프트, 옥토파이(Octopai), 오라클, 프리사이즐리, 세코다(Secoda), 솔리데이터스(Solidatus), SAP, SAS, 탈렌드 등이 있다. 데이터 카탈로그, 데이터 거버넌스, AI 거버넌스 플랫폼 중에도 데이터 계보 기능을 제공하는 솔루션이 있다. 콜리브라의 CEO 펠릭스 반 데 말레는 “비즈니스 및 기술 이해관계자는 심층적인 영향 분석, 규제 준수 개선, 더욱 신뢰할 수 있는 분석을 위해 엔드 투 엔드 계보를 통해 소스 간에 데이터가 어떻게 흐르고, 변환되고, 사용되는지 동등하게 이해해야 한다"라고 강조했다.   데이터 파이프라인을 뒷받침하는 데이터 운영 파이프라인을 배포할 때 파이프라인이 데이터를 정확하게 수신, 변환, 전송하는지 어떻게 알 수 있을까? 데이터 오류가 캡처되고, 단일 레코드 데이터 문제로 인해 파이프라인이 중단되는 일은 없는가? 부하가 많은 상황에서도 파이프라인이 일관성있게 작동하는가? 데이터 원본에 전송 오류가 있을 때 변환이 무력화되거나 중복 레코드가 스트리밍되지는 않는가? 이는 데이터 파이프라인에서 발생하는 데이터 운영(DataOps) 문제 중 일부에 불과하다. 쿠모의 라가반은 “일련의 데이터 흐름이 다음 데이터 흐름에 데이터를 공급하는 경우가 많기 때문에 AI 워크플로우의 운영은 특히 어려울 수 있다. 하나의 흐름에서 데이터 손상이 발생하면 다운스트림 파이프라인에 복합적인 영향을 미칠 수 있다”고 지적했다. 머신러닝 모델과 생성형 AI 및 LLM을 지원하는 데 사용되는 데이터 파이프라인은 필요한 데이터 규모와 모델 성능에 대한 사용자의 기대치 때문에 성능과 품질에 대한 우려가 더 크다. VAST 데이터의 현장 현장 CTO이자 전략 책임자인 콜린 타토우는 “생성형 AI 파이프라인과 모델 학습에 사용되는 비정형, 정형, 반정형 데이터 세트의 복원력, 복구 가능성, 재현성은 AI 규모에서 데이터 거버넌스를 더욱 복잡하게 만든다”고 덧붙였다. 데이터옵스 개선을 위한 주요 접근 방식에는 데이터 파이프라인 통합 가시성 보장, 모니터링 도구를 사용해 성능 문제 경고, 데이터 품질 추적, 모델옵스에서 데이터 드리프트에 대한 ML 모델 모니터링 등이 있다. 데이터 통합 가시성 기술로는 액셀데이터(Acceldata), 애피카(Apica), 크리블(Cribl), 데이터키친(DataKitchen), IBM 데이터밴드, 메타플레인(Metaplane), 몬테 카를로(Monte Carlo), 시플렛(Sifflet), 소다(Soda), 언레이블(Unravel), 발리디오(Validio) 등이 있다. 프리사이즐리의 워싱텅은 “파이프라인을 통해 이동하는 데이터를 모니터링하는 것은 분석 및 AI 이니셔티브에 사용되는 데이터의 품질에 영향을 미치기 때문에 매우 중요하다”라며, “데이터 통합 가시성은 실시간 정보를 살펴보고 분석가가 사용하는 데이터를 즉시 신뢰할 수 있게 해준다. 파이프라인을 통해 데이터 통합 가시성을 구현하면 데이터 이상 징후와 이상값을 사용자에게 사전에 경고할 수 있으므로 비즈니스 중단과 비용이 많이 드는 다운스트림 데이터 및 분석 문제를 방지하는 데 도움이 된다”고 설명했다. 데이터옵스의 어려운 측면 중 하나는 API 및 데이터 소스 스키마의 변경으로 인해 발생하는 데이터 파이프라인 문제를 감지하고 신속하게 수정하는 것이다. 생성형 AI는 데이터 파이프라인 개발과 지원을 간소화하는 데이터옵스 및 데이터 엔지니어링 플랫폼으로 부상하고 있다. 앤서로켓(AnswerRocket)의 CTO 마이크 핀리는 “데이터 파이프라인의 스크립트 가능성과 언어 모델의 코드 생성 기능을 결합하면 동적으로 자체 업데이트되는 ETL 프로세스를 얻을 수 있다"라며, “언어 모델의 오류 이해 및 수정 기능을 사용하면 이전에는 일반적인 스키마 변경이나 숫자 오버플로우와 같은 중단으로 인해 파이프라인이 마비됐을 ETL이 자체적으로 복구할 수 있다”고 강조했다.   데이터 파이프라인의 미래 대다수 기업이 분석 및 AI 기능에 대한 투자를 늘리면서 새로운 데이터 세트를 통합하고 플랫폼 간에 데이터를 연결하는 데이터 파이프라인을 만들어야 할 필요성이 점점 더 커질 것이다. 데이터의 규모와 다양성, 새로운 AI 기능, 새로운 최종 사용자 경험으로 인해 IT 및 데이터 엔지니어링팀은 사실상 데이터 관리 및 통합 전략을 발전시켜야 한다. 액셀데이터의 CTO 애쉬윈 라지바는 “데이터 파이프라인은 소스에서 목적지까지 원활한 데이터 흐름을 보장하는 최신 데이터 관리의 토대 역할을 한다"라고 강조했다. 앞서 설명한 비유로 돌아가 보자. 기업은 깨끗한 물을 공급하고 폐기물을 제거하는 중추 역할을 하는 파이프라인이 있는 마을과 도시에 비유할 수 있다. 기업은 기존 데이터 파이프라인을 지속적으로 모니터링하고 개선하는 동시에 확장 영역을 위한 새로운 파이프라인을 개발해야 할 필요가 있다. editor@itworld.co.kr

"모르면 손해" 윈도우에 꼭꼭 숨겨진 생산성 향상 기능 20가지
상용보다 더 강력한 무료 오픈소스 소프트웨어 14선
JVM의 메소드 오버로딩 배워보기
"일관된 개발 환경 구축과 간소화" 데브 컨테이너의 활용과 장점
데이터 과학 판도를 바꾸는 3가지 프로그래밍 언어
"AI 시대의 도전과 기회" S 커브를 통한 기술 발전 이해하기
보안 | 윈도우   2024.08.20
"느려진 PC에 이상 증상까지?" 랜섬웨어 해킹 여부 확인하는 5가지 방법

갑자기 PC 화면에 랜섬웨어에 감염됐다는 메시지가 나타나면 분명히 PC가 해킹 당한 것이다. 하지만 컴퓨터 공격이 항상 그렇게 명시적이지는 않다. 랜섬웨어에 감염됐는지가 확실하지 않은 경우에는 세밀한 감각과 올바른 노하우가 필요하다. 가장 빠른 해결책은 사용자가 쓰는 바이러스 백신 프로그램으로 긴급 검사를 실행하는 것이다. 백신 도구가 바이러스를 감지하면 문제가 해결된다.   하지만 때로는 바이러스 백신 프로그램이 항상 악성코드를 찾지 못하거나 윈도우가 이상하게 작동하는 경우도 있다. 이때는 증상을 자세히 살펴봐야 한다.   1. 프로그램과 시스템이 느리게 반응함 증상 : 시스템이 갑자기 느리게 실행된다. 프로그램이 달팽이 속도로 부팅된다. CPU 사용률이 100%이다. 무해한 원인 : CPU 사용률이 100%인 데에는 몇 가지 무해한 원인이 있다. 정상적인 프로그램은 동영상 압축이나 복잡한 이미지 관리 작업 등 연산 집약적인 작업을 처리하고 있을 뿐이다. 구형 PC에서는 HD 동영상을 재생하는 것만으로도 CPU 부하가 높아진다. 두 번째 무해한 가능성은 이미 몇 년이 지난 윈도우 10 버그다. 윈도우 10 작업 관리자는 CPU가 그다지 많이 작동하지 않을 때에도 부하가 100%라고 표시한다. 세 번째 (그러나 그렇게 무해하지는 않은) 원인은 프로그램의 버그 또는 최대 CPU 전력을 요구하는 윈도우 도구의 버그이다. 위험한 원인 : 랜섬웨어로 인해 높은 CPU 부하가 발생하면 경보음이 울려야 한다. 랜섬웨어는 PC의 모든 사용자 파일을 암호화한 다음 협박 메시지를 표시한다. 데이터 양이 많으면 암호화 프로세스에 몇 시간이 걸릴 수 있다. 바람직하지 않은 다른 원인으로는 크립토재커(채굴 악성코드라고도 함)가 있다. PC를 악용하여 디지털 통화, 일반적으로 모네로를 계산하는 악성코드다.  조사 : 가장 먼저 살펴봐야 할 것은 작업 관리자이다(Ctrl + Shift + ESC를 동시에 누르고 자세히 보기를 클릭하라). 여기에서 CPU 부하에 따라 개별 프로세스를 정렬할 수 있다. 이렇게 하면 PC에서 전력을 소모하는 프로그램, 즉 프로세스를 빠르게 식별할 수 있다. 표시가 모호한 경우 대체 작업 관리자 프로세스 탐색기를 사용하라. 물론 두 번째 바이러스 스캐너로 바이러스를 검사하는 것도 좋은 방법이다. 그러나 설치된 바이러스 백신 프로그램과 병행하여 사용할 수 있는 바이러스 백신 도구가 점점 줄어들고 있다.    해결 방법 : CPU 부하에 영향을 미치는 것을 발견한 경우, 프로세스 이름을 구글에 검색하고 100% CPU를 추가하라. 인터넷에서 해결책을 찾을 수 있을 것이다. 버그로 인해 문제가 발생하는 작업의 경우 일반적으로 프로그램 업데이트가 도움이 된다. 그러나 바이러스가 높은 로드의 원인이라면 바이러스 백신 프로그램으로 바이러스를 삭제하라. 주의할 점 : 인터넷에서 프로세스 이름을 검색하면 일반적으로 셰어웨어 사용을 권장하는 정리 지침을 발견할 수 있다. 이때 주의해야 한다. 대부분의 경우 무료 바이러스 백신 소프트웨어가 동일한 작업을 수행하므로 이러한 청소 도구는 필요하지 않다. 반면에 광고로 등장하는 쉐어웨어는 높은 가격을 요구하거나 많은 광고를 표시한다. 브라우저 : 인터넷 브라우저가 CPU 부하의 원인이라면, 크립토재커가 브라우저에 퍼져 있을 가능성이 높다. 크립토재커는 PC를 사용하여 암호화폐 또는 디지털 화폐를 채굴한다. 해결책은 간단하다. 채굴 코드는 일반적으로 웹사이트를 떠나 해당 브라우저 탭을 닫는 즉시 작동을 멈춥니다. 하지만 악성코드가 브라우저 확장 프로그램에 있다면 삭제해야 한다.   2. 하드 드라이브 LED가 미친 듯이 깜박임 증상 : 하드 드라이브의 LED가 비정상적으로 자주 켜진다. 구형 HDD인 경우 마그네틱 디스크와 읽기/쓰기 헤드의 드라이브 소음도 들릴 수 있다. 무해한 원인 : HDD를 집중적으로 사용하게 만드는 합법적인 도구는 여러 가지가 있다. 윈도우 로고 > 설정 > 검색 > 윈도우 검색에서 구성할 수 있는 윈도우 인덱스 서비스도 있다. 또는 바이러스 백신 프로그램이 현재 전체 검사를 수행 중이므로 하드 디스크가 더 열심히 작동하는 원인이 될 수 있다. 위험한 원인 : 가장 위험한 원인 중에는 모든 데이터를 암호화한 후 돈을 요구하는 랜섬웨어가 있다. 드물지만 컴퓨터에서 스파이 코드가 활성화되어 공격자가 현재 모든 파일을 검색하고 있을 수도 있다.   조사 : 하드 디스크의 현재 부하를 유발하는 프로그램을 찾는 가장 좋은 방법은 윈도우 리소스 모니터를 사용하는 것이다. 먼저 윈도우-R 키 조합을 누르고 실행 줄에 resmon을 입력한다. 디스크 탭으로 전환하고 총계를 클릭하여 읽기/쓰기 활동에 따라 활성 프로세스를 정렬한다. 랜섬웨어는 읽기 활동이 쓰기 활동과 거의 동일하다는 사실로 쉽게 알아챌 수 있다. 반면에 인덱스 서비스 또는 바이러스 스캐너는 읽기 점유율이 높고 쓰기 활동은 매우 낮다. 해결 방법 : 하드 디스크 활동의 원인으로 프로세스를 식별한 경우 인터넷에서 해당 프로세스에 대한 정보를 얻을 수 있다. 리소스 모니터에서 식별된 프로세스를 직접 종료할 수도 있다. 작업 관리자에서 마우스 오른쪽 버튼으로 프로세스를 클릭하고 프로세스 종료를 선택하기만 하면 된다. 의심스러운 프로그램이 바이러스로 보이는 경우 에 파일을 업로드해서 바이러스를 검사할 수 있다.   3. 서핑 및 스트리밍이 이상해지기 시작함 증상 : 인터넷 서핑이 흔들리고, 스트리밍 동영상이 계속 멈추며, 내 네트워크에서 복사하는 데 시간이 오래 걸린다. 무해한 원인 : 대부분의 경우 와이파이가 문제를 일으키거나 인터넷 연결 상태가 좋지 않기 때문일 것이다. 대용량 업로드 또는 다운로드가 진행 중일 수도 있다. 예를 들어 사진, 동영상 또는 기타 데이터를 클라우드에 백업할 때 대용량 업로드가 발생한다. 위험한 원인 : 매우 드물지만 PC가 악성코드에 감염되어 공격자가 대량의 데이터를 인터넷으로 복사하고 있을 수 있다. 조사 : 먼저 네트워크 탭의 리소스 모니터에서 단일 작업으로 인해 네트워크 부하가 많이 발생하는지 살펴보자. 다음으로 와이파이를 테스트한다. 이렇게 하려면 테스트용으로 컴퓨터를 라우터에 케이블로 연결하라. 마지막으로 인터넷 연결을 확인하라. 특정 웹 사이트가 응답하지 않거나 느리게 응답하는 것이 문제인 경우 서비스에서 테스트하면 도움이 될 것이다.   해결 방법 : 인터넷 연결 속도가 느린 경우 인터넷 제공업체에 문의하면 도움이 될 수 있다. 단일 프로세스로 인해 네트워크 부하가 느려진 경우 바이러스토털닷컴에 프로그램을 업로드하여 바이러스 여부를 테스트하라.   4. 브라우저 또는 PC에 원치 않는 광고가 뜬다면 증상 : 갑자기 광고가 포함된 윈도우 PC가 나타나거나 브라우저에 조금 전보다 더 많은 광고가 표시된다. 무해한 원인 : 비정상적으로 많은 양의 광고가 표시되는 웹사이트를 방문하고 있다. 브라우저가 더 많은 광고가 표시된 새 창을 열도록 속이는 것일 수 있다. 위험한 원인 : 애드웨어가 PC에 영구적으로 설치되었다면 광고가 지속적으로 나타날 것이다. 애드웨어가 바이러스 경고를 가장하고 해결책으로 유료 도구를 추천하는 경우 비용이 많이 들 수도 있다. 조사 : 애드웨어 방지 프로그램으로 검색을 시작하라. 예를 들어 무료 애드웨어 클리너인 애드클리더(Adwcleaner)를 권장한다. 브라우저에 애드웨어가 있다고 의심되는 경우 다음과 같은 간단한 테스트를 해보는 것도 좋다. 브라우저 확장 프로그램 없이 브라우저를 시작한다. 파이어폭스에서 메뉴 아이콘 > 도움말 > 문제 해결 모드를 클릭한 다음 다시 시작을 클릭하면 된다. 브라우저를 시작하는 동안 Shift 키를 누른 채로 안전 모드로 파이어폭스를 시작할 수도 있다. 구글 크롬에서는 확장 프로그램을 비활성화하기가 까다롭다. 메뉴 아이콘 > 새 시크릿 창을 통해 확장 프로그램이 없거나 거의 없는 상태에서 크롬 창을 열 수 있다. 그런 다음 다른 크롬 창을 닫는다. 엣지 브라우저에서는 동일한 방법으로 메뉴 아이콘 > 새 시크릿 창을 사용하여 확장 프로그램 없이 새 브라우저 창을 시작할 수 있다. 해결 방법 : 애드클리너가 문제를 발견하면 인터넷 브라우저에서 애드웨어를 삭제한다.   5. 안드로이드 기기가 이상하게 작동한다. 증상 : 안드로이드 스마트폰에 갑자기 광고 창이 표시되거나 실행 중인 앱 없이 비정상적으로 뜨거워진다. 무해한 원인 : 광고를 자주 표시하는 광고 기반 앱을 설치했다. 위험한 원인 : 광고를 지속적으로 표시하는 애드웨어를 설치했다. 드물지만 온라인 뱅킹 데이터를 훔치려는 악성코드일 수도 있다. 조사 : 바이러스 백신 앱을 사용하라. 예를 들어 무료 앱인 를 권장한다. 해결 방법 : 소포스 앱이 악성코드를 발견하면 삭제가 가능하다. editor@itworld.co.kr 

글로벌 칼럼 | AI와 AR 글래스로 실현될 '앰비언트 컴퓨팅' 비전
데이터 과학 프로젝트에서 제품 관리자가 수행해야 할 5가지 핵심 역할
사이버 보안 최신 동향 : AI의 득과 실, 보안 인력 수요, 도구 난립
"초보부터 고급 사용자, 모두를 위한 상식" PC를 위험에 빠뜨리는 16가지 실수
날렵하고 깨끗한 윈도우를 만드는 7단계
새로운 자바스크립트가 이전 자바스크립트와 다른 11가지 이유
1/2