Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.

머신러닝

"챗봇 지고 예측 분석 뜬다" 2022 국내 인공지능 도입 및 활용 현황 조사 - Market Pulse

오늘날 디지털 트랜스포메이션을 추구하는 기업에 인공지능(AI)과 머신러닝(ML)은 필수로 여겨진다. 시장의 흐름을 읽을 수 있는 새로운 인사이트를 찾아내고 업무를 자동화하는 것은 물론 공급망을 최적화하고 마케팅 성과를 극대화하려면 이 두 기술을 얼마나 잘 사용하느냐가 중요하다. 그렇다면 현재 우리 기업은 AI/ML 기술을 얼마나 어떻게 도입해 어떤 업무에 활용하고 있을까? 조사 결과 최근 2~3년 사이 국내에서 AI/ML 기술이 빠르게 확산한 것으로 나타났다. AI/ML 기술별, 기업규모별 도입, 활용 트렌드의 차이도 명확했다. 구체적인 솔루션 선택에 도움이 되도록 기업이 실제 도입해 사용하는 업체와 제품, 서비스도 확인했다. 주요 내용 - 국내 기업 10곳 중 4곳은 AI/ML 이미 활용 중 - 가장 선호하는 AI/ML 기술은 머신러닝/딥러닝 플랫폼과 가상 에이전트 - 머신러닝/딥러닝 ‘대세’, 챗봇 ‘내림세’, 자연어 처리 ‘오름세’ - 주로 IT 업무와 고객 서비스에 적용 - 도입 방식은 상용 솔루션 구매가 압도적 - 해외 클라우드 업체와 국내 IT 서비스 업체가 두각 - AI/ML 도입 시 가장 큰 어려움은 인력과 데이터 - 기업 10곳 중 8곳 “기대했던 효과 얻었다” - 중견기업은 AI/ML의 '무덤' 혹은 '기회의 땅' - 국내 AI/ML 시장의 본격 성장은 지금부터

인공지능 머신러닝 AI 7일 전

검색 현대화에 투자할 이유 "하이브리드 업무환경부터 비정형 콘텐츠까지"

필자의 소프트웨어 개발 기술 대부분은 소비자 대면 검색 애플리케이션을 설계, 구축, 지원하는 과정에서 습득했다. 그동안 사용한 검색 기술은 다양하지만 모두 비슷한 개발 패턴이 있었다. 인프라 설정, 데이터 불러오기, 검색 인덱스 구성, 검색 경험 개발 등이다. 데이터 불러오기, 검색 알고리즘 구성, 앱 개발 작업은 시작에 불과했다. 적합성 조율은 추단법에 대한 견해와 요구사항이 다양한 이해관계자 사이의 줄다리기였다. 새로운 규칙을 도입할 때마다 콘텐츠의 태그 설정, 품질 강화, 인덱싱 방식을 재고해야 할 때가 많았다. 성장과 새로운 사용자 페르소나를 뒷받침하기 위해 인프라 확장, 새로운 데이터 소스 추가, 검색 인터페이스 재구성 등의 추가 작업도 있었다.   1세대 검색 기술 이후로 많은 변화와 개선이 있었다. 오늘날 현대화된 검색 플랫폼은 인프라 구축 콘텐츠 소스와의 통합, 적합성 개선 등의 작업을 수월하게 해 준다. 검색 플랫폼 현대화는 비즈니스 차원에서 고객 및 직원 지원을 개선하기 위해서라도 반드시 필요하다. 그러나 필자가 볼 때, 많은 개발 및 데이터 과학 팀에서 진행하는 데이터 활동의 대부분이 정형화된 데이터 소스에 대한 데이터 시각화, 머신러닝, 데이터옵스에 집중되어 있는 실정이다. 비즈니스 문서, 웹사이트, XML 저장소, 기타 원문 데이터 필드와 같은 비정형 데이터의 검색은 추가 기술과 역량이 있어야 잘 할 수 있기 때문에 뒷전으로 밀려날 때가 많다.  이번 기사를 위해 IT, 디지털 경험, 데이터 팀이 검색 기술 현대화를 고려해야 할 이유에 대해 3인의 전문가에게 자문을 구했다.   경험, 개발 도구, 시스템 관리의 간소화 코베오(Coveo)의 제품 및 마케팅 담당 SVP 마크 플로이샌드는 기존에 구현된 검색 기술이 안고 있는 문제 중에서 오늘날 보다 쉽게 해결할 수 있는 것 하나를 소개했다. 플로이샌드는 “그동안 기업 검색 기술은 개별 부서 목표만 염두에 둔 채 부서 내에 구입 또는 구축되어 고립된 경우가...

검색기술 검색애플리케이션 듀얼페르소나 2022.07.13

칼럼 | ‘금붕어 기억력 넘어서기’··· 맥락적 AI를 준비할 때다

머신러닝과 패턴인식 기술이 이미 비즈니스 프로세스를 혁신하고 있다. 입력받은 데이터를 자동으로 분석하고, 인사이트를 추출한다. 하지만 SER 그룹의 CEO 존 베이츠 박사는 아직 갈 길이 멀다며, 더 지능적인 프로세스 자동화가 보다 광범위한 엔터프라이즈 환경에 적용되는 단계에 도달해야만 인공지능의 잠재가치가 극대화될 수 있다고 강조했다.    오늘날 인공지능을 기반으로 한다고 주장하는 콘텐츠 관리 시스템이나 서비스의 기억력은 ‘금붕어 수준’에 그친다. 이미지나 패턴은 잘 인식하지만, 그 외의 활용성은 매우 제한적이다. 어떤 문서가 스캔되고, 그 데이터가 대상 시스템에 입력될 때(회계 시스템에 영수증 데이터가 입력될 때) 인공지능의 입장에서 모든 데이터는 매번 처음 만나는 사람과 같다. 즉, 맥락을 이어가지 못하는 것이다. 이 말은 문서 콘텐츠가 다른 문서에 있는, 혹은 다른 문서에서 추출된 내용과 지능적으로 연결되지 못한다는 뜻이다. 이를테면 특정 고객의 주문 내역 데이터가 CRM 시스템에 있는 고객 기록과 연동되지 않는다. 그래서 유용한 고객 인사이트를 추출할 기회를 놓치게 된다.  물론 현재 사용되는 있는 기초적인 수준의 프로세스 자동화만 해도 고객 서비스를  고도화하고 시간과 비용을 절약하고 있다는 데는 의심의 여지가 없다.  그럼에도 기업이 앞으로 디지털 트랜스포메이션을 진전시키고 확실한 경쟁우위를 확보하려면  좀 더 발전한 AI가 필요하다. 다음 단계는 광범위한 기업 생태계에 콘텐츠 관리 시스템을 지능적으로 통합하는 것이다. 모든 문서, 데이터, 시스템 및 기능 부서가 지능적으로 연결된다면 더 효과적인 의사결정을 내릴 수 있으며 복잡한 사내 프로세스가 간소화된다.  단순 이미지 및 패턴 인식을 넘어 지능형 주문이나 영수증 자동화 같은 단일 AI 프로세스를 이제 다른 기업 시스템과 통합할 때가 됐다. 이제 지능형 학습 소프트웨어와 고도의 콘텐츠 관리 시스템을 결합해 ‘맥락적 A...

콘텍스추얼 AI 데이터확장성 데이터 사일로 2022.07.11

이해하기 쉬운 머신러닝 모델을 위한 분류 체계 개발 : MIT 연구팀

MIT 연구팀이 머신러닝 모델을 사용자와 의사결정권자에게 더 잘 설명할 수 있는 방법으로 개발자가 특성(Feature)을 설계하기 쉽게 해주는 분류 체계를 개발했다. 연구팀은 주로 머신러닝 모델의 특성에 대한 해석 가능성(Interpretability)에 중점을 두었다.    이번 분류체계 개발 보고서의 대표 저자인 전기공학 및 컴퓨터 과학 박사 과정의 알렉산드라 지텍은 “최상의 방법으로 머신러닝 모델을 설명한다고 해도 상당한 혼란이 있다는 것을 알게 됐다”라고 개발 동기를 밝혔다. 이런 혼란은 보통 머신러닝 모델 자체보다는 특성에 있다. 머신러닝 모델을 좀 더 이해할 수 있도록 해주는 설명 방법론은 흔히 얼마나 많은 특성이 해당 모델 내에서 사용되어 예측에 기여하는지를 설명한다. 예를 들어, 환자의 심장병 위험성을 예측하는 모델의 경우, 의사는 환자의 심박 데이터가 예측에 얼마나 영향을 미치는지를 알고 싶어 한다. 하지만 이런 특성은 보통 모델 내에 너무 복잡하거나 혼란스럽게 코딩되어 있어서 사용자는 자신이 이해할 수 없는 블랙박스를 사용하게 된다. 분류 체계를 개발하기 위해 MIT 연구팀은 머신러닝 모델의 영향을 받는 사용자를 AI 전문가부터 일반 사용자까지 5가지 유형으로 나누고, 이들이 특성을 이해할 수 있도록 속성을 정의했다. 또한 모델 개발자가 각 특성을 비전문가도 이해하기 쉬운 형식으로 전환할 수 있는 지침도 제공한다. 연구팀은 나중에 설명 가능성에 대해 걱정하는 것보다 개발 과정의 시작 단계부터 해석 가능한 기능을 사용하는 것이 더 낫다고 조언한다. 머신러닝 모델에서 특성이란 입력 변수를 말하며, 보통은 기록 데이터에서 가져온다. 데이터 과학자는 주로 머신러닝 모델에 맞는 특성을 선택하고, 수작업으로 추가 처리를 진행한다. 이 과정에서 데이터 과학자가 중점을 두는 것은 모델의 정확성을 개선하는 방식으로 특성을 개발하는 것이지 사용자나 의사결정권자가 그런 특성을 이해할 수 있도록 만드는 것은 아니다.  연구팀은...

머신러닝 모델링 특성 2022.07.07

“쉽고 빠른 풀스택 접근법” MS 애저 애널리틱스 서비스 7선

비즈니스 데이터를 이해할 수 없다면 사실상 눈을 가린 채로 비행하는 것이나 마찬가지다. 데이터에 숨겨진 인사이트는 비즈니스 운영을 최적화하고 고객 경험을 미세 조정하며, 새로운 제품 또는 새로운 비즈니스를 개발하는 데 필수적이다.  데이터 분석은 이런 인사이트를 발견하기 위한 수단이고, 이를 제대로 하려면 데이터 수집 및 준비, 데이터 보강 및 태깅, 보고서 작성 및 공유, 데이터 및 인사이트 관리 및 보호를 위한 도구가 필요하다. 또한 기업이 점점 더 많은 양의 데이터와 씨름하면서 클라우드는 분석 작업에 안성맞춤인 장소로 빠르게 변하고 있다.     많은 기업이 마이크로소프트 애저(Microsoft Azure)를 데이터 분석을 위한 중앙 허브로 이용하고 있다. 데이터 분석의 범위를 광범위하게 정의하는 애저는 12가지 이상의 서비스를 제공한다. 또한 AI 기반 분석 및 새로운 데이터마트 옵션을 지원하는 파워 BI(Power BI)나 마이크로소프트 퍼뷰(Microsoft Purview) 등의 거버넌스 지향 접근법도 추가됐다. 마이크로소프트 애널리틱스(Microsoft Analytics)의 CTO 아미르 네츠는 “단편적인 접근법이 아니라, 함께 작동하도록 설계된 애저에서 전체 애널리틱스 서비스 스택을 제공하는 것을 목표로 하고 있다”라고 강조했다.  다양한 서비스 간에 중복되는 부분이 있긴 하지만, 네츠는 애저의 애널리틱스 서비스가 애널리틱스 아키텍처 프레임워크 생성 시 기업이 구축하는 계층에 폭넓게 적용된다고 밝혔다. 네츠는 “데이터 레이크 생성, 데이터 저장, 데이터 레이크에서의 데이터 처리, 데이터 엔지니어링, 데이터 웨어하우스 구축, 머신러닝 알고리즘 및 데이터 과학 실행, 비즈니스 사용자에게 데이터 제공 등의 기능이 있다”라고 설명했다.  최근 발표된 ‘마이크로소프트 인텔리전트 데이터 플랫폼(Microsoft Intelligent Data Platform)’은 이런 사실을 잘 보여준다. 여기서는 마이크...

마이크로소프트 애저 클라우드 2022.07.05

AI 및 ML 시스템을 붕괴시키는 ‘적대적 머신러닝’의 이해

AI 및 머신러닝(Machine Learning, ML) 프로젝트를 시작하는 기업이 늘면서 AI/ML의 안전을 확보하는 일이 무엇보다 중요해졌다. IBM과 모닝 컨설트(Morning Consult)가 5월 발표한 보고서에 따르면, 전 세계 7,500곳 이상의 기업 중에서 35%가 이미 AI를 사용 중이다. 전년 대비 13% 증가한 수치다. AI를 탐색하고 있는 기업은 42%였다. 20%의 기업은 데이터 보안에서 어려움을 겪고 있었고, 이로 인해 AI 도입이 늦춰지고 있다고 답했다.   가트너가 2021년 2월 실시한 설문조사에서도 보안이 AI 도입 시 가장 큰 걸림돌이었다. 보안은 AI 솔루션을 기존 인프라에 통합하는 데 따르는 복잡성과 함께 1위를 차지했다.  마이크로소프트가 같은 해 3월 발표한 논문에 따르면, 기업의 90%는 적대적 머신러닝(Adversarial Machine Learning)에서 기업 시스템을 보호할 준비가 되어 있지 않다. 논문에서 다룬 28곳의 대/소규모 기업 가운데 25곳에서 ML 시스템 보안에 필요한 툴을 배치하지 않았다.  AI/ML 시스템 보안은 상당히 어려운 작업이다. 몇몇 어려움은 AI 고유의 특성에 기인한다. 예를 들어 AI/ML 시스템은 데이터를 필요로 하는데, 민감 데이터나 독점적 정보는 공격자의 표적이 된다. AI/ML 보안의 또 다른 측면은 ‘적대적 머신러닝’처럼 낯설기만 하다. 적대적 머신러닝이란 무엇인가?  엄밀히 말해 적대적 머신러닝은 이름과는 달리 머신러닝이 아니다. ML 시스템을 공격하는 데 사용되는 일련의 기법이다. 토론토 메트로폴리탄 대학교(Toronto Metropolitan University) 교수이자 글로벌 리서치 연구소(Global Research Institute)의 상임 연구원 알렉세이 루브초이는 “적대적 머신러닝은 ML 모델의 취약점과 특수성을 이용한다”라고 말했다. 루브초이는 최근 금융 서비스 산업 내 적대적 머신러닝에 관한 논문을 발표했다...

인공지능 머신러닝 적대적머신러닝 2022.06.30

스노우플레이크, “파이썬 기능 강화로 데이터 과학자 공략”

클라우드 기반 데이터 웨어하우스 업체 스노우플레이크(Snowflake)가 데이터 과학자를 잡기 위한 노력에 한창이다. 14일 열린 연례 스노우플레이크 서밋 행사에서 발표된 소식을 보면 주로 파이썬이나 데이터 액세스와 관련된 기능이 주를 이뤘다. 데이터 과학자가 관심을 둘 만한 기능이다. 아직 비공개 프리뷰 단계나 개발 단계의 수준이지만, 이런 서비스를 보강되면 앞으로 테라데이터(Teradata), 구글 빅쿼리(BigQuery), 아마존 레드시프트(Redshift)같은 서비스와 경쟁이 본격화될 것으로 예상된다.    새로 업데이트된 서비스엔 먼저 스노우파크(Snowpark)가 있다. 지난해 출시된 스노우파크는 데이터 프레임의 기능을 제공하는 개발 도구로, 개발자가 선호하는 툴을 스노우플레이크의 가상 웨어하우스 컴퓨팅 엔진에 서버리스 방식으로 설치할 수 있게 도와준다. 앞으로 스노우파크에선 파이썬 기능도 쉽게 이용할 수 있다.  파이썬이 추가되면서 스노우플레이크는 머신러닝을 위한 애플리케이션 개발 속도를 높일 수 있다고 보고 있다. 스노우플레이크의 제품 담당 수석 부사장인 크리스티안 클라이너맨은 “파이썬은 스노우플레이크 고객이 가장 많이 요청한 기능”이라고 강조했다.  업계 애널리스트는 데이터 과학자가 파이썬을 가장 선호하고 있다는 점에서 파이썬 관련 기능이 많아지고 있는 것은 자연스러운 현상이라고 보고 있다. 컨스텔레이션 리서치(Constellation Research)의 수석 애널리스트 덕 헨쉔은 “스노우플레이크는 늦은 감이 있다”라며 “테라데이터, 구글 빅쿼리, 버티카(Vertica)와 같은 경쟁 서비스에선 이미 파이썬을 지원한다”라고 지적했다. 스트림릿(Streamlit)이라는 도구도 스노우파크에서 통합 지원한다. 스트림릿은 오픈소스 앱 프레임워크로, 파이썬을 이용해 데이터를 시각화하고 변경하고 공유할 때 사용된다. 보통 머신러닝 개발자나 데이터 과학자 및 엔지니어들이 이용하는 기술이며 지난 3월 스노우플레이크가...

스노우플레이크 머신러닝 데이터과학 2022.06.17

마이크로소프트, 문자 분류 머신러닝 모델 간소화하는 API 공개

최근 마이크로소프트가 ML.NET 텍스트 클래시피케이션 API(ML.NET Text Classification API)의 프리뷰를 공개했다. 오픈소스 ML.NET 머신러닝 프레임워크를 사용한 사용자 지정 문자 분류 모델의 학습을 간소화하는 API다.    마이크로소프트는 ML.NET 텍스트 클래시피케이션 API가 최신 딥러닝 기술을 사용한다고 말했다. 개발자는 ML.NET로 사용자 지정된 머신러닝 학습 모델을 .NET 앱에 통합할 수 있다. 문자 분류는 레이블이나 범주를 문자에 적용하는 프로세스로, 일반적으로 이메일을 스팸과 스팸이 아닌 것으로 분류하거나 고객 리뷰에서 긍정적/부정적인 감정을 분석하고, 지원 티켓에 레이블을 적용하는 데 사용된다.  ML.NET 텍스트 클래시피케이션 API는 토치샤프(TorchSharp) .NET 라이브러리로 구동된다. 이 라이브러리는 파이토치(PyTorch) 머신러닝 프레임워크를 지원하는 libtorch 라이브러리에 대한 액세스를 제공한다. 토치샤프는 .NET에서 신경망을 기초부터 훈련시키는 저수준 기능을 보유하고 있는데, ML.NET에서는 이런 교육을 더 쉽게 수행할 수 있도록 토시샤프의 일부 복잡성이 추상화됐다.  마이크로소프트는 마이크로소프트 리서치와 협력해 NAS-BERT(Bidirectional Encoder Representations from Transformers)에 토치샤프를 적용했다. NAS-BERT는 신경망 아키텍처 탐색(neural architecture search, NAS)으로 얻은 BERT의 변형이다. 사전 훈련된 버전을 시작으로 텍스트 클래시피케이션 API는 새 모델을 처음부터 구축하는 대신 사용자 데이터로 기존 모델을 미세 조정한다. 텍스트 클래시피케이션 API는 ML.NET 2.0.0 및 0.20.0 프리뷰 버전에 포함됐다. Microsoft.ML 패키지 외에 Microsoft.ML.TorchSharp 및 TorchSharp-cpu(CPU 사용 시),...

머신러닝 파이토치 ML.NET 2022.06.16

"비즈니스 기회를 포착하고 위험을 완화하는" 행동 분석의 이해

자동차를 사려고 한다. 구매자는 제조사 웹사이트를 방문해 모델의 디자인을 살펴보고, 현지 딜러의 웹사이트에 올라온 매물을 살펴본 다음 대리점을 방문한다. 이때 영업 담당자는 구매자의 요구 사항을 파악하고 최선의 옵션을 제시하기 위해 어떤 정보를 검토해야 할까? 다음과 같은 사례도 생각해 보자. SOC(Security Operation Center)에서 한 직원의 네트워크 활동에 대한 경보를 수신했다. 해당 직원은 평소와 다른 시간에 원격 위치에서 다양한 비즈니스 영역을 알아보면서 일을 하는 것일까? 아니면 SOC의 개입이 필요한 악의적인 행동일까?   위 2가지 상황은 사용자 행동 분석으로 답을 얻을 수 있는 사례다. B2B 및 B2C 판매 증대, 고객 경험 개선, 이상 탐지, 위험 경보, IoT 기기에서 생성되는 데이터를 활용한 위험 식별 등은 행동 분석의 가장 일반적인 사용례다. 나임(KNIME) 수석 데이터 과학자이자 에반젤리즘 책임자인 로사리아 실리포는 행동 분석을 ‘특정 상황에서 사람들의 반응과 행동 패턴을 연구하는 것’이라고 간단히 정의했다.  행동 분석에 있는 비즈니스 기회 행동 분석은 많은 사람이 관여해 수많은 행동을 하는 제품이나 서비스에서 특히 중요하다. 행동 분석으로 결과물을 개선하고 위험을 줄일 수 있다. 가령 대형 전자상거래 웹사이트 고객의 구매 습관, 의료 애플리케이션, 게임 플랫폼, 은행의 자산 관리 업무 등에서 활용할 수 있다. 실리포는 “행동 분석의 목표는 최대한 많은 사람을 연구하는 것이며, 핵심은 많은 데이터를 확보하는 것”이라고 말했다.  아큐멘 애널리틱스(Acumen Analytics)의 CEO 케시 브루너는 한 시장조사 자료를 인용해 전 세계 행동 분석 시장의 규모가 2022년 4억 2,730만 달러에서 2026년 22억 달러에 이를 것으로 예상했다. 연평균 32%의 성장률이다.  브루너는 이런 결과를 비즈니스 기회 측면에서 해석했다. 브루너는 “지금은 행동 분석이 주로 소매...

행동분석 머신러닝 인공지능 2022.06.15

‘해킹도 ML로 진화 중’ 머신러닝 해킹 수법 9가지

머신러닝 알고리즘은 보안 솔루션을 개선하여 애널리스트가 위협을 분류하고 취약점을 신속하게 해결할 수 있도록 지원한다. 하지만 동시에 해커들이 더 큰 규모의 복잡한 사이버 공격을 가하는 데 악용되기도 한다.    머신러닝과 인공지능은 보안 위협을 검출하고 대응하는 핵심 기술이 되고 있다. 변화무쌍한 사이버 위협에 맞서 스스로 학습하고 적응할 수 있는 능력이 큰 강점이다.  한편 해커들이 머신러닝과 AI를 악용하여 사이버 공격을 확대하고, 보안 통제를 회피하며, 전례 없는 속도로 파괴적인 결과를 초래하는 새로운 취약성을 찾아내고 있다. 이 글에서는 해커가 이러한 기술을 악용하는 가장 일반적인 방법 9가지를 알아보고자 한다.  1. 스팸 필터를 속이는 스팸 메일  시장조사기관 옴디아(Omdia)의 애널리스트 페르난도 몬테네그로는 보안 관리자들이 수십 년 동안 스팸 메일을 걸러내는 데 머신러닝을 사용해 왔다고 말했다. 몬테네그로는 “스팸 메일 차단이 머신러닝이 활용된 최초의 사례였다”라고 설명했다. 하지만 머신러닝은 스팸 방지 필터를 속이는 데 악용될 수 있다. 스팸 필터가 특정 메일을 차단한 이유나 ‘스팸 지수’ 같은 정보를 생성한다면, 해커는 이를 사용하여 스팸 메일의 내용을 조정할 수 있다. 몬테네그로는 “계속 이메일을 전송하면서 정보를 얻으면 스팸 필터 모델의 작동 기준을 재구성할 수 있다. 이를 통해 메일 내용을 미세하게 바꿔가면서 스팸 필터를 우회할 수 있게 된다”라고 설명했다.   취약점은 스팸 필터에만 있지 않다. 몬테네그로는 점수나 기타 수치를 제공하는 보안업체가 잠재적으로 악용될 수 있다고 말했다. 몬테네그로는 “모든 업체가 이러한 취약점을 안고 있는 것은 아니지만, 주의하지 않으면 누군가가 악용할 수 있는 정보를 의도치 않게 제공하게 될 수 있다”라고 덧붙였다.  2. 더 정교해진 피싱 메일 공격자는 메시지가 스팸 필터를 통과할 수 있는지 테스트하기 위해 머신러닝 보안 도구...

머신러닝 사전대입공격 딥페이크 2022.06.15

“보안의 핵심은 이제 예측이다” 방화벽의 역사를 새로 쓰는 인라인 머신러닝/딥러닝 - Tech Summary

네트워크 보안의 표준으로 자리 잡은 차세대 방화벽이 급변하는 위협에 맞서 인공 지능 기술을 활용해 진화를 거듭하고 있다. 이제 차세대 방화벽은 시그니처 기반의 탐지를 넘어 머신러닝, 딥러닝까지 인라인 방식으로 처리하는 수준으로 발전했다. 이를 통해 실시간으로 트래픽을 모니터링 및 분석하여 제로데이 위협을 시간 지연 없이 신속히 탐지한다.  차세대 방화벽에 적용된 인공 지능 기술이 어떤 메커니즘으로 기업과 사용자를 보호하는지 알아보고, 탐지와 대응을 넘어 예측 중심의 보안 환경을 구현하는 방안을 제시한다. 주요 내용 - 예방에 중점을 두는 차세대 방화벽의 위협 탐지 메커니즘 - 머신러닝과 딥러닝 기반 탐지 강화 - 머신러닝과 딥러닝 기반 URL 필터링 및 DNA 보안 - 사물 인터넷 보안 2.0 - AIOps 실현

차세대방화벽 머신러닝 딥러닝 2022.05.31

커리어 로드맵 : 데이터 엔지니어

데이터 엔지니어링은 소프트웨어 엔지니어링과 데이터 과학의 요소를 결합한, IT 영역에서 빠르게 성장 중인 IT 분야 중 하나다. Indeed.com에 따르면, 데이터 엔지니어는 데이터 과학 프로젝트에 사용되는 아키텍처를 개발하고 유지하며 데이터가 서버와 애플리케이션 사이를 중단 없이 흐르도록 한다.  데이터 엔지니어는 다양한 운영체제 및 데이터베이스에 익숙해야 하고 소프트웨어를 쓰고 프로그래밍할 수도 있어야 한다. 데이터 웨어하우스 및 데이터 분석 경험, 그리고 뛰어난 비판적 사고와 커뮤니케이션 역량도 필요하다. 데이터 엔지니어는 교육, 직장 내 훈련, 지속적인 자격증 습득의 조합을 통해 기술력을 쌓을 수 있다. 인디드(Indeed)는 자격증 습득이 자신의 역량을 보여주고 앞서 나가기 위한 좋은 방법이라고 강조한다.  데이터 엔지니어가 되기 위해 무엇이 필요한지를 알아보기 위해 AI 기반의 품질 모니터링 플랫폼 전문업체인 유닛큐(unitQ)의 데이터 엔지니어인 랜스 마일스를 인터뷰했다.    교육과 취업  마일스는 2013년 캘리포니아 산타크루즈 대학에서 신경과학 학사 과정을 졸업한 뒤 2017년 워싱턴 대학에서 데이터 과학 자격증을 취득하고, 2020년에 캘리포니아 버클리 대학에서 정보 및 데이터 과학 석사 학위를 취득했다.  마일스는 “내가 거쳐온 단계를 뒤돌아볼 때 한 가지 큰 영향을 미친 경험이 있다. 대학 마지막 학기의 파이썬 과정이었던 생물학자를 위한 프로그래밍이다. 이 경험이 새로운 열정의 바탕이 됐다”고 말했다.  잘 아는 영역에서 나와 처음부터 시작해야 하는 새로운 영역으로 들어간다는 것은 겁나는 일이었다. 마일스는 매일 코드를 쓰며 방대한 서열 데이터 집합에서 정보를 추출해 단백질 서열의 물리화학적 속성을 계산하기 위한 방법을 개발하고, 유전자의 길이와 위치를 알아내고 바이러스 DNA의 특성을 파악했다.  마일스는 “정리되지 않은 데이터 집합을 간결한 결과로 ...

데이터엔지니어 데이터과학 머신러닝 2022.05.23

고성능 데이터 구축 + AI 조직 체계화 : MIT Technology Review Insights

데이터 관리는 데이터 중심 조직의 기반이지만, 기업에서 데이터를 관리하기란 매우 복잡합니다. 새로운 데이터 기술이 등장하면서, 통합이나 링 펜싱이 불가능한 레거시 시스템과 데이터 사일로의 부담이 커집니다. 아키텍처 단편화는 사일로를 일으킬 뿐만 아니라 많은 조직에서 여러 가지 온프레미스 및 클라우드 기반 도구를 사용하게 되어서 대부분 최고 데이터 책임자(CDO)들에게 골칫거리가 되었습니다.  MIT Technology Review Insights는 이러한 어려움 속에서 데이터 관리와 그 기술이 어떻게 발전하고 있는지 알아보기 위해 CDO, 최고 분석 책임자(CAO, 보고서의 여러 부분에서 이들을 “데이터 리더”로 지칭함), CIO(최고 정보 책임자), CTO(최고 기술 책임자) 및 기타 고위 기술 리더 351명에게 설문을 실시했습니다. <15p> 주요 내용 - 성장과 복잡성 - 전략 조정 및 실행 : 데이터로 높은 성과를 내는 조직 - 분석 및 머신 러닝 확장 - 미래 비전 : 새로운 아키텍처를 위한 CDO 위시리스트  

데이터분석 머신러닝 데이터브릭스 2022.05.19

빅 데이터 및 AI/ML 작업 부하용 스토리지 아키텍처 설계

인공 지능(AI), 머신 러닝(ML), 대규모 데이터를 생성 및 사용하는 기타 빅 데이터 애플리케이션과 시스템이 급격하게 증가하고 있습니다. 최근 설문 조사에 따르면, 기업 중 절반 이상은 현재 ML을 사용 중이며 대부분의 기업들이 몇 년 이내로 사용할 예정인 것으로 나타났습니다. 데이터 전략을 혁신하기 위해서는 올바른 데이터 아키텍처가 핵심입니다. 이상적인 데이터 아키텍처는 무한대의 규모와 효율성에 최적화되므로, 필요한 데이터 및 필요성을 인식하지 못한 데이터 모두를 캡처할 수 있습니다. 그러나 리소스 부족과 현재 기술 및 솔루션의 제한으로 인해 이를 달성하는 것은 어렵습니다. 이 백서에서는 빅 데이터 및 AI/ML 작업 부하에 적합한 확장성과 함께 비용 대비 효율적인 IT 인프라를 원하는 기업을 위한 하이브리드 클라우드 및 스토리지 아키텍처에 대해 알아봅니다. <14p> 주요 내용 - 데이터 아키텍처에서 ML 및 AI의 중요성 - 증가하는 복잡한 데이터 관리 요구 사항 해결 - 우선 순위 변화에 대처하기 위한 스토리지 아키텍처 정의 - AI/ML 워크플로의 다양한 단계를 위한 여러 데이터 흐름 필수 요소 - 보다 원활한 AI/ML을 간소화할 미래의 패브릭

인공지능 머신러닝 빅데이터 2022.04.20

업데이트 커리어 로드맵 : 머신러닝 엔지니어

직책이나 지식 영역에 ‘머신러닝’이 포함된 사람은 요즈음 경력을 관리하기 좋은 위치에 있다. 머신러닝 기술력과 경험이 있는 인력에 대한 수요가 많기 때문인데, 가장 중심에 있는 자리가 바로 머신러닝 엔지니어이다. 리서치 회사 M&M(Markets and Markets)에 따르면, 머신러닝 툴과 시스템에 대한 수요는 2016년의 10억3,000만 달러에서 올해 88억 1,000만억 달러로 증가할 것으로 보인다. 연간 성장률이 무려 44%에 이른다. 전 세계 기업이 고객 경험을 개선하고 비즈니스 운영에서 경쟁 우위를 점하기 위해 머신러닝을 도입하고 있는 상황이다.    M&M의 조사에 따르면, 데이터의 증가가 추가적인 머신러닝 솔루션과 기술인력에 대한 수요를 이끌고 있다. 주요 수직 산업군의 애플리케이션으로는 금융 부문의 사기 방지, 위험 관리, 고객 분류, 투자 예측을 필두로, 의료부문의 이미지 분석, 약물 발견 및 제조, 개인화된 치료, 소매부문의 재고 계획 및 채널간 마케팅, 제조 부문의 예측 유지보수와 수요 전망, 에너지 및 유틸리티 부문의 전력 사용량 분석 및 스마트 그리드 관리 등이 있다.  이 외에도 머신러닝의 사용례는 무궁무진하며, 모든 머신러닝 구현에서 엔지니어는 필수적이다. 그렇다면 머신러닝 엔지니어가 하는 일은 무엇일까?  머신러닝에서 사람은 학습하고 예측할 수 있는 인공 지능(AI) 알고리즘을 설계하고 개발한다. 머신러닝 엔지니어는 일반적으로 데이터 과학팀에 참여하며, 데이터 과학자, 데이터 분석가, 데이터 아키텍트, 기타 여러 전문가와 긴밀히 협력한다.  온라인 교육 플랫폼 Study.com에 따르면, 머신러닝 엔지니어는 독립적으로 지식을 학습하고 적용할 수 있는 머신을 개발하는 고급 프로그래머다. 정교한 머신러닝 프로그램은 특정 작업을 수행할 때 사람의 지시나 명령을 받지 않고 조치를 취할 수 있다. 머신러닝 엔지니어는 수학, 컴퓨터 프로그래밍, 데이터 분석 및 데이터 ...

머신러닝 커리어 엔지니어 2022.04.06

글로벌 칼럼 | 인공지능에 '지능'은 없다

자율주행 차량부터 슈퍼볼 광고의 춤추는 로봇까지 인공지능(Artificial Intelligence, AI)은 모든 곳에 존재한다. 하지만 모든 AI 사례의 문제점은 실제로 ‘지능적’이지 않다는 점이다. 이런 사례는 AI 기법을 사용하여 특정 문제를 해결하는 애플리케이션, 즉 ‘약인공지능(Narrow AI)’를 보여준다. 약인공지능은 인간이 보유한 지능과는 다르다.   인간은 (바라건대) 일반적인 지능을 보유하고 있다. 인간은 광범위한 문제를 해결할 수 있고 이전에 맞닥뜨리지 않았던 문제를 해결하는 방법을 배울 수 있다. 새로운 상황과 새로운 것을 배울 수 있으며, 물리적인 물체가 3차원 환경에 존재하고 시간의 흐름 같은 다양한 물리적 속성이 적용된다는 것을 이해한다. 인간 수준의 사고 능력 또는 범용인공지능(Artificial General Intelligence, AGI)을 인공적으로 복제할 수 있는 능력은 오늘날 우리가 생각하는 AI에는 존재하지 않는다.  지금까지 AI가 보여준 압도적인 성능을 무시하는 것은 아니다. 구글 검색은 대부분 사용자가 주기적으로 사용하는 AI의 좋은 예다. 구글은 많은 양의 정보를 놀라운 속도로 검색해 (일반적으로) 사용자가 원하는 결과를 목록의 상단에 제공한다. 마찬가지로 구글 보이스 서치(Google Voice Search)로 사용자는 구두로 검색을 요청할 수 있다. 애매모호한 표현을 사용하더라도 적절한 철자법, 맞춤법, 의미가 적용된 결과를 얻는다. 구글 검색이 잘 작동하는 이유는 무엇일까? 구글은 엄청난 양의 검색어와 사용자가 선택한 결과에 대한 이력 데이터를 보유하고 있다. 이런 데이터에서 검색할 가능성이 큰 검색어와 시스템을 유용하게 만들 수 있는 결과를 예측할 수 있다. 하지만 시스템이 수행 중인 작업이나 제시하는 결과를 이해할 것이라는 기대는 없다. 그래서 엄청난 양의 이력 데이터가 필요한 것이다. 사용자와의 모든 상호작용은 훈련 세트 데이터 생성에 활용할 수 있어 검색에 꽤 효과적이다...

인공지능 AI 머신러닝 2022.03.31

"AI 봄은 왔지만 갈 길은 험하다" 파운드리, AI 및 클라우드 이노베이션 2022 컨퍼런스 성료

파운드리(구 IDG)가 2월 23일 '2022 디지털 혁신을 열어가는 인공지능과 클라우드'라는 주제로 AI 및 클라우드 이노베이션 2022 웨비나를 개최했다.  이번 웨비나에는 10명의 발표자와 400여 명의 IT 전문가들이 참석해 심도깊은 강의와 질의 응답이 펼쳐졌다. 특히 각 세션 발표자는 기업이 AI를 도입하는데 어려운 점과 해법을 제시하면서 이제 AI 도입은 선택이 아닌 필수라는 인식을 함께 했다.    AI의 봄에도 과제는 계속된다 오프닝 세션에서 JP모건 체이스(JPMorgan Chase & Co)의 AI & 머신러닝 총괄 다니엘 우는 'AI 가속화: 도전과제 및 전략'이라는 주제로, AI 암흑기에서 얻은 교훈과 AI에 대한 다양한 도전과제를 살펴보면서 앞으로의 방향에 대해 논의했다.  다니엘 우는 "기업이 생존 경쟁과 디지털 혁신을 주도하기 위해 AI를 활용하고 있으나 대부분의 AI 프로젝트가 개념 증명 단계를 통과하지 못하고 있다"며, "두번의 AI 암흑기를 거쳐 다시금 찾아온 AI의 봄에도 기업은 데이터, 컴퓨팅, 인재, 운영 및 거버넌스 등 5가지 측면에서의 주요 과제를 해결해야 한다"라고 설파했다.   현대 AI 개발의 핵심 요소인 데이터 측면만 보더라도 해결해야 할 사항은 너무나 많다. 주요 문제로는 데이터 품질과 가용성, 접근성 등이 있는데, 우선 기업은 데이터 클리닝에 투자해 하나의 진실된 데이터 소스를 만들어야 한다. 또한 데이터 중심 설계 및 개발을 실천하고 데이터 프로세스를 자동화하면서 이런 프로세스에 거버넌스와 카탈로그화를 포함시켜야 한다. 데이터 접근성을 개선하고 셀프 서비스 도구를 구축해야 하며, 데이터 사용성을 높여야 한다.   다니엘 우는 연산 가용성과 접근성이 대폭 개선되어 AI의 봄을 가져오긴 했지만, 이와 관련해 인프라의 가용성, 비용 효율성, 탄소 발자국 등 여전히 많은 도전 과제가 존재한다고 밝혔다. 이와 함께 보안 및 개인정보 보호...

AI 머신러닝 ML 2022.02.24

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2022 International Data Group. All rights reserved.