마이크로소프트 연구소 시스템 그룹, 인터넷 서비스 연구 그룹, 검색 엔진 제품 개발 그룹과 포항공대 컴퓨터공학과 황승원 교수는 지능형 소프트웨어에 관한 공동 연구를 진행했다. 황 교수는 데이터베이스, 인공지능, 자연어처리, 데이터마이닝 등 여러 분야에 걸쳐 100여 편이 넘는 논문을 발표한 바 있으며, 지난 2005년부터 포항공대에서 교수직을 맡고 있다.
연구 내용에 대해 황 교수는 “웹에 생성되는 방대한 데이터에서 인간의 지능에 해당하는 정보를 추츨하는 것”이라고 설명하며, “현재 보편적으로 사용되고 있는 수많은 소프트웨어에 적용할 수 있는 지식 체계를 구축해 지능형 소프트웨어를 만드는 것을 목표로 한다”고 말했다.
기술적 제반을 갖춘 '인공지능'
기본적인 수준에 머물러 있었던 인공지능 기술은 빅데이터의 출현과 이를 처리할 수 있는 기술, 인프라가 구축됨에 따라 그 실현 가능성이 점차 높아지고 있다. 또한, 인식 및 트래킹 기술의 발전으로 기계가 데이터를 습득하는 입력 기관이 견고해짐과 동시에, 수집한 데이터를 분석하고 유의미한 정보를 추출하기 위한 분석하는 기술력 또한 나날이 발전하고 있다.
황승원 교수는 “90년에는 인간의 감각이나 판단과 관련된 '조금', '다소', '대체로' 등의 애매한 상황을 세밀하게 구분할 수 있는 퍼지 이론이 인공지능의 총체였다면, 오늘날의 인공지능은 기계가 보고 듣고 말하고 생각할 수 있다는 개념으로 확장되었으며, 머신러닝 기법을 통해 기계의 지능이 발전해나가고 있다”고 설명했다.
이어, “과거에는 어떤 경우에도 모호하지 않은 데이터를 만들 수 있는 사람이 각광받았다”며, 린네분류학을 그 예시로 들었다. 황 교수는 “그러나 지금까지는 정형적인 데이터를 분류하는 것이 어렵지 않았으나, 음성, 사진, 위치 정보 등 앞으로 새로 출현하게 될 각종 데이터를 인간이 직접 분류하는 것은 불가능하다”며, “기존 데이터는 연역적인 방식으로, 새로운 데이터에 대해서는 귀납적 방식으로 지식 체계를 구축한다면 상보적인 관계에서 그 해답을 찾을 수 있을 것으로 생각한다”고 덧붙였다.
황 교수는 이를 '데이터 인텔리전스(Data Intelligence)'라고 지칭하며, 기존 검색 엔진의 검색 결과에 지능을 더하는 연구 사례에 대해 상세히 소개했다.
진화하는 검색 엔진
현재 마이크로소프트는 코타나(Cortana)라는 인공지능 비서 서비스를 고도화하고 있다. 음성인식 기술과 자체 검색엔진인 '빙'을 통해 사용자가 원하는 답을 찾아주는 코타나는 사용자들의 웹 검색 결과를 토대로 학습하며 계속해서 진화한다. 또한, 마이크로소프트의 차세대 브라우저인 스파르탄에도 탑재되어 날씨, 레스토랑 등 사용자에 맞춤화된 정보를 제공할 것으로 보인다.
황승원 교수는 “빙 검색결과 화면의 왼쪽 영역이 기존 검색엔진과 비슷한 결과 화면이다”라며, “오른쪽 영역에는 사용자가 필요로 할만한 정제된 지식을 표시해준다”고 말했다. 예를 들면, 레스토랑을 검색하면 오른쪽 화면에는 메뉴 가격, 오픈 시간, 주차 정보, 전화번호 등의 객관적인 정보가 표시되는 것이다.
황 교수는 “새롭게 추가되는 질의에 대해 지식을 확장해나가고, 다른 언어로 형성된 지식을 연계하는 작업이 무엇보다 중요하다”며, “시스템 측면에서는 모든 기기에 걸쳐 지능 서비스를 제공하기 위해 검색 엔진 결과를 빠르게 표기해야 한다”고 말했다.
검색엔진의 장벽, 자연어 쿼리
그러나 자연어 검색 쿼리는 검색 품질을 높이는 데 장벽으로 작용한다. 고유 명사와 같이 명확하고 유일한 단어는 쉽게 검색 결과로 도출할 수 있지만, 중의적이고 모호한 검색어는 더 복잡한 형태로 변형되어 검색 수행 시간이 길어지기 때문이다. 이에 황 교수는 빅데이터 기법의 하나인 부트스트래핑 (Bootstrapping) 기법을 통해 데이터의 정확도가 작더라도 연관 정보를 충분히 수집만 하면 잘 알려지지 않은 개체에 대해서도 검색 정확도를 높일 수 있다고 설명한다.
예를 들어, 검색 쿼리에 동료 이름인 '박기자'라는 이름을 치면, 검색 수행자의 소셜미디어, 링크드인 등에 표시된 현재 직장 또는 과거 직장, 공통 친구 등 다양한 연관 관계를 기반으로 동료 박기자에 관한 정보만 결과 화면에 표시해주는 것이다.
황 교수는 “잘 알려진 상위 20% 정보에 80%의 데이터가 몰려있으며, 하위 80%에 20%의 정보가 몰려있다”며, “후자의 경우에 정보의 정확도를 올리는 것이 무엇보다 중요한 데, 데이터 지능을 적용하면 테일 쿼리(Tail queries, 많은 시간이 소요되는 검색어)를 자동으로 예측하여 병렬화 등의 추가적인 자원을 투입하여 다른 검색어와 같은 수준으로 검색 수행시간을 낮추고 품질을 높일 수 있다”고 말했다.
실제로 해당 연구팀은 테일 쿼리를 자동으로 구분하고 검색 속도를 선택적으로 가속화하는 기술을 개발해 실제 검색엔진 로그를 활용한 실험에서 98.9%의 예측 정확도를 달성하여 서버 처리량을 70% 높이는 성과를 내기도 했다.
현재 황 교수는 IoT 기기에서 생성되는 위치와 시간 정보를 포함한 정보를 처리하고 해당 정보를 갖는 검색도 최적화하기 위해 연구소와의 협력을 계속하고 있다. 황 교수는 “텍스트뿐만 아니라 사진, 위치 등의 정보도 기계의 지능으로 들어가게 된다”며, “개체를 생성하는 기기도 증가하며, 시공간을 초월하는 정보가 실시간으로 생산됨에 따라 사물인터넷 환경에서 지능적인 서비스를 제공하기 위해 노력할 것”이라고 말했다. editor@itworld.co.kr
함께 보면 좋은 콘텐츠
Sponsored
Surfshark
“유료 VPN, 분명한 가치 있다” VPN 선택 가이드
ⓒ Surfshark VPN(가상 사설 네트워크, Virtual Private Network)은 인터넷 사용자에게 개인 정보 보호와 보안을 제공하는 중요한 도구로 널리 인정받고 있다. VPN은 공공 와이파이 환경에서도 데이터를 안전하게 전송할 수 있고, 개인 정보를 보호하는 데 도움을 준다. VPN 서비스의 수요가 증가하는 것도 같은 이유에서다. 동시에 유료와 무료 중 어떤 VPN을 선택해야 할지 많은 관심을 가지고 살펴보는 사용자가 많다. 가장 먼저 사용자의 관심을 끄는 것은 별도의 예산 부담이 없는 무료 VPN이지만, 그만큼의 한계도 있다. 무료 VPN, 정말 괜찮을까? 무료 VPN 서비스는 편리하고 경제적 부담도 없지만 고려할 점이 아예 없는 것은 아니다. 보안 우려 대부분의 무료 VPN 서비스는 유료 서비스에 비해 보안 수준이 낮을 수 있다. 일부 무료 VPN은 사용자 데이터를 수집해 광고주나 서드파티 업체에 판매하는 경우도 있다. 이러한 상황에서 개인 정보가 유출될 우려가 있다. 속도와 대역폭 제한 무료 VPN 서비스는 종종 속도와 대역폭에 제한을 생긴다. 따라서 사용자는 느린 인터넷 속도를 경험할 수 있으며, 높은 대역폭이 필요한 작업을 수행하는 데 제약을 받을 수 있다. 서비스 제한 무료 VPN 서비스는 종종 서버 위치가 적거나 특정 서비스 또는 웹사이트에 액세스하지 못하는 경우가 생긴다. 또한 사용자 수가 늘어나 서버 부하가 증가하면 서비스의 안정성이 저하될 수 있다. 광고 및 추적 위험 일부 무료 VPN은 광고를 삽입하거나 사용자의 온라인 활동을 추적하여 광고주에게 판매할 수 있다. 이 경우 사용자가 광고를 보아야 하거나 개인 정보를 노출해야 할 수도 있다. 제한된 기능 무료 VPN은 유료 버전에 비해 기능이 제한될 수 있다. 예를 들어, 특정 프로토콜이나 고급 보안 기능을 지원하지 않는 경우가 그렇다. 유료 VPN의 필요성 최근 유행하는 로맨스 스캠은 인터넷 사기의 일종으로, 온라인 데이트나 소셜 미디어를 통해 가짜 프로필을 만들어 상대를 속이는 행위다. 이러한 상황에서 VPN은 사용자가 안전한 연결을 유지하고 사기 행위를 방지하는 데 도움이 된다. VPN을 통해 사용자는 상대방의 신원을 확인하고 의심스러운 활동을 감지할 수 있다. 서프샤크 VPN은 구독 요금제 가입 후 7일간의 무료 체험을 제공하고 있다. ⓒ Surfshark 그 외에도 유료 VPN만의 강점을 적극 이용해야 하는 이유는 다음 3가지로 요약할 수 있다. 보안 강화 해외 여행객이 증가함에 따라 공공 와이파이를 사용하는 경우가 늘어나고 있다. 그러나 공공 와이파이는 보안이 취약해 개인 정보를 노출할 위험이 있다. 따라서 VPN을 사용하여 데이터를 암호화하고 개인 정보를 보호하는 것이 중요하다. 서프샤크 VPN은 사용자의 개인 정보를 안전하게 유지하고 해킹을 방지하는 데 유용하다. 개인정보 보호 인터넷 사용자의 검색 기록과 콘텐츠 소비 패턴은 플랫폼에 의해 추적될 수 있다. VPN을 사용하면 사용자의 IP 주소와 로그를 숨길 수 있으며, 개인 정보를 보호할 수 있다. 또한 VPN은 사용자의 위치를 숨기고 인터넷 활동을 익명으로 유지하는 데 도움이 된다. 지역 제한 해제 해외 여행 중에도 한국에서 송금이 필요한 경우가 생길 수 있다. 그러나 IP가 해외 주소이므로 은행 앱에 접근하는 것이 제한될 수 있다. VPN을 사용하면 지역 제한을 해제해 해외에서도 한국 인터넷 서비스를 이용할 수 있다. 따라서 해외에서도 안전하고 편리하게 인터넷을 이용할 수 있다. 빠르고 안전한 유료 VPN, 서프샤크 VPN ⓒ Surfshark 뛰어난 보안 서프샤크 VPN은 강력한 암호화 기술을 사용하여 사용자의 인터넷 연결을 안전하게 보호한다. 이는 사용자의 개인 정보와 데이터를 보호하고 외부 공격으로부터 사용자를 보호하는 데 도움이 된다. 다양한 서버 위치 서프샤크 VPN은 전 세계 곳곳에 여러 서버가 위치하고 있어, 사용자가 지역 제한된 콘텐츠에 액세스할 수 있다. 해외에서도 로컬 콘텐츠에 손쉽게 접근할 수 있음은 물론이다. 속도와 대역폭 서프샤크 VPN은 빠른 속도와 무제한 대역폭을 제공하여 사용자가 원활한 인터넷 경험을 누릴 수 있도록 지원한다. 온라인 게임, 스트리밍, 다운로드 등 대역폭이 필요한 활동에 이상적이다. 다양한 플랫폼 지원 서프샤크 VPN은 다양한 플랫폼 및 디바이스에서 사용할 수 있다. 윈도우, 맥OS, iOS, 안드로이드 등 다양한 운영체제 및 디바이스에서 호환되어 사용자가 어디서나 안전한 인터넷을 즐길 수 있다. 디바이스 무제한 연결 서프샤크 VPN은 무제한 연결을 제공하여 사용자가 필요할 때 언제든지 디바이스의 갯수에 상관없이 VPN을 사용할 수 있다.