2015.02.16

美 DARPA, “다크웹” 검색하는 검색엔진 개발한다

Katherine Noyes | IDG News Service
미국 국방부 산하 방위고등연구계획국(DARPA)가 통상적인 방법으로는 찾을 수 없는 ‘다크웹(Dark Web)’까지 추적하는 차세대 검색엔진, ‘메멕스(Memex)’ 개발에 착수했다.

구글이나 빙 등의 일반적인 검색엔진들이 찾아주는 것은 ‘표면’에 있는 정보에 불과하다. 검색엔진들은 기본적으로 크롤러(스파이더)라는 검색 로봇을 통해 정보를 수집하는데, 마약거래나 성매매, 인신매매 등의 범죄 정보들은 이들의 검색 범위에서 벗어나 있기 때문에 수집이 불가능한 것이다.

실제로, 많은 조사업체들이 추정한 바에 따르면 구글이 보여주는 정보는 전체 웹의 10%에 불과하다. 대부분의 정보들은 검색 망에서 벗어나 있는 것이다.

올해 초, 메멕스 프로젝트에 참가하게 된 카네기 멜론 대학교는 DARPA로부터 360만달러에 달하는 기금을 지원받았다. 지난 2014년 처음 공개된 메멕스 프로젝트는 카네기 멜론 대학교 연구진들의 참여 아래 3년에 걸쳐 진행될 계획이다.

카네기멜론 로봇기술 대학 교수 제프 슈나이더는 "그러나 메멕스를 사용하면 이러한 다크웹들까지 검색할 수 있게 된다. 특히, 메멕스는 대량의 데이터에서 패턴을 분석하는 머신러닝 알고리즘을 한 차원 더 높은 단계로 발전시키기 때문에 구글을 뛰어넘는 검색 엔진이 될 수 있다”고 설명했다.

이어, “이미 미국의 수사 기관들이 카네기 멜론 연구진 측에서 개발한 검색 기술을 활용하고 있다. 하지만 메멕스의 검색 알고리즘은 범죄 추적 외에도 사람들이 관심을 갖고 있는 다른 분야에서도 충분히 활용될 수 있다. 예를 들어, 증권 애널리스트들의 경우, 메멕스를 통해 현재 주식과 관련된 다크웹 콘텐츠들을 검색할 수 있다”고 덧붙였다.

특히, 메멕스는 사용자들의 피드백을 기반으로 도메인 특화 인덱싱이나 도메인 특화 검색과 같은 기능이 지속적으로 강화될 수 있기 때문에 정부 기관을 넘어 상용화 계획도 고려되고 있다 editor@itworld.co.kr 


2015.02.16

美 DARPA, “다크웹” 검색하는 검색엔진 개발한다

Katherine Noyes | IDG News Service
미국 국방부 산하 방위고등연구계획국(DARPA)가 통상적인 방법으로는 찾을 수 없는 ‘다크웹(Dark Web)’까지 추적하는 차세대 검색엔진, ‘메멕스(Memex)’ 개발에 착수했다.

구글이나 빙 등의 일반적인 검색엔진들이 찾아주는 것은 ‘표면’에 있는 정보에 불과하다. 검색엔진들은 기본적으로 크롤러(스파이더)라는 검색 로봇을 통해 정보를 수집하는데, 마약거래나 성매매, 인신매매 등의 범죄 정보들은 이들의 검색 범위에서 벗어나 있기 때문에 수집이 불가능한 것이다.

실제로, 많은 조사업체들이 추정한 바에 따르면 구글이 보여주는 정보는 전체 웹의 10%에 불과하다. 대부분의 정보들은 검색 망에서 벗어나 있는 것이다.

올해 초, 메멕스 프로젝트에 참가하게 된 카네기 멜론 대학교는 DARPA로부터 360만달러에 달하는 기금을 지원받았다. 지난 2014년 처음 공개된 메멕스 프로젝트는 카네기 멜론 대학교 연구진들의 참여 아래 3년에 걸쳐 진행될 계획이다.

카네기멜론 로봇기술 대학 교수 제프 슈나이더는 "그러나 메멕스를 사용하면 이러한 다크웹들까지 검색할 수 있게 된다. 특히, 메멕스는 대량의 데이터에서 패턴을 분석하는 머신러닝 알고리즘을 한 차원 더 높은 단계로 발전시키기 때문에 구글을 뛰어넘는 검색 엔진이 될 수 있다”고 설명했다.

이어, “이미 미국의 수사 기관들이 카네기 멜론 연구진 측에서 개발한 검색 기술을 활용하고 있다. 하지만 메멕스의 검색 알고리즘은 범죄 추적 외에도 사람들이 관심을 갖고 있는 다른 분야에서도 충분히 활용될 수 있다. 예를 들어, 증권 애널리스트들의 경우, 메멕스를 통해 현재 주식과 관련된 다크웹 콘텐츠들을 검색할 수 있다”고 덧붙였다.

특히, 메멕스는 사용자들의 피드백을 기반으로 도메인 특화 인덱싱이나 도메인 특화 검색과 같은 기능이 지속적으로 강화될 수 있기 때문에 정부 기관을 넘어 상용화 계획도 고려되고 있다 editor@itworld.co.kr 


X