소셜미디어

트위터, 검색엔진 개편 “속도 및 범위 향상”

Juan Carlos Perez | IDG News Service 2010.10.08

트위터가 검색엔진의 벡엔드 인프라를 개편해 속도와 인덱스 용량 및 쿼리 프로세스, 결과 도출 등을 강화함과 동시에 안정성을 높이고 새로운 기능을 몇 가지 추가했다.

 

트위터는 몇 주 내에 자사의 검색엔진을 새로운 플랫폼에 적용할 예정이다.

 

트위터의 검색엔진은 트위터가 2008년 중반 인수한 섬마이즈(Summize)의 MySQL에 기반 하고 있는데, 시스템을 확대하는 것은 어려웠다.

 

이에 따라 트위터의 엔지니어링 팀은 오픈소스인 텍스트 검색엔진 루씬(Lucene)으로 기술을 교체하는 프로젝트를 진행해왔다. 루씬은 자바에 기반하고 있다.

 

트위터는 루씬의 쓰레기통 모음이나 쿼리 종료, 포스팅 목록, 데이터 구조 및 알고리즘 등 일부를 수정하고, 인덱스 기반의 검색엔진은 남겨 두어서 검색 범위가 커지고 성능은 향상됐다.

 

트위터는 초당 1만 2,000개의 검색 쿼리, 혹은 하루에 10억 쿼리를 처리하며, 올라간 트윗은 10초 이내에 검색 인덱스에 들어간다.

 

트위터는 “우리는 백엔드 리소스의 5%만 사용하고 있는 것으로 추정하는데, 이것은 공간이 많다는 의미이다. 새로운 검색엔진은 현재 보다 초당 50배 많은 트윗을 인덱스하게 될 것으로 기대한다”라고 밝혔다.

 

비록 트위터에 올라오는 글들은 구글이나 마이크로소프트의 빙에서도 검색이 가능하지만, 사이트내에서의 검색은 트위터 서비스의 핵심 요소 중 하나다.

 

트위터는 개인이나 기업이 짧은 소식을 전하는 수단으로 사용할 뿐만 아니라, 뉴스, 트렌드, 생각 등의 실시간 데이터로 그 가치를 인정받고 있다

 

이런 트윗의 가치를 최대화 하기 위해서 트위터는 반드시 빠르고, 포괄적이며, 범위가 큰 검색엔진이 필요하다. 이에 따라 이번 트위터 검색엔진 개편은 회사가 내부 검색엔진 능력의 중요성을 인지하고 있다는 사실을 보여준다. editor@idg.co.kr

 Tags 검색 트위터
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.