웹서비스

“웹 트래픽의 절반은 봇”...관련 비용도 상상 이상

Katherine Noyes | IDG News Service 2016.05.16
절반에 가까운 웹 트래픽이 봇과 크롤러에 의한 것이며, 이로 인해 기업이 감당해야 하는 비용도 상당한 것으로 드러났다.

지난 주 디바이스아틀라스(DeviceAtlas)의 올해 1분기 모바일 웹 인텔리전스 보고서에 따르면, 인간이 아닌 것에 의해 발생하는 웹 트래픽이 전체의 48%에 달한다. 디바이스아틀라스는 합법적인 검색엔진 크롤러는 물론, 해커나 클릭 사기꾼, 스패머가 만든 자동화된 스크레이퍼와 봇도 상당한 비중을 차지하고 있다고 밝혔다. 디바이스아틀라스는 웹 사이트 방문자가 사용하는 디바이스를 탐지하는 소프트웨어를 개발하는 업체로, 대규모 인터넷 도메인 등록기관 산하에 있다.

봇 기술은 오래 전부터 인터넷 트래픽의 상당 부분을 차지해 온 것으로 잘 알려져 있다. 하지만 오늘날에는 한층 더 악의적으로 변했으며, 기업은 훨씬 더 비싼 대가를 치르고 있다. 모바일 콘텐츠 제공업체인 닷모비의 CTO 로난 크레민은 “우리는 그동안 봇을 수동적인 주변 소음 정도로 생각해 왔다”라며, “그러던 것이 이제는 실질적으로 사이트와 인터랙션을 하고 인간의 트래픽을 똑같이 흉내 낸다”라고 지적했다.


이미지 : Getty Images Bank

이런 봇은 보통 클릭을 만들어 가짜 광고 매출을 만드는 데 사용됐는데, 최근 일부 봇은 가격에 영향을 미치기 위해 온라인 구매까지 실행하고 있다. 크레민은 “상당히 까다로운 문제이다”라며, “이제 봇을 배치하기가 너무 쉽고 저렴해져서 게임의 판도가 바뀌었다”라고 설명했다.

디지털 마케터는 자사 웹 사이트를 방문하는 트래픽의 상당수가 제대로 된 사람의 트래픽이 아니라는 것을 오래 전부터 알고 있었다. 그리고 거의 모든 웹 분석 툴은 이런 인간 외의 트래픽을 걸러내려는 노력을 기울여 왔다. 하지만 그리 쉽지 않은 일이었다.

컴퓨터 이코노믹스의 사장 프랭크 스카보는 “클릭 사기 프로그램은 트래픽이 사람의 것으로 보이도록 긴 시간을 머문다. 게다가 광고 판매자와 마케팅 대행사는 웹 트래픽 숫자가 줄어드는 것에 관심을 가지지 않으려 한다”고 지적했다.

그렇다면 기업이 취할 수 있는 조처는 무엇인가? 스카보는 “만약 노출이나 클릭을 기반으로 한 광고를 한다면, 분석 결과를 면밀하게 검토할 필요가 있다”고 지적했다. 또 가능하다면 마케팅 예산을 노출 회수나 클릭 회수가 아니라 전환율과 같은 구체적인 비즈니스 성과와 연결하라고 덧붙였다.

인간이 아닌 트래픽을 식별할 수 있는 툴을 사용하면, 이런 봇 방문자를 별도의 서버로 보내 격리할 수 있다. 크레민은 “주 웹 사이트가 이런 봇 때문에 실제 방문자에게 상당히 느려질 수 있다”며, “이런 트래픽을 제한하는 것으로 상당한 비용을 절감할 수 있다”고 강조했다. 또 “방문자가 사람이 아니라는 것을 알면 일부 사이트 기능을 제공하지 않는다”라고 덧붙였다.

이런 식의 대응은 비즈니스의 특성에 따라 달라지지만, 티켓을 구입하는 등의 봇 기능을 차단하는 것은 적절한 조처가 될 수 있다.

또한 일부 봇은 단순히 정보를 얻기 위해 만들어지는데, 이런 정보는 기업이 제공하는 API를 통해 좀 더 쉽게 얻을 수 있다. 포레스터의 대표 애널리스트 마이클 페이스마이어는 “만약 어떤 정보가 지금 당장 유용한 것은 물론, 앞으로도 계속 유용하다는 것을 알면, 개발자라면 제일 먼저 이런 정보를 계속 얻을 수 있는 API가 있는지를 살펴볼 것이다”라며, “만약 그런 API가 없다면, 다음으로 가장 쉬운 방법은 정보를 얻기 위해 정기적으로 해당 사이트의 내용을 긁어오는 봇이나 크롤러를 만드는 것이다”라고 설명했다.

크롤러는 기업의 웹 사이트에 악영향을 미치기 때문에 분석 프로그램을 사용하는 것이 중요하다. 먼저 봇이나 크롤러가 어떤 페이지를 주로 긁어가는지를 보고, 그 다음에는 공개 API로 이들 정보의 일부를 노출할 수 있는지를 결정해야 한다.

결국에는 고양이와 쥐 게임이 되고 만다. 엔드포인트 테크놀로지 어쏘시에이츠의 사장 로저 케이는 “악한들은 항상 돌아가는 방법을 만들어 낸다. 그리고 착한 사람은 이런 관계없는 트래픽을 걸러내기 위해 할 수 있는 모든 것을 다 한다”라고 덧붙였다. editor@itworld.co.kr

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.