기업 환경에서 서서히 빛을 발하는 ‘시맨틱 웹’

2010년, 가방류 소매업체인 이백스닷컴(Ebags.com)은 경기 침체에도 불구하고 전년 대비 33%가 늘어난 기록적인 연말연시 매출을 달성했다. 온라인 소매 부문은 이 기간에 평균 15%의 매출 상승률을 보였다. 이백스의 공동 창업자인 피터 코프에 따르면, 블랙 프라이데이(Black Friday)와 사이버 먼데이(Cyber Monday) 모두 역대 최고 기록을 세웠다.

그리고 코브는 이와 같은 실적 개선이 이백스가 새로 도입한 엔데카 테크놀러지(Endeca Technologies)의 온라인 소매 플랫폼 때문이라고 언급했다. 쇼핑객의 키워드 선택과 클릭을 분석한 후, 그 결과를 카테고리에서 서브카테고리, 마이크로 카테고리로 좁혀 나가는 시맨틱 기술을 이용한 플랫폼이다.

결과는? 코브는 "쇼핑객이 원하는 완벽한 가방을 아주 빠르게 찾아준다. 구체적으로 엔데카의 웹 사이트 내비게이션 소프트웨어는 쇼핑객들로 하여금 자신이 원하는 상품을 형태, 브랜드, 가격, 크기별 필터를 이용해 찾을 수 있도록 한다"며, "우리는 500개 브랜드 4만 종에 달하는 가방을 취급하고 있고, 시맨틱 검색이 쇼핑 체험에 얼마나 중요한지 깨닫게 됐다"고 설명한다.

이백스의 CTO 크리스 커밍스에 따르면, 이백스는 시맨틱 기술을 이용해 제품과 특징, 카테고리별 관련성을 아주 자세히 설명할 수 있다. 또 웹 검색 엔진에 더 많은 결과가 나타나도록 할 수도 있다.

구체화되는 팀 버너스리의 비전

1990년대 말, 웹의 아버지로 잘 알려진 팀 버너스 리는 사람들이 정확한 정보를 찾고, 원하는 제품에 대한 답을 제공하는 '시맨틱 웹'에 대한 자신의 비전을 발표했었다. 버너스 리는 사람들이 복잡한 쿼리를 설계하거나 여러 키워드 수십 개를 조합하지 않거나, 수천 페이지에 달하며 관련도 없는 URL들을 분류하지도 않고 이런 일이 가능해야 한다고 희망했다.

그리고 W3C는 이런 일들을 구현하기 위해 컴퓨터 플랫폼 및 소프트웨어 에이전트가 여러 웹사이트와 도메인, 그리고 기업 내부의 다양한 정보 사일로에서 정보를 파악하고, 접속하고 통합하는 표준을 개발했다.

베스트바이닷컴(BestBuy.com)의 웹 개발 엔지니어인 제이 마이어스는 이와 관련, 소매업체와 제조업체가 W3C 표준 RDF(Resource Desctiption Framework)를 이용해 세부적인 제품 정보를 주고받을 수 있는 기술이라고 예를 들었다. 마이어스는 "현재, 제조업체의 상당수는 스프레드시트에 제품 정보를 담아 제공하고 있다. 한마디로 분류가 어려운 형태이다“라며, ”베스트바이닷컴 또한 W3C RDF의 기능이 제공하는 모든 혜택을 완전히 활용하고 있지 못하다. 아직까지도 미래에 달성해야 할 목표일 뿐"이라고 설명했다.

사실 버나드 리의 꿈이 실현되기까지는 갈 길이 멀다. 하지만 가까워지고 있다. 많은 기업의 의사 결정자들은 시맨틱 기술 도입이 비용과 위험을 보상해 줄지에 대해 여전히 의구심을 갖고 있다. “Next Wave of Technologies”의 저자이자 컨설턴트인 필 사이몬은 이와 관련, "현재 우리에게 필요한 것은 비판적인 시각을 유지하고 있는 대부분의 비즈니스 사용자들이 시맨틱 웹 소프트웨어에 기꺼이 투자를 할 수 있도록 하는 '킬러' 앱이다"라고 강조하고 있다.

시맨틱 웹 기술은 느리지만 확실하게 관심을 모으고 있는 중이다. 전자상거래, 전자출판, 의료에서 마케팅 및 금융 서비스에 이르기까지 다양한 산업의 기업 사용자들은 시맨틱 기술을 완벽하게 이해하지 못하고, ROI 달성 방법을 제대로 알지 못하는 상태에서도 혜택을 거둬들이고 있다. 고객이 자사 제품에 대해 실제 생각하는 바가 무엇인지 파악할 수 있도록 해주는 '감성 분석' 같은 기존의 방법론은 시맨틱 기술에 힘입어 추진력을 얻고 있다.

#######

더 나아가 IBM, 오라클, SAS, 마이크로소프트 등 엔터프라이즈 소프트웨어 업체들 또한 시맨틱 검색과 W3C 표준을 자사 플랫폼에 통합하기 시작하고 있다. 구글이나 마이크로소프트의 빙, 야후 같은 웹 검색 엔진들도 마찬가지이다.

베스트바이닷컴의 마이어스는 이를 입증할 수 있는 인물이다. 마이어스의 팀은 회사 블로그의 제품 페이지에 시맨틱 메타데이터를 추가했고, 얼마 지나지 않아 유기적인 검색 트래픽이 30% 가까이 늘어났다. 웹 광고 클릭보다는 사용자 검색을 통해 트래픽이 발생했다는 의미이다.

시맨틱 기술의 의미

시맨틱 소프트웨어는 다양한 기법을 이용해 데이터 객체의 의미와 상호 관계를 분석하고 설명한다. 특정 산업에서 쓰이는 용어 정의 사전, 의미가 다양한 단어 같은 언어적 모호성을 해소하기 위한 문법 및 문맥 분석이 여기에 포함된다.

예를 들어, 'there are 40 rows in the table(테이블에는 40개의 '열'이 있다)'이라는 문장에서 'rows'는 명사이다. 하지만 'she rows five times a week (그녀는 1주일에 5차례 '노를 젓는다')'에서 'rows'는 동사이다. 또 'stock'이라는 단어는 문장에 따라 '재료', '재고', '주식' 등으로 뜻이 달라진다.

언어적 모호함을 해소하는 방법에 있어서는, 쇼핑객들이 'used red cars(붉은색 중고 자동차)'와 같은 구를 사용해 웹 사이트에서 검색을 할 때, 조금 다른 단어를 사용했지만 의미는 비슷한, 예를 들면 'pre-owned red automobiles(과거 다른 사람이 소유한 적이 있는 붉은색 자동차)'와 같은 검색 결과를 동시에 보여주도록 해야 한다.

또 사이먼은 시맨틱 검색은 사용자가 아이튠즈나 아마존에서  '1970년대 독특한 박자와 몽환적인 분위기의 프로그레시브 록 음악“ 같이 복잡한 문구를 타이핑하면 핑크 플로이드라는 검색 결과를 찾아낼 수 있다고 설명한다.

다시 한 번 정의하자면, 콘텐츠는 서술 메타데이터나 '마크업(markup)'으로 표시되고, 온톨로지(Ontology)에 도식화된다. 온톨로지는 데이터 객체와 관계를 설명하는 스키마(schema)이다. 그리고 이를 개발하기 위해서는 시맨틱 스키마를 이해하는 기술자와 해당 비즈니스 용어들을 잘 알고 있는 전문가들이 협력해야 한다.

시맨틱 네트워크는 단어의 관계와 의미로 이루어진 복잡한 지도이다. 여기에는 모든 단어의 모든 의미가 포함되며, 단어 간의 관계도 포함된다. 자료 : Expert System SPA

시맨틱 웹 기술이란 W3C 표준을 기반으로 시맨틱 검색, 쿼리, 출판, 배포를 지원하는 제품과 아키텍처를 일컫는 말이다. OWL(Ontology Language), RDF(Resource Description Framework), SPARQL(Simple Protocol And RDF Query Language)와 XLM 및 HTTP 같은 기존 웹 프로토콜이 여기에 포함된다.

숨어있는 조력자

이백스닷컴의 커밍스는 자신도 시맨틱 기술에 대해 잘 알지 못했었다고 인정했다. 하지만 엔데카의 시맨틱 기반 온라인 소매 플랫폼이 이백스의 매출 증가에 중요한 역할을 했다는 사실은 아주 잘 알고 있다. 커밍스는 "도입 이후, 구매 전환율이 2배로 뛰었다"고 밝혔다.

사실 현업 사용자, 아니 심지어는 일부 IT 부서 임원들조차도 자신들의 전자상거래 또는 기업용 소프트웨어 플랫폼이 시맨틱 기술을 사용하고 있는지 항상 알고 있는 건 아니다. 하지만 이로 인한 혜택에 감사하는 것만은 분명하다.

매출 증가 외에, 시맨틱 기술이 가져다주는 혜택으로는 웹 검색엔진에서의 클릭수 및 고객 만족도 증가, 그리고 기업 내부적으로는 효과적인 의사 결정과 경쟁업체 및 시장 변화에 대한 빠른 대응 등을 들 수 있다.

초기 시맨틱 기술 애플리케이션 중 하나는 비즈니스 사용자들이 데이터가 어디에 위치해 있든, 또는 누가 데이터를 보유하고 있든, 필요로 하는 정보를 한층 쉽게 검색을 할 수 있도록 도왔다.

#######

온톨로지 관리 툴 전문업체인 리벨리틱스(Revelytix)의 CEO 마이클 랭은 시맨틱 플랫폼이 기존의 비즈니스 인텔리전스 시스템을 대신하게 될 것으로 전망하고 있다. 시맨틱 기술을 이용하면 이질적인 정보의 사일로에서 지속적으로 업데이트를 해야 하는 데이터 웨어하우즈 또는 마트로 모든 관련 데이터를 추출, 변환, 로드할 필요가 없기 때문이다.

시맨틱 기술에서는 이런 활동이 동시 다발적으로, 그리고 보이지 않는 가운데 일어난다.

리서치 그룹인 아웃셀(Outsell) 산하 질베인 그룹(Gilbane Group)의 애널리스트 린다 몰톤에 따르면, 시맨틱 기술은 다음과 같은 특징의 일부 또는 전부를 갖고 있는 데이터와 관련, 문제에 직면해 있는 기업들에 상당한 혜택을 제공할 수 있다.

- 방대하고, 수백 만에 달하는 비구조화 문서 데이터

- 범위와 깊이가 복잡한 데이터

- 최종 사용자에게 있어 가치가 크지만, 작고, 이질적인 조각으로 이뤄진 데이터

- 전문 영역에서의 사용을 위해서 고도로 숙련된 전문가들이 주의를 기울여야 하는 데이터

- 온라인 상의 발견이나 연구 목적으로 차별화하지 않은 데이터. 즉, 메타데이터가 부족하거나, 지능적인 검색 지원을 위한 구조화된 포맷이 없는 데이터.

- 발견시 수익에 직접, 간접적으로 영향을 미칠 가능성이 큰 데이터.

몰턴은 "시맨틱 기술은 이런 정보들을 결집, 통합, 선별, 분석해 인간이 수동적인 방식으로는 획득할 수 없는 개념이나 의미를 드러내도록 처리할 수 있다"고 설명한다. 출판 및 생명 과학 산업의 기업들은 시맨틱 기술의 '얼리 어댑터'들이다. 하지만 지금은 '콘텐츠가 인간이 관리할 수 없는 수준으로 늘어난' 기업들이 이들의 뒤를 추격하고 있는 중이다.

클릭 경쟁

시맨틱 기술은 검색 엔진들이 한층 나은 방식으로, 그리고 정확하게 관련 콘텐츠를 찾을 수 있도록 해준다. 즉, 만약 소매 웹 사이트를 운영하고 있다면, 시맨틱 기술이 구현된 검색은 더 많은 쇼핑객들을 불러들이고, 구매하고자 하는 제품을 쉽게 찾도록 지원한다.

베스트바이닷컴이 사례가 될 수 있다. 마이어스는 이와 관련, "웹 상에서 상점과 제품에 대한 가시성이 확대되면서 ROI가 개선됐다"고 밝혔다. 1,100여 상점 블로그의 제품 페이지에 시맨틱 메타데이터를 추가하는 일은 쉽지가 않았다. 하지만 마이어스의 팀은 독일의 대학교수인 마틴 헤프가 전자상거래용으로 개발한 온톨로지인 굿릴레이션(GoodRelations)을 이용해 기술 인력들의 업무 부담을 줄였다.

굿릴레이션은 표준화된 용어를 제공한다. 온톨로지, 즉 제품, 가격, 기업 데이터에 대한 시맨틱 웹 용어이다. 이런 정보를 기존 웹 페이지에 내장할 수 있고, W3C 프로토콜을 지원하는 여타의 컴퓨터, 애플리케이션, 검색 엔진을 이용해 처리할 수 있다. 앞서 언급했듯, 이는 W3C 표준을 지원하는 검색엔진에서 쓸 수 있는 풍부한 제품 정보를 생성해준다. 또 여러 전자상거래 사이트 전반에 걸쳐 적용할 수 있는 시맨틱 쿼리를 제공할 수 있다. 물론 다른 전자상거래 업체들 또한 자사의 데이터에 이런 용어를 포함시켜야 한다. 지금까지는 베스트바이닷컴과 오버스톡닷컴(Overstock.com)을 포함 몇 안되는 소매업체들만이 이런 작업을 마무리한 상태이다.

마이어스는 또 "새로운 방법이나 기술을 도입했을 때와 비교해, 굿릴레이션을 도입하는데 든 시간은 아주 미미했다"고 덧붙였다. 전형적인 개발자들의 경우, 최초 도입이 이뤄지고 난 후, 굿릴레이션을 다루는 것은 HTML을 코딩하는 것만큼 쉽다는게 마이어스의 설명이다.

베스트바이닷컴은 시맨틱 검색의 정확성과 역량을 활용, 쇼핑객들이 자신들이 원하는 것을 찾을 수 있도록 도울 뿐 아니라, 매출이 크지 않은 비인기 상품 같은 특정 상품에 고객이 관심을 갖도록 하는 방법을 연구 중이다. 마이어스의 팀은 지난 해 초 시맨틱 웹 표준을 기반으로, 매장 관리자들이 베스트바이닷컴이 운영하는 워드프레스(WordPress) 기반 블로그에 반품 제품이나 '전시 제품'에 대한 정보를 쉽게 퍼블리싱할 수 있는 프로그램을 개발했다. 그리고 이들 제품은 낮은 가격 때문에 고객들로부터 높은 인기를 얻고 있다.

익스퍼트 시스템(Expert System), 캠브리지 시맨틱스(Cambridge Semantics), 시네쿠아(Sinequa), 렉사리틱스(Lexalytics) 같은 업체들이 제공하는 시맨틱 웹 플랫폼은 사용자들이 내부 엔터프라이즈 데이터는 물론, 블로그를 포함한 웹 소스, 페이스북같은 소셜 네트워크, 그리고 기타 웹 2.0을 쿼리할 수 있도록 해준다.

직원들의 질문에 답변을 제공

브이그 건설(Bouygues Construction)은 시네쿠아의 컨텍스트 엔진(Context Engine)을 이용해, 직원들이 광범위한 분야에 대한 자신들의 질문에 답변을 제공할 수 있는 내부 전문가들과 연락을 주고받을 수 있도록 하고 있다.

세계적인 건축기업인 브이그에서 e서비스 및 지식 관리 책임을 맡고 있는 에릭 위앵은 이와 관련, "이들 전문가는 세계 어디에든 위치해 있을 수 있고, 변호사이거나, 엔지니어이거나, 임원일 수도 있다"고 설명했다. 시맨틱 플랫폼은 교육 훈련 교재, 프로젝트 문서, 기타 내부 자료와 웹 기반의 신문 및 과학 출판물 같은 방대한 분량의 비구조화 정보를 분석해 기업 내부의 모든 사례 또는 지식을 파악하고 범주화한다.

#######

또 지식 종사자들이 기업 내부 시스템이나 웹 상에 존재하는 정보를 빠르게 찾는데도 이용되고 있다. 이 시맨틱 엔진은 문서와 내부 전분가의 조언을 꼼꼼히 살피고, 사용자의 쿼리와의 관련성을 참조해 해당 정보에 점수를 매긴다.

에릭 위앵은 구체적인 ROI 수치가 나온 것은 아니지만, 이 플랫폼이 브이그의 직원들이 건축 현장에서 저지를 수 있는 실수를 없애는데 큰 역할을 했다는 상당한 증거가 있다고 말했다. 직원들이 자신들의 질문에 답변을 할 수 있는 사람들과 신속히 연락을 취할 수 있도록 해주기 때문이다. 또 이런 증거들은 도입에 따른 비용을 정당화하는데도 도움을 줬다. 하지만 가격이 비싼 것도 아니다. 위앵은 "브이그의 ERP 프로젝트에 들어간 비용보다도 훨씬 저렴했다"고 덧붙였다.

시맨틱 검색을 위한 팁

전문가들은 데이터 보전이 아주 중요한 전제조건이라는 점에 의견을 모으고 있다. 질베인 그룹의 애널리스트인 지오프리 보크는 "어떤 콘텐츠를 어느 정도까지 좋은 메타데이터를 이용해 강화해야 할지 결정해야 한다. 그래야 잠재성이 풍부한 시맨틱 웹을 제공해 줄 애플리케이션을 구축하는 작업을 시작할 수 있다."고 말한다.

컨설턴트인 사이몬은 "혁신적인 정보 기술을 도입하는 프로젝트에 다수 참여하면서 터득한 사실이 있다"며 "데이터 클린징이나 통합 같은 데이터 보전 작업을 하지 않는다면, 나쁜 데이터에 더 잘 접속할 수 있게 되는 것밖에 안된다."고 강조한다.

캠브리지 시맨틱스의 기술 담당 부사장 리 파이겐바움은 IT와 경영 부서가 서로 협력해 시맨틱 기술을 통해 '차별화된 가치'를 창출할 수 있는 프로젝트를 결정해야 한다고 충고한다. 개발 주기를 앞당길 수 있을까? 최종 사용자가 새로운 데이터를 분석할 수 있을까? 고객이나 파트너의 체험 개선? 등이다.

또 적어도 초기만이라도 여유를 가지고 진행해야 한다고 조언하고 있다. 프로젝트는 사람들이 익숙해지고, 그 혜택을 깨닫기 시작하면서 아주 중요해지게 된다는 것.

실제로 베스트바이가 이런 경로를 밟았다. 베스트바이의 시맨틱 웹 도입은 1년이 지난 지금 아주 많은 발전이 진행 중이다. 물론 시맨틱 웹 그 자체도 마찬가지이다.

마이어스는 "시맨틱 툴과 오픈소스 프로젝트는 아주 많다. 그리고 SPARQL은 아주 강력한 쿼리 언어"라며, "이는 나에게 한 가지 기대를 주고 있다. 시맨틱 기술이 최소한 빅 데이터라는 문제에 대한 답을 제공할 것이라는 점이다. 우리는 사용하지도 못하는 방대한 데이터를 보유하고 있다. 만약 이들 데이터에 포함되어 있는 지식을 얻고, 이를 고객과 비즈니스 파트너에게 전달할 방법을 찾을 수만 있다면 큰 경쟁력이 될 것"이라고 강조했다.  editor@idg.co.kr