'빅 데이터로 나무 가지치기 문제 해결' ... 뉴욕 시의 사례

콘크리트와 유리로 이루어진 이 도시 정글 뉴욕 시. 얼핏 이해하기 어렵겠지만, 뉴요커들은 나무를 아주 좋아한다. 먼 데서 온 관광객들이야 타임스퀘어 광장으로 떼지어 몰려 할 것이다. 그러나 뉴요커들은 공원이야말로 뉴욕의 심장이며 영혼이라고 생각한다.

맨하탄의 센트럴 파크, 브룩클린의 프로스펙트 파크, 퀸즈의 플러싱 메도스 코로나 파크, 브롱스의 밴 코트랜드 파크, 스태튼 아일랜드의 그린벨트는 물론 이들 5개 구역 곳곳을 장식한 녹지들과 수백 개의 소규모 공원 모두 여기에 속한다. 물론, 길거리를 따라 길게 늘어선 가로수도 빼놓을 수 없다.

전부 합쳐서 뉴욕 시에는 약 250만 그루의 나무가 있다. 뉴욕 시민들은 나무를 좋아하지만, 뉴욕 시 공원 관리소(City of New York Parks & Recreation) 입장에서는 나무가 큰 골칫거리가 아닐 수 없다. 하지만 빅 데이터가 해답을 제시했다.


데이터카인드(DataKind)의 데이터 대사(data ambassador)인 브라이언 데일산드로는 뉴욕 시 공원 관리소에서 보내오는 나무 가지치기 관련 데이터에 대한 데이터다이브(DataDive) 행사를 담당한 인물이다.

사실 이 문제는 비단 돈 때문만은 아니다. 사람의 목숨이 달려 있는 일이기도 하다. 2009년에서 2010년 사이에 약 11개월 동안 센트럴 파크에서만 4명의 행인이 떨어지는 나뭇가지에 부딪혀 목숨을 잃거나 부상을 당했고, 그 가운데에는 2010년 6월 나뭇가지에 깔려 목숨을 잃은 생후 6개월의 여아도 있었다.

이보다 1년 전쯤에는 센트럴 파크의 한 떡갈나무에서 100파운드(약 45kg)에 달하는 나뭇가지가 떨어지는 바람에 한 37세 구글 소프트웨어 엔지니어의 두개골에 금이 가고 척추까지 손상된는 사건이 있었다.

수목 전문가들은 나무에 가지치기 및 기타 작업을 해 주는 것이 나무를 더욱 건강하게 하고 악천후를 잘 견딜 수 있게 하며, 나무로 인한 재산 피해나 부상, 인명 피해를 막을 수 있다고 설명한다. 그러나 브라이언 데일산드로는 "이는 상식으로만 알려져 있을 뿐, 이를 뒷받침할 연구 결과나 데이터는 아직까지 없다"고 말했다.

데일산드로는 미디어6디그리(media6degrees, m6d) 머신 학습 기반 광고 프로바이더 데이터 사이언스(Data Science)부서의 부대표이며, 자원봉사를 희망하는 데이터 과학자와 빅 데이터 관련 문제를 해결하고자 하는 비영리 단체를 연결해 주는 데이터카인드의 데이터 대사이기도 하다.

기계학습 레버리징 기술에서 인과적 의문에 대한 해답을 찾다
데일산드로는 "수년 전, 뉴욕에서는 도시 수목을 좀더 잘 관리하기 위해 프로그램을 구성한 적이 있다"고 말했다. 이 프로그램은 정기적인 가지치기 및 관리 스케줄을 통해 폭풍우나 강풍으로 인한 피해를 줄이는 것이 목표였다.

수년 간, 관련 부처에서는 어느 구역 나무들이 가지치기를 했고, 가지치기한 나뭇가지를 제거하기 위해 몇 번이나 직원을 보내야 했는지 등에 대한 기록을 보관해왔다.

이들은 이 모든 데이터로 완전무장하고 데이터카인드를 찾아와 다음과 같이 물었다. "이번 해에 가지치기 해 주면, 다음 해에는 나무로 인해 입는 피해 횟수가 줄어들까요?"
경험많은 광고 전문가나 애널리틱스 전문가라면 이 질문이 '인과적 의문(causal question)'임을 눈치챘을 것이다. 인과 분석(causal analysis)는 정식 실험 없이 행하기에는 아주 어려운 분석에 속한다.

데일산드로는 또 이 문제를 대상으로 A/B 테스트를 진행하는 것은 사람의 목숨을 가지고 실험을 하는 것과 다를 바 없기 때문에 불가능하다고 지적했다. 하지만 제대로 된 데이터만 있다면 통계학적으로 실험을 재구성해 낼 수는 있다고 말했다.

데일산드로는 광고 업계에서 쌓아온 경험을 통해 이에 필요한 기술을 얻었다. 몇 년 전, 데일산드로와 m6d의 그의 팀은 인상 로그(impression logs)를 분석해 파급 효과(causal impact)를 추측하는 방법을 알아냈던 바 있다.

하지만 뉴욕의 수목 문제에 접근하는 건 그렇게 단순한 일이 아니었다. 그동안 아무리 많은 자료를 모아 놓았다고는 해도, 어디까지나 보고하기 위한 목적의 자료 수집이었지 행동으로 옮기기 위한 자료 수집이 아니었기 때문이다.

데이터 수집이 핵심
데일산드로는 "시에서 모은 데이터는 전혀 유기적이지 않았다. 한 마디로, 데이터를 기록할 당시 이들을 하나로 합치는 것에 대해서는 생각해 본 적이 없었다"고 회고했다.

예를 들어, 이들 데이터는 단위 크기(granularity)가 전부 달랐다. 과거 가지치기 작업에 대한 데이터는 블록 별로 기록한 반면, 가지치기 잔해를 청소한 것에 대한 데이터는 주소 단위로 기록된 식이었다.

데일산드로는 "여기서 가장 큰 문제는 분석의 가장 기초적인 단위를 무엇으로 할 지 정하는 것이다. 통계학자는 세상을 여러 개체들로 나눈다. 단열(single row)에 상응하는 것은 무엇일까? 이들은 각 나무 한 그루에 특정 감정인을 두지 않는다. 할 수 있는 한 자세한 단위로 데이터를 확보하는 것, 그러면서도 넓은 범위의 데이터를 손에 넣는 것, 그리고 그 둘 사이의 균형을 맞추는 일"이라고 설명했다.

궁극적으로, 이들은 도시의 한 블록을 기본 단위로 정하는 데 합의했다. m6d의 CEO 덕분에, 데일산드로는 업무 시간 일부를 데이터를 다운로드하고, 정리하고, 합치고, 분석하는 데 쓸 수 있었다.

심지어 회사의 고성능 서버 인프라스트럭처를 사용해 집중 모델링을 할 수도 있었다. 그리고 그는 뉴욕 시의 문제에 대한 해답을 찾았다. 나무를 가지치기하면 관련 부처에서 비상시에 직원을 보내야 하는 횟수가 22% 가량 줄어들었던 것이다.

"올해 가지치기를 한 블록의 경우 내년에 위험 사고 발생 확률이 22% 가량 낮을 것이라는 구체적인 정보가 나온 것은 이번이 처음이라고 했다"고 데일산드로는 말했다.