2017.05.08

데이터 사이언스 볼, 암 탐지 알고리듬을 만들기 위해 경쟁하는 데이터 과학자 대회

Thor Olavsrud | CIO
데이터 과학자들은 머신러닝을 사용해 폐암을 탐지하고 있다. 지난 1월부터 전세계 약 1만 명의 데이터 과학자들이 데이터 사이언스 볼(Data Science Bowl) 대회에서 의료 전문가들이 폐암을 좀더 빨리 탐지할 수 있도록 도와주는 효과적인 알고리듬을 개발하는데 경쟁해왔다.

2010년 NLST(National Lung Screening Trial)는 사람들이 저조도 CT(computed tomography)를 통해 매년 검진을 받는다면 폐암으로 인한 사망자 20%를 줄일 수 있다는 것을 보여줬다. 하지만 조기 탐지를 위한 돌파구를 마련한 이 기술은 전통적인 X레이 이미지와 비교했을 때 오탐지율이 상대적으로 높다.


NCI의 고해상도 폐 영상, Credit: NATIONAL CANCER INSTITUTE

머신러닝업체인 캐글(Kaggle) CEO 앤서니 골드블룸은 부즈 앨런 해밀턴(Booz Allen Hamilton)이 매년 주최하는 데이터 사이언스 볼(Data Science Bowl)에서 "이런 강력한 접근 방법으로 20% 이상의 암 사망율을 낮췄지만, 오진율이 매우 높다"며, "수많은 사람이 자신이 암에 걸렸다는 말을 듣고 이후에 암이 아니라는 얘길듣는다. 이는 당사자에게 엄청난 스트레스를 가하는 것이다"고 말했다.

그래서 올해 데이터 사이언스 볼에서 부즈 앨런과 캐글은 오진율 문제를 해결하기 위해 데이터 과학과 머신러닝의 힘을 빌리기로 결정했다. 양사는 로라 앤 존 아놀드 재단(Laura and John Arnold Foundation)에서 100만 달러의 상금을 확보해 이 대회를 톱 10 콘테스트에 등록시켰다.

사회적 공익을 위한 데이터 과학
부즈 앨런의 수석 데이터 과학자이자 수석 부사장 조쉬 설리반은 "부즈 앨런과 캐글은 2015년 데이터 과학자를 사회적 공익에 초점을 맞추기 위해 데이터 사이언스 볼을 만들었다"고 말했다.

설리반은 "우리는 자사의 이익보다 더 큰 사회적 공익을 위해 무언가 함께 만들고 싶었다. 상당한 가치가 있는 공익을 위한 일은 어떤 것이 있는가? 자사의 이익, 고객의 이익이 아니라 공공을 위한 과학적 발견이 가져올 수 있는 그 무언가를 원한다. 오픈소스와 크라우드 소스를 통해 전세계 사람들에게 공급할 것이다"고 설파했다.

제 3회 데이터 사이언스 볼 대회에서는 300건이 넘는 아이디어가 제출됐다. 이전 대회에서는 해양 생태계 측정과 심장 질환 탐지에 초점을 맞췄다. 설리반은 "궁극적으로 더 많은 환자들에게 더 많은 치료법을 제공하고 암 예방과 조기 발견을 향상시키기 위해 암 연구를 가속화하기 위해 노력 중인 보 바이든 암퇴치(Beau Biden Cancer Moonshot)와 미국암연구소(National Cancer Institute, NCI)를 돕기로 결정했다"고 말했다.

NCI는 데이터 사이언스 볼에 2,000개의 익명화된 고해상도 CT 스캔 영상을 제공했는데, 각 영상의 데이터 용량은 기가바이트급이었다. 설리반은 이 가운데 1,500개의 이미지는 최종 진단을 동반한 훈련 세트라고 말했다. 나머지 500개의 이미지는 문제의 집합이다. 머신러닝 알고리듬은 훈련 세트를 이용해 500개의 이미지에 담겨진 폐의 병변이 암인지의 여부를 정확히 결정하는 방법을 배워야 했다. 이 알고리듬은 정확한 진단의 백분율을 기준으로 채점됐다.



이 데이터는 캐글의 플랫폼에 저장되어 있다. 지난 3월 구글이 인수한 캐글은 2010년 골드블룸에 의해 설립됐으며, 특히 예측 모델링과 분석 기술 대회를 주최해왔다. 기업과 연구원들은 그들의 데이터를 게재해 데이터 과학자들이 최고의 모델을 만드는데 경쟁할 수 있도록 한다. 캐글은 전세계 200여 국가에서 수십만 명의 등록된 '캐글러(Kagglers)'를 보유하고 있다.

이번 경쟁에서 캐글러들은 나선구조신경망(convolutional neural networks, CNN) 전문가였다. 나선구조신경망은 생체 내 시각적 매커니즘에 영감을 받은 딥 러닝 신경망의 한 유형이다.

CNN은 다른 유형의 문제에도 유용하지만 컴퓨터 가시성 문제에 뛰어나다. 이전 캐글 경쟁에서 캐글러들은 소셜 미디어에서 개와 고양이 그림을 구별할 수 있는 CNN 기반 알고리듬을 만들기 위해 경쟁하기도 했다.

NCI에 의해 제공된 CT 영상에 대해 골드블룸은 "이 데이터는 전혀 새로운 것이었다.
실제 이는 나선구조신경망을 이전에는 가지 않았던 방향으로 밀어붙였다. 의료 데이터 세트는 데이터 세트의 크기로 인해 항상 문제가 되어왔다. 인터넷에서 고양이와 개의 그림은 몇 개나 될까? 아마도 수백만 개일 것이다. 그러나 의료 이미지를 모두 수집하는 데에는 극도로 많은 비용이 든다. 개와 고양이 사진을 찍는 것보다 CT 촬영을 하는 이는 더 적다"고 설명했다.

골드블룸은 "CNN에 대해 관찰 수에 비해 너무 많은 매개변수를 갖고 있기 때문에 기본 관계보다 잡음을 설명하는 경향이 많은 과적합(overfitting)의 가능성이 높다"고 말했다.

과적합이 되지않은 나선구조신경망을 만드는 것은 어려우며, 데이터 세트가 작을수록 더 어려운 경향이 있다. 이는 실제 이 기술이 갖고 있는 문제로, 상대적으로 적은 수의 이미지를 갖고 일반화해야 한다.

거의 1만 명에 가까운 캐글러들이 이번 데이터 사이언스 볼 대회에 참여했다. 총괄적으로 이 참가자들은 15만 시간을 보내고 약 1만 8,000개의 알고리듬을 제출했다. 다수의 방사선 전문의들은 자신의 전문지식을 활용해 캐글의 포럼 참가자들을 지원했다.

데이터 사이언스 볼 수상자
결국, 우승자는 중국 칭화대학의 연구원인 랴오 팡저우와 저 리였다. 네덜란드 머신러닝 엔지니어인 줄리안 더 빗과 대니얼 해먹이 2위를 차지했다. 네덜란드 기반의 기업에서 근무하는 팀은 3위를 차지했다.

미국 국립보건원(National Institutes of Health, NIH)은 미국 식품 의약품국(Food and Drug Administration, FDA)와 협력해 CT 영상을 읽는 소프트웨어 내 이런 분석 기술이 적용될 수 있게끔 한다는 방침이다. 설리반은 "이것이 우리가 추구하는 것이며, 효과다"고 말했다.

설리반은 "NIH와 FDA는 다수의 최적절한 알고리듬을 고려할 것을 기대한다. 최고의 팀간에는 사실 약간의 점수차에 불과했으며 일부는 좀더 많은 발전 가능성과 확장성을 갖고 있다"고 말했다. editor@itworld.co.kr 


2017.05.08

데이터 사이언스 볼, 암 탐지 알고리듬을 만들기 위해 경쟁하는 데이터 과학자 대회

Thor Olavsrud | CIO
데이터 과학자들은 머신러닝을 사용해 폐암을 탐지하고 있다. 지난 1월부터 전세계 약 1만 명의 데이터 과학자들이 데이터 사이언스 볼(Data Science Bowl) 대회에서 의료 전문가들이 폐암을 좀더 빨리 탐지할 수 있도록 도와주는 효과적인 알고리듬을 개발하는데 경쟁해왔다.

2010년 NLST(National Lung Screening Trial)는 사람들이 저조도 CT(computed tomography)를 통해 매년 검진을 받는다면 폐암으로 인한 사망자 20%를 줄일 수 있다는 것을 보여줬다. 하지만 조기 탐지를 위한 돌파구를 마련한 이 기술은 전통적인 X레이 이미지와 비교했을 때 오탐지율이 상대적으로 높다.


NCI의 고해상도 폐 영상, Credit: NATIONAL CANCER INSTITUTE

머신러닝업체인 캐글(Kaggle) CEO 앤서니 골드블룸은 부즈 앨런 해밀턴(Booz Allen Hamilton)이 매년 주최하는 데이터 사이언스 볼(Data Science Bowl)에서 "이런 강력한 접근 방법으로 20% 이상의 암 사망율을 낮췄지만, 오진율이 매우 높다"며, "수많은 사람이 자신이 암에 걸렸다는 말을 듣고 이후에 암이 아니라는 얘길듣는다. 이는 당사자에게 엄청난 스트레스를 가하는 것이다"고 말했다.

그래서 올해 데이터 사이언스 볼에서 부즈 앨런과 캐글은 오진율 문제를 해결하기 위해 데이터 과학과 머신러닝의 힘을 빌리기로 결정했다. 양사는 로라 앤 존 아놀드 재단(Laura and John Arnold Foundation)에서 100만 달러의 상금을 확보해 이 대회를 톱 10 콘테스트에 등록시켰다.

사회적 공익을 위한 데이터 과학
부즈 앨런의 수석 데이터 과학자이자 수석 부사장 조쉬 설리반은 "부즈 앨런과 캐글은 2015년 데이터 과학자를 사회적 공익에 초점을 맞추기 위해 데이터 사이언스 볼을 만들었다"고 말했다.

설리반은 "우리는 자사의 이익보다 더 큰 사회적 공익을 위해 무언가 함께 만들고 싶었다. 상당한 가치가 있는 공익을 위한 일은 어떤 것이 있는가? 자사의 이익, 고객의 이익이 아니라 공공을 위한 과학적 발견이 가져올 수 있는 그 무언가를 원한다. 오픈소스와 크라우드 소스를 통해 전세계 사람들에게 공급할 것이다"고 설파했다.

제 3회 데이터 사이언스 볼 대회에서는 300건이 넘는 아이디어가 제출됐다. 이전 대회에서는 해양 생태계 측정과 심장 질환 탐지에 초점을 맞췄다. 설리반은 "궁극적으로 더 많은 환자들에게 더 많은 치료법을 제공하고 암 예방과 조기 발견을 향상시키기 위해 암 연구를 가속화하기 위해 노력 중인 보 바이든 암퇴치(Beau Biden Cancer Moonshot)와 미국암연구소(National Cancer Institute, NCI)를 돕기로 결정했다"고 말했다.

NCI는 데이터 사이언스 볼에 2,000개의 익명화된 고해상도 CT 스캔 영상을 제공했는데, 각 영상의 데이터 용량은 기가바이트급이었다. 설리반은 이 가운데 1,500개의 이미지는 최종 진단을 동반한 훈련 세트라고 말했다. 나머지 500개의 이미지는 문제의 집합이다. 머신러닝 알고리듬은 훈련 세트를 이용해 500개의 이미지에 담겨진 폐의 병변이 암인지의 여부를 정확히 결정하는 방법을 배워야 했다. 이 알고리듬은 정확한 진단의 백분율을 기준으로 채점됐다.



이 데이터는 캐글의 플랫폼에 저장되어 있다. 지난 3월 구글이 인수한 캐글은 2010년 골드블룸에 의해 설립됐으며, 특히 예측 모델링과 분석 기술 대회를 주최해왔다. 기업과 연구원들은 그들의 데이터를 게재해 데이터 과학자들이 최고의 모델을 만드는데 경쟁할 수 있도록 한다. 캐글은 전세계 200여 국가에서 수십만 명의 등록된 '캐글러(Kagglers)'를 보유하고 있다.

이번 경쟁에서 캐글러들은 나선구조신경망(convolutional neural networks, CNN) 전문가였다. 나선구조신경망은 생체 내 시각적 매커니즘에 영감을 받은 딥 러닝 신경망의 한 유형이다.

CNN은 다른 유형의 문제에도 유용하지만 컴퓨터 가시성 문제에 뛰어나다. 이전 캐글 경쟁에서 캐글러들은 소셜 미디어에서 개와 고양이 그림을 구별할 수 있는 CNN 기반 알고리듬을 만들기 위해 경쟁하기도 했다.

NCI에 의해 제공된 CT 영상에 대해 골드블룸은 "이 데이터는 전혀 새로운 것이었다.
실제 이는 나선구조신경망을 이전에는 가지 않았던 방향으로 밀어붙였다. 의료 데이터 세트는 데이터 세트의 크기로 인해 항상 문제가 되어왔다. 인터넷에서 고양이와 개의 그림은 몇 개나 될까? 아마도 수백만 개일 것이다. 그러나 의료 이미지를 모두 수집하는 데에는 극도로 많은 비용이 든다. 개와 고양이 사진을 찍는 것보다 CT 촬영을 하는 이는 더 적다"고 설명했다.

골드블룸은 "CNN에 대해 관찰 수에 비해 너무 많은 매개변수를 갖고 있기 때문에 기본 관계보다 잡음을 설명하는 경향이 많은 과적합(overfitting)의 가능성이 높다"고 말했다.

과적합이 되지않은 나선구조신경망을 만드는 것은 어려우며, 데이터 세트가 작을수록 더 어려운 경향이 있다. 이는 실제 이 기술이 갖고 있는 문제로, 상대적으로 적은 수의 이미지를 갖고 일반화해야 한다.

거의 1만 명에 가까운 캐글러들이 이번 데이터 사이언스 볼 대회에 참여했다. 총괄적으로 이 참가자들은 15만 시간을 보내고 약 1만 8,000개의 알고리듬을 제출했다. 다수의 방사선 전문의들은 자신의 전문지식을 활용해 캐글의 포럼 참가자들을 지원했다.

데이터 사이언스 볼 수상자
결국, 우승자는 중국 칭화대학의 연구원인 랴오 팡저우와 저 리였다. 네덜란드 머신러닝 엔지니어인 줄리안 더 빗과 대니얼 해먹이 2위를 차지했다. 네덜란드 기반의 기업에서 근무하는 팀은 3위를 차지했다.

미국 국립보건원(National Institutes of Health, NIH)은 미국 식품 의약품국(Food and Drug Administration, FDA)와 협력해 CT 영상을 읽는 소프트웨어 내 이런 분석 기술이 적용될 수 있게끔 한다는 방침이다. 설리반은 "이것이 우리가 추구하는 것이며, 효과다"고 말했다.

설리반은 "NIH와 FDA는 다수의 최적절한 알고리듬을 고려할 것을 기대한다. 최고의 팀간에는 사실 약간의 점수차에 불과했으며 일부는 좀더 많은 발전 가능성과 확장성을 갖고 있다"고 말했다. editor@itworld.co.kr 


X