많은 기업이 데이터 중심 조직이 되기 위해 투자를 늘리고 있다. 또한 AI 기술의 폭발적인 증가로 인해 점점 더 많은 양의 교육 데이터가 요구되고 있으며, 자연스레 데이터의 품질이 더욱 중요해지고 있다. 이때 데이터 파이프라인을 구축하고 데이터 일관성, 유효성, 적시성, 가시성 등을 높인 우수한 데이터 품질을 기술적으로 확보하는 과정에서는 많은 시간과 비용이 필요하다.
종종 간과되지만 데이터 품질에서 편향성 문제를 해결해야 한다. 그리고 이런 문제를 해결하는 가장 좋은 방법은 성별, 민족성, 연령, 국가 배경, 교육, 비즈니스 전문성 등의 측면에서 데이터 팀을 최대한 다양하게 구성하는 것이다.
데이터 중심 기업이 더 많은 성과를 내다
지난 몇 년간 많은 연구가 데이터 기반 의사 결정을 하는 기업이 더 많은 매출을 가져다준다는 가능성을 제시했다. 예를 들어, 2022년 IDC가 600여 개 기업을 대상으로 실시한 설문 조사에 따르면, 성숙한 데이터 관행으로 인해 매출이 3배 증가하고, 신제품 및 서비스의 출시 기간이 단축될 가능성도 거의 3배 증가하며, 고객 만족도, 수익 및 운영 효율성이 향상될 가능성이 2배 이상 증가하는 것으로 나타났다.또한 하버드 비즈니스리뷰 및 구글 클라우드가 비즈니스 리더를 대상으로 3월에 실시한 설문 조사에 따르면, 데이터 및 AI 분야에서 앞서가는 리더는 운영 효율성, 매출, 고객 충성도 및 직원 이탈 방지, 직원 만족도 및 IT 비용 예측 가능성을 관리하는 능력이 매우 높은 것으로 나타났다.
경영진도 데이터의 중요성을 체감하는 중이다. 세일즈포스가 약 1만 명의 경영진을 대상으로 하여 올봄에 발표한 글로벌 설문 조사에 따르면, 80%는 데이터가 조직의 의사 결정에 중요하다고 답했으며 73%는 데이터가 불확실성을 줄이고 정확성을 높이는 데 도움이 된다고 답했다.
다양성은 비즈니스에 이롭다
다양성의 장점을 보여주는 연구는 다른 곳에서도 많다. 특히 여러 연구에서 다양성은 더 나은 비즈니스 성과로 이어지며, 혁신적이고 더 나은 의사 결정을 내리고 직원 이직을 방지하는데 도움이 된다고 설명한다. 그런 면에서 이제는 대부분의 기업들이 다양성과 포용의 가치를 이해하고 있다.올해 2월에 발표된 PwC 보고서에 따르면 글로벌 기업의 85%가 다양성, 형평성 및 포용성을 명시된 가치 또는 우선순위로 삼고 있다. 이 중 46%는 인재를 유치하고 이직을 방지하기 위해, 20%는 비즈니스 성과를 달성하기 위해, 13%는 명성을 높이기 위해, 11%는 규제 요구사항을 준수하기 위해 이러한 노력을 기울였다.
그러나 다양성 목표를 완벽하게 달성할 수 있는 기업은 사실상 찾기 어려운 상황이다. 데이터과학 산업은 특히 다양성이 부족한 곳으로 유명하다.
채용 전문 서비스 기업 지피아(Zippia)가 집계한 자료에 따르면, 미국 데이터 과학자의 20%만이 여성이다. 미국 인구의 19%가 히스패닉이지만 여성 과학자 중에는 7%만이 히스패닉이고, 인구의 12%에 달하지만 여성 과학자 중 4%만이 아프리카계 미국인이었다.
법률 서비스 회사인 클리오(Clio)의 의사 결정 과학 수석 책임자인 니카 카비리는 “팀 내 다양성이 없으면 서로 다른 생활 경험을 인식할 가능성이 낮다”라며 “경영진이 다양한 팀원을 고용하는 것 이상으로 노력해야 한다”라고 설명했다.
또한 카비리는 “기업은 보다 다양한 목소리를 위한 공간을 만들어야 한다. 또한 개인들이 제품 개발에 깊이 영향을 미칠 수 있도록 각 팀원이 다양한 삶의 경험을 편안하게 공유할 수 있도록 해야 한다. 그렇지 않으면, 경영진은 피상적인 방법으로 편견을 해결하고 결국 다양성이 부족한 제품이 나올 것이다”고 말한다.
컨설팅 기업 젠팩트(Genpact)의 AI 및 ML 서비스 부사장이자 글로벌 리더인 스리칸스 메논은 생성형 AI와 대형 언어 모델(LLM)의 출현으로 오늘날 특히 다양성이 더욱 중요해졌다고 설명했다. 메논은 또한 LLM의 핵심 문제인 편견과 환각(hallucination)은 편향된 학습 데이터로 인해 나오고 있다고 보고 있다. 예를 들어, LLM 대부분 다른 외국어보다 영어 데이터 관련 성능이 높다.
메논은 “다양한 지역 출신으로 구성된 팀은 이러한 편견을 해결하는 데 도움이 될 수 있다”라고 설명했다. 마찬가지로 인종, 성별 등 여러 분야의 다양성은 데이터 프로젝트에서 윤리성을 갖추는 데 도움이 될 뿐만 아니라 사고의 다양성을 가져올 수도 있다.
예를 들어, 메논의 팀 중 20~30%는 수학 또는 통계학 출신으로 구성됐다. 나머지는 그 외 다양한 전공을 소유했다. 메논은 “우리 팀에서는 생물정보학 전공자가 있다. 서로 다른 배경은 도움이 된다”라고 말했다.
데이터 플랫폼 업체 인럽트(Inrupt)의 디지털 신뢰 및 윤리 담당 부사장 데이비드 오텐하이머는 “AI는 데이터 편향 문제를 증폭시킬 수 있는 잠재력을 가지고 있으며, 이는 치명적인 결과로 이어질 수 있다”라고 설명했다.
예를 들어, 초기 이미지 인식 시스템은 흑인 얼굴을 동물과 구분하지 못하는 논란을 만들었으며, 일부 AI 시스템은 총을 들고 손을 대부분을 흑인으로 분류해서 문제를 일으켰다. 오텐하이머는 “팀의 다양성 부족으로 무고한 사람들이 죽을 수도 있다”라고 경고했다.
분석 솔루션 업체인 블라스트포인트(BlastPoint)의 공동 설립자 앨리슨 알바레즈는 “팀 내 다양성이 부족하여 문제 있는 기술이 나온 경우를 수도 없이 봤다. 가령 수도꼭지에 자동 센서가 나왔을 때 초기에는 짙은 피부색을 인식하지 못했다. 실제로 해당 기술개발 기업은 다양성이 없었고, 테스트하는 팀조차 다양성을 갖고 있지 않았다”라고 덧붙였다.
성별, 인종 또는 성적 지향성을 넘어서 다양성의 기준은 여러 가지가 있다. 즉 누군가의 국적이 포함될 수 있고, 그들이 알레르기나 다른 건강 문제를 가졌는지도 다양성 기준으로 포함될 수 있다고 알바레즈는 주장한다.
다양성 개념에는 회사 내 직급의 수준도 반영되어야 한다. 알바레즈는 “만약 당신이 직급이 낮은 사람들에게 권한을 부여하지 않는다면, 높은 직급의 직원 관점만 포함될 것이다”라고 말했다.
예를 들어, 챌린저 우주왕복선 참사는 작업 엔지니어들이 제기한 밀폐 신뢰성 문제를 사전에 논의했다면 막을 수 있었다. 각 부품의 밀폐 신뢰성 문제는 발사 전날을 포함해 2년 동안 엔지니어가 제기했으나 무시된 것이다.
전 마이크로소프트 부사장 가브리엘라 슈스터는 데이터를 바라보는 눈이 한 쌍뿐일 때는 상황을 놓치기 쉽다고 말한다. 현재 그녀는 우먼 인 클라우드 및 우먼 인 테크놀로지(Women in Cloud and Women in Technology)의 창립 멤버, 우먼 비즈니스 콜래버러티브(Women Business Collaborative)의 고문, 너디오 및 마임캐스트의 이사, 버크셔 파트너의 전략 고문을 맡고 있다.
슈스터는 “많은 경우 사람들은 자신의 가정을 검증하기 위해 데이터를 사용하고 그러한 가정을 검증하지 않는 데이터는 무시한다. 데이터 세트를 보는 눈이 당신에게 충분히 많다면 이러한 현상을 피하게 된다”라고 말했다.
그렇다면 그러한 눈을 어디서 찾을 수 있을까?
슈스터는 기업들이 10년 이상 데이터 과학 경험을 가진 사람 외에도 새로운 팀원이 필요하다고 조언했다. 그녀는 “오랜 경력을 가진 사람들만 찾고 있었다면, 다양한 후보를 확보하지 못할 것”이라며 “데이터 과학은 빠르게 변화하고 있으며, AI와 데이터 프로세스에 대해 다른 방식으로 생각할 수 있는 새로운 인력이 필요하다”라고 설명했다.
심지어 채용할 때 데이터 과학자라는 직함에 국한될 필요는 없다. 슈스터는 “정보를 정리하고 패턴을 통해 생각하는 경험이 있는 사람이라면 좋은 후보다. 가령 생물학 또는 경제학 학위를 가진 사람이 그런 사고 방식을 가지고 있을 수 있다. 혹은 교육 프로그램을 통해 관련 능력을 키울 수 있다”라고 말했다.
회사의 다른 영역 또는 데이터 과학 팀이 구축하는 제품을 사용하는 다른 부문에서 다른 후보자가 나올 수 있다. 이들은 사용자 요구사항과 비즈니스 가치를 이해하고 있으며 도메인 전문 지식을 필요로 했다.
슈스터는 “컴퓨터 과학 배경이나 정보 시스템 배경이 없는 사람들을 낮춰보면 안된다. 그렇게 생각한 CIO는 나중에 매우 후회할 수 있다. 기술 관련 전공자만 무리하게 고집하면 비즈니스를 이해하거나 업계 또는 업종을 이해하고 다양한 정보를 가져올 수 있는 훌륭한 사람을 놓치게 된다. 실제로 그런 일이 일어나는 것을 수없이 보았다”라고 말했다.
슈스터는 또한 최대한 다양한 후보자들을 선택할 것을 권장한다. 여성을 더 고용하려는 경우, 최종 후보자 중 여성이 적어도 두 명은 있어야 한다. 슈스터는 “후보가 한 명이라면 그 한 명으로 모든 편견이 만들어질 것이다”라고 말했다.
그녀는 여러 지역에서 후보자를 찾을 것을 추천하고, 다양한 인재를 고용하기 위해서는 면접 패널 자체가 다양해야 한다고 권고한다.
마지막으로, 서로 다른 배경과 관점을 가진 팀원을 찾는 리더는 기존 네트워크에서 벗어날 줄 알아야 한다. 슈스터는 “사람들은 자신들과 같은 사람들을 주로 만나는 경향이 있다. 당신이 아는 사람을 벗어나지 않으면 다양한 후보를 얻지 못할 것이다”라고 설명했다.
포레스터 애널리스트인 킴 헤링턴은 네트워크를 확장하려는 리더를 위해 다음과 같은 팁을 제시했다. 일단 링크드인에 접속하여 찾고자 하는 IT 인재와 관련된 분야에서 전문가 5명을 찾고 이들을 팔로우 하라.
헤링턴은 “그런 다음 피드가 다양하고 훌륭한 목소리로 가득 찰 때까지 팔로워를 추가하면서 최대한 자주 이 작업을 다시 반복하라”라고 말했다.
알고리즘 저스티스 리그(The Algorithmic Justice League) 같은 링크드인 페이지를 팔로우하는 것은 좋은 시작점이 될 수 있다. 헤링턴은 “‘사람’ 탭을 눌러 팔로우한 페이지와 연결된 다양한 배경을 가진 사람들을 찾을 수 있을 것이다. 그뿐만 아니라 그들은 똑똑하고 열정적이며, 당신과 당신의 팀이 기술과 그 함정에 대해 더욱 유념할 수 있도록 도와줄 것이다”라고 설명했다.
기업 내 인력 및 기술 부족 문제가 심화되고 있지만, 정작 기업들은 채용 시기가 되면 ‘적합한 사람을 찾을 수 없다’라며 불평하고 있다.
헤링턴은 “물론 그런 변명을 하는 사정이 다 있을 것이다. 하지만 여러분의 네트워크, 기대치가 너무 높을 수 있다. 또는 잠재적으로 시대에 뒤떨어진 인사 시스템과 정책 때문에 사람을 뽑지 못하고 있는 것일 수도 있다. 2023년 같은 시기에는 노력만 하면 다양한 인재를 충분히 영입할 수 있다”라고 말했다.
헤링턴이 CIO에게 제안하고 싶은 것은 ‘수치로 보여주라는 것’이다.
헤링턴은 “이것이 데이터 이니셔티브와 품질을 개선하고자 하는 CIO와 CDO를 위한 개인적인 조언이다. 이를 위해 CIO는 동료 데이터 및 애널리틱스 리더들과 협력하여 데이터 팀의 다양성, 다양한 직원 이탈방지, 데이터 역할에서 다양한 직원 수, 후보 다양성 인구통계, 승진률, 포용성 및 소속 수준, 급여 수준, 리더십의 다양성 및 직원 참여 수준을 측정하고 소통하는 것과 관련하여 ‘어떻게 하면…’이라고 질문할 수 있다”고 말했다.
한 가지 방법은 조직이 이미 수집하고 있는 데이터로 시작하는 것이다. 예를 들어, 조직은 고객 기반 또는 주로 서비스를 제공하는 위치에 대한 인구 통계 데이터를 수집할 수 있다. 헤링턴은 “그런 다음 EEOC 직원 데이터를 비교하여 백분율을 볼 때 어디에 불일치가 있는지 확인하라”라고 말했다.
다양성으로 인재를 유치하다
글래스도어의 2023년 직장 동향 보고서에 따르면 미국 노동자의 74%가 새로운 직업을 고려할 때 다양성, 형평성, 포용성에 대한 기업 투자가 자신에게 ‘매우 중요하다’거나 ‘어느 정도 중요하다’고 말했다. 청년들은 특히 다양성에 관심이 많았는데, 35세 미만 노동자의 72%가 다양성 이니셔티브를 경영진이 지원하지 않는다고 생각하면 채용 제안을 거절하거나 회사를 그만두겠다고 답했다. 그리고 3분의 2는 또한 리더십에 성별과 인종 불균형이 있는 회사의 일자리는 거절할 것이라고 밝혔다.가트너의 애널리스트인 조르겐 하이젠버그는 “내가 조사를 통해 알게 된 한 가지 사실은 팀의 다양성이 실제로 모든 유형의 인재 유치 향상으로 이어진다는 것이다. 그리고 다른 배경을 가진 팀들은 더 성공적이고 창의적이며, 이는 궁극적으로 더 높은 이탈방지율로 이어진다”라고 설명했다.
기술 너머를 바라보기
데이터 과학팀에서 다양성을 확보하면 문제에 대한 순수한 기술적 해결책을 넘어 더 많은 기회가 확보할 수 있다. 하이젠버그는 “데이터와 AI는 같은 배경과 교육을 받은 사람들로 채워져 있으며, 기술 중심 접근 방식이 지배적이다”라고 설명했다.그렇기 때문에 데이터 팀은 예산, 시간, 인력의 대부분을 데이터 관리, 데이터 거버넌스 및 고급 애널리틱스와 같은 기술에 사용한다. 그러나 성공을 촉진하고 예측하는 목표를 달성하려면 데이터 기반 문화를 구축해야 한다.
하이젠버그는 “문제 해결에 핵심이 될 수 있는 데이터 기반 문화 구축은 간과하면서, 거버넌스, 툴 및 기술에 훨씬 더 많은 시간을 소비한다는 것은 앞뒤가 안 맞는 일이다. 데이터팀 문제의 상당수는 비슷한 배경과 경험을 가진 사람들이 같은 종류의 일을 하는 데서 비롯된다. 내부 인력이 사일로화되는 셈이다”라고 말했다.
가트너 설문 조사에 따르면 내부 성공을 가로막는 핵심 장애물에는 비지니스 임원진의 지원, 인력 및 자금 부족, 변화를 위한 문화 구축이 있었다.
하이젠버그는 “데이터 및 분석 작업을 할 경우 기술 중심의 접근 방식과 사람 중심의 접근 방식 간에 균형을 맞춰야 한다”라며 “이를 위해 여러 부서와 여러 분야로 구성된 팀을 구성해야 합니다”라고 강조했다.
ciokr@idg.co.kr