Offcanvas
Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.
Offcanvas
1111Some text as placeholder. In real life you can have the elements you have chosen. Like, text, images, lists, etc.

알고리즘

페이스북, 알고리즘 추천 아닌 시간순으로 게시물 보여주는 ‘피드’ 탭 추가

페이스북이 게시물을 시간순으로 정렬하는 기능을 추가한다.   페이스북 CEO 마크 주커버그는 21일 “친구가 올린 글을 놓치지 않게 해달라는 요청이 많았다”라며 “새롭게 출시된 피드(Feeds) 탭으로 친구가 올린 글이나 그룹 및 페이지에 올라온 게시물을 시간순으로 볼 수 있을 것”이라고 밝혔다. 피드 기능은 당장 이용할 수 없지만 조만간 페이스북 서비스 가장 상단에 위치할 것으로 보인다.  주커버그는 “페이스북 홈 탭은 계속 맞춤 정보를 보여줄 예정이며, 페이스북의 알고리즘을 통해 사용자가 가장 좋아할 만한 콘텐츠를 추천할 것”이라며 “피드 탭은 사용자가 스스로 보고 싶은 콘텐츠를 구성하고 제어할 수 있는 환경”이라고 설명했다.   주커버그는 왜 그동안 이런 기능을 지원하지 않았는지는 밝히지 않았다.  editor@itworld.co.kr

페이스북 피드 알고리즘 2022.07.22

"공정 사용 논란에도⋯" 깃허브, AI 코딩 비서 '코파일럿' 출시

깃허브가 (아직 논란의 여지가 있긴 하지만) AI 기반 코딩 비서 ‘코파일럿’을 GA(Generally Available) 버전으로 출시했다. 깃허브 코파일럿의 비용은 월 10달러 또는 연간 100달러다. 하지만 인기 있는 오픈소스 프로젝트의 유지관리자와 학생에게는 무료로 제공되고 60일 무료 평가판도 있다.  2021년까지 기술 프리뷰 상태였던 이 도구는 사용자의 프로그래밍 편집기에 연결해 현재 맥락을 기반으로 코드와 함수를 제안한다. 업체에 따르면 코파일럿은 완전한 메소드, 상용구 코드, 단위 테스트, 심지어는 복잡한 알고리즘까지 제안할 수 있다. 이 ‘AI 페어 프로그래머’ 도구는 깃허브의 퍼블릭 리포지토리에 있는 코드를 포함해 공개적으로 사용 가능한 수십억 줄의 소스코드와 자연어를 학습한 언어 모델 오픈AI 코덱스(OpenAI Codex)를 기반으로 한다. 한편 자유 소프트웨어 재단(Free Software Foundation)은 코파일럿에 대해 “용납할 수 없고 부당하다”라고 지적했다. 재단은 무료 라이선스 소스코드로 AI 모델을 학습시킨 것이 공정 사용에 해당하는지 의문을 표했으며, 해당 도구를 쓰려면 무료가 아닌 소프트웨어를 실행해야 하기 때문에 “소프트웨어 대체 서비스”라고 비판했다.  편집기 확장 프로그램인 코파일럿은 네오빔(Neovim), 비주얼 스튜디오(Visual Studio), 비주얼 스튜디오 코드(Visual Studio Code), 젯브레인 IDE(JetBrains IDE)를 비롯한 편집기와 통합된다. 기술 프리뷰에는 지난 12개월 동안 120만 명의 개발자가 참여했다. 깃허브는 AI 기반 코딩이 개발자로 하여금 코드를 더 쉽게 작성할 수 있도록 해 소프트웨어 개발의 성격을 근본적으로 바꿀 것이라고 주장했다. ciokr@idg.co.kr

깃허브 AI 코딩 비서 코딩 2022.06.23

“페이스북, 알고리즘 변경으로 공화당만 이득” 미 대학 공동 연구팀

미국 마이애미 대학교와 라이트 스테이트 대학교의 공동 연구에 따르면, 2018년 페이스북이 알고리즘을 변경한 후, 미국 공화당이 페이스북 상에서 미국 민주당보다 더 높은 반응과 도달 범위를 얻은 것으로 나타났다. 이번 연구는 2016년 1월부터 2021년 8월까지 페이스북과 트위터 상에서 공화당과 민주당의 페이스북 그룹의 활동을 조사했다.   조사 결과, 2018년 말부터 페이스북 상에서 변화가 일어났는데, 같은 변화가 트위터에서는 확인되지 않았다. 연구팀은 공화당의 포스트와 관련한 활동이 가 민주당의 대응 포스트보다 확실하게 증가했다고 밝혔다 심지어 포스트를 더 자주 올린 쪽은 민주당이었다. 또한 페이스북이 알고리즘을 변경한 후, 공화당의 포스트는 민주당의 포스트보다 두 배 더 공유됐다. 이런 패턴을 기반으로 연구팀은 미국 내 정치 문화에 대한 우려를 제기했다. 2021년 미국인 10명 중 7명은 페이스북을 사용하고, 이 중 절반은 매일 사용한다고 밝혔다. 1/3이 넘는 사용자는 매일 페이스북으로부터 메시지를 받는다. 연구팀은 “만약 페이스북의 알고리즘 변경이 페이스북 상에서 양대 정당의 도달 범위에 영향을 미쳤다면, 페이스북이 실수로 또는 의도적으로 미국의 정치 현실에 영향을 미칠 가능성이 있다”고 지적했다. 페이스북은 2018년 알고리즘 변경 당시, “의미있는 소셜 인터랙션(Meaningful Social Interactions, MSI)이란 페이스북 사용자 간의 개인 연결을 강화하는 데 중점을 뒀다고 설명했다. 하지만 결과적으로 대중을 대상으로 한 메시지만 더 커졌고, 페이스북이 부정적인 언급과 혐오 발언에 보상을 제공해 페이스북에서 더 확산되도록 했다. 지난 해 내부 고발자 프란시스 호겐이 공개한 문서에 따르면, 페이스북은 자사 플랫폼의 부정적인 영향을 지나치게 낮게 평가하고 있다. 두 대학 공동 연구팀의 조사는 이런 사실을 확인하는 것으로 보인다. 연구팀이 이런 현상에 대한 다음과 같이 두 가지 가능한 설명을 제시했다. 분노는 소셜...

페이스북 메타 알고리즘 2022.06.14

알고리즘 관리에 고삐를 채울 EU ‘긱 워커’ 규정

이른바 ‘긱 워커(Gig Worker)’를 고용하는 기업은 유럽연합 집행위원회(European Commission, EC)가 최근 발의한 규정 아래 알고리즘 관리 및 모니터링에 대한 투명성을 높여야 할 전망이다. 이 규정이 발효되면 자동화된 시스템에 의해 관리되는 모든 노동자에게 확대 적용된다. 또한 다른 EU 규정과 마찬가지로 유럽에서 긱 워커를 고용한 미국 기업에도 영향을 미친다.    EC가 발의한 알고리즘 관리에 대한 규정은 지난 주 발표된 디지털 노동 플랫폼에서 일하는 직원의 지휘에 대한 조항 등 3가지 대책 가운데 하나이다. 차량 공유 회사인 우버와 리프트, 배달 회사인 딜리버루, 비공식 가사 도우미 서비스 플랫폼인 태스크래빗 등이 대표적인 적용 기업이다. EC에 따르면, 현재 EU의 긱 워커는 2,800만 명으로 추산되며, 2025년에는 4,300만 명으로 증가할 전망이다.  발의된 알고리즘 관리 규정은 긱 워커를 통제하는 데 사용되는 자동화된 시스템이 초래하는 부정적인 영향으로부터 노동자를 더 효과적으로 보호하는 데 목적이 있다. 벨기에 KU 루벤 대학 법학 교수인 발레리오 드 스테파노는 “알고리즘 관리가 초래하는 위험을 인식하는 측면에서 한 단계 발전했다. 지금까지 EC에서 나온 것 중 가장 세심한 주의를 기울인 접근법이다”고 평가했다.    알고리즘 관리의 이해  알고리즘 관리는 디지털 노동 플랫폼의 핵심 구성요소이다. 도구와 기법을 사용, 직원들의 업무를 자동으로 조율 및 조정한다. 작업을 할당하고 성과를 추적하는 것을 예로 들 수 있다. 또 사람이 감독하지 않고 데이터를 수집해 감시한다.  그러나 알고리즘 관리는 직원이 의사결정에 대응할 기회는 거의 주지 않고 직원들을 모니터링 및 평가하는 ‘블랙박스’ 시스템이라는 점에서 우려를 불러일으켰다.  비영리 단체인 워커 인포 익스체인지(Worker Info Exchange)의 최근 보고서에 따르면, 긱 워커 감시는 ...

긱워커 알고리즘 플랫폼노동 2021.12.20

"알고리즘 공정성을 검증하라" 인공지능 '편향 완화'의 이해

알고리즘 편향은 AI 업계에서 철저한 검토가 가장 활발히 진행 중인 분야다. 의도치 않은 시스템적 오류는 부당하거나 제멋대로인 결과로 이어질 위험이 있고, 특히 AI 시장이 2024년이면 1,100억 달러 규모에 이를 것으로 예상되는 상황에서 윤리적이고 책임 있는 표준화된 검토 기술의 필요성이 높아지고 있다. AI는 여러 가지 방식으로 편향되고 해로운 결과를 만들어낼 수 있다. 먼저, AI로 증강하거나 대체하려는 비즈니스 프로세스 그 자체다. 만일 그 프로세스와 맥락, 그리고 적용 대상이 의도와 관계없이 특정 집단에 대해 편향돼 있다면 그 결과로 나온 AI 애플리케이션 역시 편향된다. 또한, AI 개발자가 시스템의 목표, 사용자, 영향을 받는 대상의 가치관, 적용 방식 등에 대해 가진 근본적인 가정으로 인해 해로운 편향이 들어갈 수 있고, AI 시스템의 학습 및 평가에 사용되는 데이터 집합 내 데이터가 영향을 미칠 모든 사람을 대표하지 않거나 특정 집단에 대한 역사적, 체계적 편향을 나타낸다면 결과적으로 해를 끼칠 수 있다. 마지막으로는 모델 자체가 편향될 수 있다. 나이, 인종, 성별 등 민감한 변수, 또는 이름, 우편번호 등 대체 정보가 모델의 예측 또는 추천 요인인 경우다. 따라서 개발자는 각 분야의 어디에 편향이 존재하는지 파악해야 하고 부당한 모델로 이어지는 시스템과 프로세스를 객관적으로 감사해야 한다. 물론 이 작업이 말처럼 쉽지는 않다. 공정성의 정의는 21가지가 넘을 정도로 다양하다. AI를 책임 있게 만들기 위해서는 AI 개발 생애주기 전체에 걸쳐 윤리를 계획적으로 구축해 넣는 것이 편향 완화에 무엇보다 중요하다. 지금부터 각 단계를 자세히 살펴보자.     범위 모든 기술 프로젝트는 단순히 '구축 가능한가?'가 아닌 '이것이 존재해도 되는가?'라는 질문으로 시작해야 한다. 즉, 기술이 모든 문제나 과제의 해결책이라고 믿는 기술만능주의의 함정에 빠져서는 안 된다. 특히 AI의 경우에는 당면 목표 달성에 AI가 적합...

인공지능 편향 알고리즘 2021.08.27

현실화되는 금융 양자 컴퓨팅 “5~10년 이내에 몬테카를로 시뮬레이션 가능”

금융회사는 매도와 매수 결정을 위해 컴퓨터를 이용한 금융 시뮬레이션에 많이 의존한다. 특히 몬테카를로 시뮬레이션은 많은 금융회사가 위험을 평가하고 가격을 시뮬레이션하는 데 사용한다. 이런 시뮬레이션은 기업 재무 분야나 포트폴리오 관리에도 사용할 수 있다.   하지만 몬테카를로 시뮬레이션은 어마어마한 양의 복잡한 연산을 수행하기 때문에 막대한 컴퓨팅 자원을 사용하고 시간도 오래 걸린다. 몬테카를로 방법론을 사용하는 재무 연산은 보통 한 번 연산에 하루 정도가 걸린다. 비교적 평화로운 채권 시장이라면 이 정도로도 나쁘지 않지만, 좀 더 휘발성 강한 시장의 금융 거래에서는 오래된 데이터에 의존하는 셈이 된다.  다른 산업군이 실시간 데이터를 일상적으로 이용하는 디지털 세계의 기준에는 한참 못미치는 속도가 아닐 수 없다. 해결책은 몬테카를로 시뮬레이션의 연산 속도를 가속화하는 것이다.  대형 금융서비스 업체인 골드만 삭스와 양자 컴퓨팅 전문업체 QC 웨어에 따르면, 머지않아 이런 일이 가능할 것으로 보인다. QC 웨어는 QaaS(quantum-as-a-service) 업체로, 가까운 시일 내에 구현될(near-term) 양자 컴퓨팅 하드웨어에서 구동할 애플리케이션을 개발하고 있다. 두 협력업체의 연구팀은 몬테카를로 시뮬레이션을 5~10년 내에 사용할 수 있을 것으로 예상되는 양자 하드웨어에서 구동할 수 있는 새로운 양자 알고리즘을 개발해 왔다. 설명해야 할 것이 많다. 첫째, 가까운 시일에 구현될 양자 컴퓨팅 하드웨어이다. 기본적으로 양자 컴퓨터는 환경 노이즈에 민감해 오염된 결과가 나오기 쉬운데, 이렇게 결함 및 오류가 발생하기 쉬운 양자 컴퓨팅을 온전히 구현한 버전을 말한다. 실질적으로는 이 양자 컴퓨팅 장비는 오류율이 높고 여러 단계의 계산 후에 잘못된 결과값을 내놓을 것이다.  다행이라면, 양자 컴퓨터로 몬테카를로 시뮬레이션을 기존보다 1,000배는 빨리 수행하면서도 오류를 줄일 수 있는 양자 알고리즘이 있다는 것...

양자컴퓨팅 알고리즘 금융거래 2021.05.20

주목할 만한 암호화 혁신 4가지

암호화 기법 및 알고리즘을 강화하려는 시도의 성과들이 최근 급진전되는 양상이다. 여기 암호화 연구 분야에서 특히 주목할 만한 영역을 정리했다.    누가 데이터를 소유하는가? 누가 어떤 데이터를 읽을 수 있는가? 이와 같은 난제의 중심에는 암호화 알고리즘들이 자리하고 있다. 이들은 수학적으로 복잡하며 전문가도 이해하기 어려울 때가 많다. 그러나 모두가 암호화 알고리즘을 제대로 이해해야만 사기 중단과 개인정보 보호, 그리고 정확성 확보가 가능해진다. 오늘날 많은 연구자들이 알고리즘을 개선하는 한편 기존 알고리즘의 약점을 밝히려는 시도를 하고 있다. 최신 방식 중에는 보다 정교한 프로토콜과 보다 강력한 알고리즘으로 모든 사람을 보호할 수 있는 새로운 기회를 제공하는 것도 있다.  이러한 최신 도구들은 개선된 개인정보보호 기능과 민첩해진 애플리케이션을 결합하여 방어 능력을 향상시킬 것이다. 아직은 실험 단계인 양자 컴퓨터를 이용한 공격에도 견딜 수 있도록 고안된 것들도 있다.  특히 암호화폐 분야가 급성장하면서 이의 근간 기술을 단순히 금전과 거래의 안전만이 아닌 디지털 워크플로우의 모든 단계를 보호하려는 시도가 이뤄지고 있다. 모든 상호작용의 불멸화를 목적으로 한 블록체인을 만들어 내려는 연구와 혁신은 오늘날 컴퓨터 과학 중에서 가장 창의적이고 치열한 분야에 속한다. 이처럼 흥미진진한 혁신의 핵심은 매우 안정적이고 강력하며 안전하다는 점이다. 표준은 몇 십년 동안 지속되기 때문에 기업들은 프로토콜 재설계나 재코딩을 그렇게 자주하지 하지 않고도 표준을 신뢰할 수 있게 된다. 이를테면 SHA와 AES같은 표준 알고리즘은 NIST에서 관리한 세심한 공개 경쟁으로 설계됐는데 그 결과는 끊임없는 공개 공격에 놀라운 수준의 저항성을 보였다. 단 그 중에는 기술의 발전 덕분에 약간 약화된 것도 있다. 일례로 SHA1은 SHA256으로 대체해야 할 필요성이 대두되고 있다. 그렇지만 언급할 만한 심각한 보안 문제는 아직 발생하지 않...

암호화 블록체인 알고리즘 2020.10.08

“유튜브의 깜깜이 추천 알고리즘을 파헤친다” 모질라 리그렛리포터

모질라의 리그렛리포터(RegretReporter)는 유튜브의 추천 알고리즘을 파헤쳐 왜 원하지 않는 동영상을 제시하는지 파악하고자 하는 노력의 결과물이다.   일상적으로 유튜브에서 여러 동영상을 보다 보면, 갑자기 생각하지 못한 상황에 부딪힌다. 들어본 적도 없는 콘텐츠 제작자가 달 착륙은 가짜라는 이야기를 하려고 한다. 당황스러운 순간이다. 이런 경험이 있는 모든 사용자처럼, 모질라의 리그렛리포터는 어떻게 이런 일이 어떻게 일어났는지 알고자 한다. 파이어폭스와 크롬에서 이용할 수 있는 모질라의 새로운 플러그인 리그렛리포터는 2017년 엘사게이트 스캔들을 되짚어 본다. 어린이가 좋아하는 캐릭터를 엽기적이고 불쾌한 상황에 이용한 이런 동영상은 콘텐츠 제작자가 유튜브 추천 알고리즘의 허점을 노린 것이다. 유튜브는 이런 종류의 동영상이 수익을 내지 못하도록 하고, 유튜브 키즈 채널에는 나타나지 못하도록 했다고 밝혔다.  하지만 문제가 완전히 사라진 것은 아니다. 아무런 의도 없는 ‘과학’ 비디오 검색이 유튜브의 ‘깜깜이’ 추천 알고리즘 때문에 음모 이론의 수렁으로 이어질 수 있기 때문이다. 이런 경우, 사용자는 ‘신고하기’를 클릭해 해당 동영상을 유튜브에 신고할 수 있다. 하지만 그 이후에는 어떻게 되는가? 리그렛리포터는 본질적으로 사용자가 별도의 익명화된 불만을 제기할 수 있도록 해준다. 연구원은 사용자의 불만 신고를 유튜브가 왜 어떻게 이런 동영상을 보여주는지 분석하는 데 사용할 수 있다. 동작 방식은 간단하다. 사용자는 브라우저 확장 프로그램을 다운로드해 설치하면, 리그렛리포터는 백그라운드에서 조용히 감시하며 사용자가 얼마나 오랫동안 유튜브를 서핑하는지 드러나지 않게 추적한다. 사용자가 신고할 만한 동영상을 발견하면, 리그렛리포터는 해당 동영상의 URL을 기록하고 신고하는 이유를 묻는다. 이제 리그렛리포터는 사용자가 이전에 시청했던 동영상 목록을 사용자의 ID는 익명으로 유지한 채 제공해 동영상의 연쇄가 구글의 토끼굴로 서서히 이어...

모질라 RegretReporter 유튜브 2020.09.21

암호화의 어두운 비밀 12가지

암호화는 데이터 프라이버시나 보안을 위한 핵심 솔루션으로 빠르게 자리 잡고 있다. 신용카드를 웹 페이지에 입력할 때, 웹사이트가 진짜인지 의심스러울 때도 걱정할 필요가 없다. 암호화를 사용하고 있기 때문이다. 암호화는 정보가 외부에 노출되지 않고 보호될 것이라는 탄탄한 신뢰의 근거가 된다.   하지만 모든 마법 같은 기술에는 한계가 있기 마련이다. 그리고 암호화의 한계는 '그 한계가 어디인지 정확히 알 수 없다'는 것이다. 결국, 암호화에 대한 우리의 기대와 이해 수준을 관리하는 것이 중요하다. 어느덧 암호화 없이는 살 수 없을 만큼 보편화한 기술이지만, 마치 전등 스위치처럼 쉽게 또는 신뢰할 수 있게 작동한다고 생각해서는 곤란하다. 염두에 두어야 할 암호화의 12가지 어두운 비밀에 관해 살펴보자. '잘 모른다'는 사실을 바탕으로 한다 암호화는 우리가 암호화에 필요한 '수학에 대해 잘 모르고 있다'는 사실에 의존한다. 우리는 함수를 계산하는 방법을 알지만 이를 도치하는 것은 잘 모른다. 큰 숫자를 곱할 수는 있지만 알고리즘을 계산할 수는 없다. 다시 말해, 우리는 수학의 한 쪽 방향만 알고 있을 뿐 그 역을 모르고 있다. 많은 사람이 도치하는 방법을 모른다면 거기에서 멈추고 어깨를 으쓱하면서 알고리즘을 받아들인다. 결국 우리가 가장 보편적으로 사용하는 알고리즘은 그 누구도 공개적으로 공격하는 방법을 파악하지 못했다는 사실에 의존한다. 예측은 예측일 뿐이다 일부 수학자는 잘 알려진 암호화 함수를 공격하는 기본적인 알고리즘을 발견했다. 그러나 실제 암호화를 해독하는 데는 너무 많은 시간이 걸린다. 이 공격 알고리즘은 극소수 경우에만 효과가 있었고 암호가 복잡할수록 처리 시간이 기하급수적으로 늘어난다. 수천억 만년이 걸린다는 주장도 여기서 출발한다. 그러나 이것이 곧 암호화를 신뢰할 수 있다는 의미는 아니다. 초보 골퍼가 홀인원을 하려면 골프를 엄청나게 오래 쳐야 하지만, 주기적으로 홀인원을 기록하는 프로는...

CIO 알고리즘 암호 2019.05.28

데이터 과학자가 클라우드로 가야하는 이유 5가지

데이터가 범람하는 세계에서 데이터 과학자의 역할은 기업이 통찰력과 예측을 통해 더 현명한 비즈니스 의사 결정을 내리도록 하는 것이다. 일반적으로 데이터 과학자는 통계 분석과 수학 모델링 전문가이며 R, 파이썬과 같은 프로그래밍 언어에 능숙하다. 그러나 소수 대기업을 제외하면 대부분의 데이터 과학은 여전히 노트북이나 자체 서버에서 실행되는 실정이고, 그 결과 오류와 지연이 잦고 비효율적이다. 필자는 그동안 몇몇 첨단 기업이 데이터를 활용하는 방식을 자세히 관찰한 바, “노트북 데이터 과학”은 곧 사라진다고 단언할 수 있다. 비효율적이고 협업에 불리하며 최선의 결과도 얻지 못하기 때문이다. 데이터 과학자가 노트북 또는 로컬 서버에서 벗어나 클라우드로 가야 하는 5가지 이유를 살펴보자.   데이터 과학은 팀 스포츠 알고리즘과 머신러닝 모델은 기업을 위한 고급 분석과 머신러닝 퍼즐에서 하나의 조각을 구성한다. 비즈니스 의사 결정을 위한 데이터에 근거한 통찰력을 제공하기 위해서는 데이터 과학자, 데이터 엔지니어, 머신러닝 엔지니어, 데이터 분석가, 그리고 시민 데이터 과학자가 모두 협력해야 한다. 노트북에서 모델을 빌드하는 데이터 과학자는 데이터 엔지니어가 만든 데이터 집합을 다운로드해서 머신러닝 모델을 빌드하고 학습시켜야 한다. 간혹 빌드와 학습을 위해 자체 서버를 사용하기도 하지만 대부분은 노트북을 사용한다. 노트북과 자체 서버의 계산 용량이나 메모리는 제한적이므로 데이터 과학자는 데이터를 샘플링해서 더 작고 관리 가능한 데이터 집합을 만들어야 한다. 이와 같은 샘플 집합은 프로젝트를 처음 시작할 때는 유용하지만 데이터 과학 수명 주기의 후반 단계에서 수많은 문제를 일으킨다. 데이터 부패(staleness) 문제도 있다. 로컬에 저장된 데이터를 사용하는 데이터 과학자가 예측을 구축하기 위한 기반으로 사용하는 스냅샷은 현재의 세계를 정확히 반영하지 않을 수 있다. 중앙 클라우드에 저장된 더 크고 더 정확한 대표성을 지닌 샘플을...

노트북 알고리즘 Saas 2019.02.22

블록체인 기반 암호화폐 통제 방식 바뀐다…지분 중심 방식 대두

블록체인 분산 원장은 각각 그 앞의 기록과 불가분하게 연결되는 전자 기록 체인을 서로 연결한다. 각각의 새로운 항목 집합 또는 “블록”은 합의 프로세스를 거친 이후에만 완료되고 해시태그와 함께 시간 스탬프가 찍힌다. 이런 블록체인의 새 항목을 인증하고 네트워크의 변경을 통제하기 위해 가장 널리 사용되는 두 가지 메커니즘 또는 프로토콜은 작업 증명(Proof of Work, PoW)과 지분 증명(Proof of Stake, PoS)이다. 이름이 시사하듯이 PoS 합의 모델에서는 디지털 코인이 가장 많이 소유한 사람(지분이 가장 큰 사람)이 암호화폐 또는 비즈니스 블록체인 원장을 통제한다. 그러나 현재까지 가장 인기 있는 블록체인 기반 암호화폐인 비트코인, 이더리움, 라이트코인은 합의 메커니즘으로 PoW를 사용해왔다. 그러나 이러한 관행이 곧 바뀔 가능성이 잇다. 작업 증명 프로토콜 이유를 알아보자. PoW 알고리즘에서는 컴퓨터가 블록체인 기반 암호화폐에 데이터를 추가하도록 승인을 받으려면 먼저 CPU 성능을 확장해서 복잡한 암호화 기반 방정식을 풀어야만 한다. 방정식을 가장 빠르게 푸는 컴퓨터 노드에는 비트코인과 같은 디지털 코인이 지급된다. 이렇게 PoW를 통해 암호화폐를 벌어들이는 과정을 채굴이라고 한다. 비트코인 채굴이 바로 그러한 의미다. PoW 프로세스의 문제는 프로세서를 연중무휴 24시간 가동하고 채굴 작업을 위한 서버 팜을 냉각시켜야 하는 데 따른 전기 소비량이 엄청나다는 것이다. 채굴 작업에 소비되는 전기가 너무 큰 탓에 일부 도시와 국가에서는 채굴 작업을 제한하기 시작했다. 또한 PoW 프로토콜은 수학 퍼즐을 푸는 긴 과정으로 인해 속도가 매우 느려질 수 있다. 따라서 비즈니스 분산 원장 또는 비트코인과 같은 암호화폐 네트워크에서 새 항목을 승인하는 데 10분 이상이 소요되기도 한다. 금융 거래가 네트워크에서 승인되기까지 10분 동안 기다린다고 상상해 보라. 지분 증...

알고리즘 비트코인 이더리움 2018.06.15

IDG 블로그 | 인공지능으로 가짜뉴스 문제를 해결하는 방법

가짜 뉴스 현상에서 AI의 역할은 너무나 과장됐지만, AI는 만연한 오류 정보 조작을 해결하는 데 도움이 된다. 오늘날의 정치 상황에서 가장 자주 거론되는 용어 중 하나는 ‘가짜 뉴스’일 것이다. 예를 들어, 현 미국 대통령은 자신에게 우호적이지 않은 뉴스를 가짜 뉴스의 일종이라고 공격하지 않은 날이 없다. 물론 도널드 트럼프 대통령의 엄청난 신뢰도 격차로부터 주의를 돌리기 위한 서투른 시도로 일축할 수도 있다. 실제로 가짜 뉴스 문제는 과장된 면이 있으며, 2016년 미국 대통령 선거 기간에는 특히 심했다. 하지만 사람들의 가짜 뉴스에 대한 걱정이 사라진 적은 없다. 국내외를 막론하고 정치 공작원이 매일 매일의 뉴스를 자신들에게 유리하게 조작하기 위해 할 수 있는 모든 것을 하고 있다는 것을 부인하기는 어렵다. AI는 가짜 뉴스 문제에 연루되어 있다. 정치 공작원이 AI 툴을 사용해 가짜 기사를 만들고 배포한다는 증거는 없다. 하지만 사악한 판도라의 상자로 여겨지는 AI에 가짜 뉴스에 대한 책임을 묻는 의혹의 시선은 멈추지 않고 있다. 자연어 처리, 인간의 뇌를 닮은 신경망, 그리고 데이터 중심의 알고리즘 등이 필경 인류에 도전할 것처럼 느껴지기 때문이다. 좀 더 넓은 관점에서 보면, AI는 가짜 뉴스에 기여하는 요인이 될 수 있다. 하지만 어디까지나 솔루션의 일부일 뿐이다. 결국 정치 방정식의 모든 진영이 이런 툴을 이용할 수 있고, 따라서 AI는 우리가 사용할 수 있는 양날의 검이다. 그렇다면 과연 AI는 가짜 뉴스 문제에서 어느 정도의 원인일까? 새로운 기법을 사용해 놀랄 정도로 진짜 같은 문자와 이미지, 비디오, 오디오, 심지어 대화까지 생산할 수 있다는 점에서 모든 가능한 콘텐츠 종류를 조작할 수 있는 기술적 가능성을 의심하는 사람은 없을 것이다. 이런 알고리즘의 역량은 학습 데이터의 증가와 적대신경망(Generative Adversarial Networks)의 정교화, 숙련된 데이터 과학자의 ...

알고리즘 인공지능 AI 2018.03.29

스프레드시트로 쉽게 설명한 머신러닝 분류와 클러스터링의 차이점

머신러닝에 대한 관심이 높다. 알고리즘과 관련대 가장 많이 이야기되는 2가지는 분류(classfication)과 클러스터링(clustering)이다. 분류란, 레이브를 지정하는 것이고, 클러스터링은 같은 종류로 보이는 것들을 그룹화하는 것이다. 그런데 이 2가지의 개념과 차이점을 혼동하는 경우가 많다. 곧장 수 많은 공식으로 들어가는 설명들이 많은 것도 이런 혼동이 초래되는 이유 중 하나다. 그래서 구식으로 분류와 클러스터링을 설명해보려 한다. 엑셀 스프레드시트를 활용한 설명이다. 분류의 작동 원리 졸업할 확률이 높은 학생, 중퇴할 확률이 높은 학생을 예상한다고 가정하자. 카운셀러를 배정할 수 있도록 각각을 플래그로 표시해야 한다. 즉 고위험과 저위험이라는 레이블을 만들어야 한다. 분류를 사용해 이를 처리하려면 이미 졸업한 학생들이라는 트레이닝 데이터 세트가 필요하다. 일단 알고리즘은 잊고, 이 스프레드시트를 보자. 시트 데이터를 보면 GPA, 정학 횟수(suspensions), 퇴학 처분을 받은 적이 있는지(expelled)에 대한 패턴이 있다. 머리 속에서 상관관계를 만들고, 일부 예외를 정리할 수 있다. 이제 다음 데이터를 가지고 졸업할 확률이 높은 사람을 결정할 수 있는가? 결정할 수 있다면, 분류 알고리즘처럼 처리한 것이다. 클러스터링의 작동 원리 이제 클러스터링을 알아보자. 이 데이터 세트에는 레이블이 없다. 컴퓨터가 동류로 판단되는 학생들을 찾아 그룹화 하기 원할 뿐이다. 이 데이터에도 일정 패턴이 있다는 점을 알 수 있을 것이다. 첫 열과 마지막 열은 그룹화 목적에서는 의미가 없을 수도 있다. 그러나 앞 3개의 열이 ‘1 1 1’로 시작하는 몇 몇 항목을 찾을 수 있을 것이다. 정확히는 ‘1 1 1’ 다음에 ‘0 0 0’, ‘1 1 1’로 구성된 것들이 있다. 이 행을 하나의 클러스터로 그룹화...

알고리즘 클러스터링 머신러닝 2018.02.05

사용자의 관심에 집착하는 새로운 구글 앱 정보 피드

구글 나우가 사라졌다. 하지만 정보 피드는 아무런 이름 없이 새 단장한 피드(fedd)에서 계속 생명을 이어간다. 이 새로운 앱의 임무는 오로지 사용자뿐이다. 새로운 구글 앱(링크)을 실행하면, 겉으로는 기존과 큰 차이가 없다. 검색창은 상단에 그대로 있고, 사용자의 단축키 아이콘과 사용자의 관심을 기반으로 한 여러 장의 카드가 나타난다. 바뀐 것은 구글이 그 속에 거주하는 방식이다. 구글의 샤시 타쿠르는 블로그 포스트를 통해 “사용자의 피드는 사용자와 구글의 인터랙션만을 기반으로 하지 않으며, 사용자의 분야와 전세계의 트렌드도 영향을 미친다. 구글을 많이 사용할수록 피드도 개선될 것이다”라고 밝혔다. 구글은 사용자를 자사가 운영하는 검색과 정보의 바다에 빠뜨릴 방법을 끊임없이 찾고 있다. 그리고 개인화된 피드는 이런 목적을 달성하는 자연스러운 방법이다. 하지만 구글이 사용자에 대해 얼마나 알고 있고, 이런 정보를 광고를 전달하는 데 어떻게 사용하는지에 대해서는 의문을 제기하지 않을 수 없다. 구글 나우는 항상 광고가 없었지만, 이름이 무엇이든 ‘피드’라는 것은 사용자가 보고 읽는 하는 것에 관한 엄청난 데이터를 수집한다. 구글이 이렇게 모인 귀중한 데이터를 ‘좋은 용도’로 사용하는 것은 시간 문제이다. 새로운 피드는 사용자가 원하는 것을 찾는 수고를 덜어주는 것이 목적이다. 더는 사용자가 구글 앱 내부를 보기 위해 카드를 고를 필요가 없다. 구글의 머신러닝 알고리즘이 사용자의 검색을 추적해 사용자가 궁금해 하는 것을 예측한다. 사용자의 피드는 개인화되고 선별된 정보 스트림을 제공하는데, 전세계 뉴스 트렌드는 물론 사용자의 선호도와 인터랙션도 반영한다. 어떤 면에서 새로운 피드는 소셜 네트워크의 일부 장치도 사용한다. 사용자가 뭔가를 검색하다 보면, 스포츠팀이나 영화, 밴드 같은 것의 ‘팔로우’ 버튼을 볼 수 있다. 이 버튼을 누르면 ...

검색 알고리즘 피드 2017.07.20

인터뷰 | 데이빗 마이어에게 듣는 머신러닝과 네트워크와 보안

네트워킹 분야에서 머신러닝은 자동화 못지 않은 인기 주제이다. 네트워킹 분야의 많은 머신러닝 애플리케이션이 아직은 여러 해 뒤의 이야기이지만, 가능성 면에서는 10여 년에 한 번씩 등장해 네트워크의 동작 방식을 근본적으로 바꿔 놓는 몇 안되는 기술 중의 하나가 될 가능성이 있다. 결국 아마존이나 애플, 페이스북, 구글, 바이두 등의 선도 업체는 이미 머신러닝을 이용해 자사 제품과 비즈니스 프로세스를 바꾸고 있다. 희망적인 것은, 기술이 성숙하면 이들 내부적인 연구 작업의 많은 수가 공급업체의 시스템과 클라우드 내부 깊숙이 배어든다는 것이다. 물론 곧 초기 머신러닝 애플리케이션이나 실험을 지원할 방법을 찾아나서는 기업도 있을 것이다. 이런 점에서 필자는 지금이 업계 최고의 머신러닝 전문가 중 한 사람인 데이빗 마이어와 질의 응답을 하기에 적절한 시기라고 생각했다. 마이어는 지난 4년 동안 머신러닝을 네트워킹과 보안 분야의 복잡한 문제를 해결하는 데 어떻게 이용할지를 연구했다. Q. 머신러닝이란 무엇인가? 전통적인 프로그래밍에서는 프로그래머가 결과물을 생성하기 위한 규칙을 세운다. 머신러닝에서는 프로그래머가 데이터와 지도 학습(Supervised Learning) 같은 기준 결과물을 제공하고, 소프트웨어의 역할은 규칙을 배우는 것이다. 머신러닝 소프트웨어는 특정 입력에 대한 기준 결과물을 생성하는 프로세스를 발견하기 위한 탐사 과정을 통해 학습한다. 훈련용 입력 데이터와 결과물은 해당 모델의 예측 정확성을 결정한다. 이 훈련 단계를 거치면 학습을 한 소프트웨어는 추론할 준비를 마친 것이다. 새로운 입력 데이터가 주어지면, 학습된 모델은 이제 예상 결과물을 추론한다. 온라인 시스템처럼 소프트웨어가 계속 학습을 진행하는 경우도 있다. Q. 오늘날 머신러닝을 활용하는 예를 들어 달라. 우리가 일상적으로 사용하는 머신러닝 소프트웨어로는 검색엔진이 있다. 검색엔진은 내부 알고리즘을 기반으로 지속적인 온라인 학습을 통해 검색 결과를 개선...

알고리즘 프로그래밍 지능 2017.05.31

알고리즘 기반 기술 특허 출원 폭증…2020년 50만 건 예상 : 가트너

알고리즘에 대한 관심이 뜨겁다. 가트너는 2019년이면 25만 건의 특허 청원이 알고리즘에 대한 내용을 포함하고 있을 것으로 전망했는데, 이는 5년 전과 비교해 10배나 늘어난 수치이다. 가트너는 분석 전문업체 올리브(Aulive)의 조사 결과를 바탕으로 2015년에만 제목에 알고리즘을 언급한 특허 청원이 1만 7,000건이었다고 밝혔다. 2000년에는 570건에 불과했다. 지난 해 특허 청원 문서 내에서 알고리즘을 언급한 건수는 10만 건으로 늘어나며, 불과 5년 전의 2만 8,000건과 큰 차이를 보인다. 이런 증가 속도와 알고리즘을 지적재산권으로 보호하려는 관심이 증가하는 것을 고려하면, 2020년에는 거의 50만 건에 달하는 특허 청원이 알고리즘을 언급할 것이며, 알고리즘 자체에 대한 특허 청원만도 2만 5,000건이 넘을 것으로 예상된다. 특히 지난 5년 동안 알고리즘에 대한 특허를 많이 출원한 조직 상위 40곳 가운데 33곳이 중국 기업과 대학이었고, 미국 업체로는 IBM이 유일하게 10위에 올랐다. 가트너의 부사장이자 저명한 애널리스트 더글라스 레이니는 “중요성이 커지고 있음에도 불구하고 기업 내의 수많은 알고리즘이 여전히 그늘에 방치되어 있다. 많은 기업 책임자가 큰 문제가 생기지 않는 한 신경을 쓰지 않는다”라고 지적하며, “알고리즘은 큰 차이를 만들어 낼 수 있다. 중요한 알고리즘의 목록을 작성하자면 끝이 없다”고 강조했다. 레이는 중요 알고리즘의 예로 구글의 페이지랭킹(PageRanking) 알고리즘, mp3, 블록체인, 딥러닝의 역전달(Backpropagation) 알고리즘 등을 들었다. 가트너는 이전부터 알고리즘을 중요성을 강조해 왔다. 지난 해 자사의 심포지엄에서도 알고리즘 개발을 2017년 가장 전략적이고 파괴적인 잠재 기술 중의 하나로 꼽았다. 또 가트너의 리서치 책임자 달리 플러머는 2020년이면, 알고리즘이 전세계 10억 명 이상 사람의 일하는 방식을 긍정적으로 바...

알고리즘 가트너 특허 2017.02.09

스마트 기계, 친구일까 적일까?

전 세계 지식 근로자들은 이제 정신을 바짝 차려야 합니다. 곧 일자리 경쟁이 고조될 것이기 때문입니다. 새로운 경쟁자는 사회성이 부족하지만, 순수한 능력만으로 이를 만회하며, 상호작용을 할 때마다 그 능력은 향상됩니다. 경쟁자는 여러분보다 똑똑하고 빠르며 24시간 내내 일할 수도 있습니다. 음식과 물, 잠도 필요 없습니다. 스마트 기계의 시대란 이런 것입니다. 공상과학 소설 이야기가 절대 아닙니다. 가트너의 예측에 따르면 2018년에는 고속 성장 기업의 50%에서 스마트 기계의 수가 인간 직원을 넘어서게 될 것이라고 합니다. 기계 인식은 데이터 분석, 모바일, 데이터 센터 인프라, IoT와 같이 계속 진화 중인 여러 기술을 취합한 것입니다. 규모와 관계없이 첨단 분석을 지원할 수 있는 새로운 IT 인프라와 더불어, 데이터 양의 폭발적인 증가로 인해 기계 인식은 당장이라도 돌풍을 일으킬 태세입니다. 한 예로, 인지 시스템은 인공지능(AI)의 엔진 역할을 합니다. 인지 시스템은 먼저 막대한 분량의 데이터를 받아들입니다. 그런 다음 연관성이나 패턴을 찾아 측정하고 그러한 패턴을 기초로 답변이나 조언을 제공합니다. 끝으로 새로운 데이터가 도착하면 실시간으로 조정하고 향상시키며 학습합니다. 이를 통해 수술실 일정 관리를 강화하거나 은퇴 계획에 대한 조언을 할 수도 있고 자연 재해 발생 후 전체 운송편의 경로를 수정할 수도 있습니다. 인지 시스템은 학습과 이해가 가능한 인공 시스템으로 컴퓨터 또는 딥러닝 알고리즘을 실행하는 신경망에 구축될 수도 있고, 뉴로모픽 칩을 하드웨어로 이용하게 될 수도 있습니다. 물론 이 모두를 한꺼번에 갖출 수도 있습니다. 인지 시스템은 센서, 스트리밍되는 생체인식 정보, 컴퓨터 비전 기술, 데이터 피드 등 수많은 출처에서 데이터를 얻을 수 있습니다. 미래에는 로봇과 드론 자체가 인지 시스템이 될 것입니다. 사고 및 학습이 가능한 시스템에 팔과 다리, 날개가 달리는 셈입니다. 하지만 만약 기존 컴퓨팅 시스템을...

알고리즘 인지시스템 딥러닝 2017.01.17

머신러닝 프로젝트의 대실패를 피하는 6가지 방법

머신러닝은 이제 SF영화에 나오는 이야기가 아니다. 머신러닝은 이미 우리의 일상 곳곳을 건드리는 수많은 기술이 번창하는 밑거름 역할을 해왔다. 시리나 알렉사와 같은 음성 인식부터 페이스북의 자동 사진 태깅, 아마존이나 스포티파이의 상품이나 음악 추천도 머신러닝의 작품이다. 그리고 많은 기업이 머신러닝 알고리즘을 이용해 자사 네트워크의 효율성을 높이고자 한다. 실제로 일부에서는 이미 위협 탐지와 WAN 최적화를 개선하는 데 사용하고 있다. 어떤 기술에 이용하든지 머신러닝은 잘못 구현하면 대혼란을 초래할 수 있다. 따라서 머신러닝을 수용하기 전에 기업은 머신러닝이 실패할 수 있는 함정을 반드시 알아두어야 한다. 그래야만 프로젝트 실패 때문에 임원들이 이 기술에 등을 돌리는 일을 막을 수 있다. 주니퍼 네트웍스의 보안 인텔리전스 소프트웨어 엔지니어인 로만 시나예브는 머신러닝 최악의 실책을 피하는 방법을 소개한다. All Image courtesy Thinkstock editor@itworld.co.kr

알고리즘 데이터 학습 2016.11.15

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2023 International Data Group. All rights reserved.