string(9) "스파크" 스파크 - ITWorld Korea
딥 러닝(Deep learning)은 많은 요소가 있으며 단순하지도 않다. 인공 신경망의 기본 사항을 마스터한 데이터 과학자라 할지라도 회선, 순환, 생성을 비롯한 모든 다계층 딥 러닝 알고리듬의 복잡한 내용을 다 따라잡으려면 꽤 많은 시 ...
오픈소스 프로젝트 하나만 다루는 컨퍼런스라고 하면 기조 연설자 한 명이 어느 지방 대학 강의실에 모인 100명 남짓의 사람들 앞에서 발표하는 장면이 연상된다. 그러나 스파크 서밋 이스트(Spark Summit East)는 전혀 그렇지 않았다. 총 ...
2016년과 마찬가지로 2017년을 맞이하면서 여전히 자사의 데이터를 운영하는 조직에 대해 얘기하고 있다. 비즈니스 사용자들이 유용하고 실행 가능한 데이터가 필요로 할 때 언제 어디서나 제공받을 수 있을 것이다. 데이터 저장 비용은 지속적 ...
지난 3월에도 썼지만 데이터브릭스(Databricks) 서비스는 데이터 과학자를 위한 뛰어난 제품이다. 다양한 수집(ingestion), 특징 선택, 모델 구축, 평가 기능을 갖췄고 데이터 소스와의 통합 기능과 확장성도 장점이다. 스파크 관련한 기존 ...
하둡이 빅데이터의 대명사로 여겨지며 모든 기업에 빅데이터 바람을 일으킨 것은 그다지 오래된 일이 아니다. 그런데 이제는 오범(Ovum) 분석가 토니 베어가 말했듯이 "하둡의 정점(peak Hadoop)"에 이르렀다는 뚜렷 ...
기업 내 데이터 업무가 점점 증가하고 있다. 이에 따라 오픈소스 빅데이터 프레임워크인 하둡과 스파크 중 무엇을 고를 것인지가 점점 중요한 문제로 대두되고 있다. 하둡과 스파크의 장단점, 벤더 정보, 고객사 사용 사례를 범주별로 분류해 살펴본다. ...
작년 가을부터 예상된 일이지만, 정말로 프로젝트 스파크(Project Spark)가 중단됐다. 마이크로소프트는 이 게임 제작 플랫폼을 윈도우 스토어 및 엑스박스 마켓플레이스에서 제거했다. 사용자가 별도의 코딩 기술없이도 게임을 만들 수 있도록 해 ...
2016.05.17
수요일, 포레스터 애널리스트 로렌 넬슨이 “기업 의사 결정자 중 41%가 오픈소스 확대가 2016년의 우선 순위 목표라고 밝혔다”는 내용의 보고서를 발표해 커다란 파장을 몰고 왔다. 이 말을 뒤집어 보면, 59%의 기업 경영 ...
2016.04.28
아파치 스파크(Apache Spark)와 아파치 스톰(Apach Storm)의 스트리밍 데이터 처리 성능을 놓고 벌이는 빅데이터 전문가들의 논쟁을 정리하자면, 대부분 "그래, 스톰이 빠르고 확장성도 좋은 것은 알겠어. 그런데 사용이 너무 어려 ...
한국IDG의 미래 IT환경 준비 현황 조사에는 231명의 국내 기업 IT담당자들이 참여했으며, 이 결과를 토대로 <CIO Korea>는 기업 IT를 총괄하는 CIO들을 만나 심층 인터뷰를 진행했다. <CIO Korea>는 &lsq ...
아파치 스파크(Apache Spark)는 단순히 빅데이터 작업을 빠르게 해줄 뿐 아니라 간편하고 편리하며 강력하게 할 수 있도록 해준다. 아파치 스파크는 다양한 툴로 구성돼 있다. 이 아파치 스파크 툴들은 새로운 기능이 추가되거나 성능이 개선되는 등 ...
맵리듀스(MapReduce)가 점차 힘을 잃는 추세에 지난해 클라우데라(Cloudera), IBM과 같은 주요 업체들의 전폭적인 투자까지 더해지며 빅데이터 프로세싱 플랫폼인 아파치 스파크(Spark)가 본궤도에 오르기 시작했다. 10줄 미만의 코 ...
2015.11.16
빅데이터로부터 인사이트를 얻는 것은 쉽지도 빠르지도 않은 일이다. 하지만 구글은 하둡과 스파크를 위한 새로운 매니지드 서비스로 이런 기존의 통념을 바꿔놓고자 한다. 구글이 공개 베타 방식으로 새로 출시한 클라우드 데이터프록(Cloud Datapr ...
지금 하둡에는 절대적으로 견인해 줄 무언가가 필요하다. 하둡은 오래 전부터 맵리듀스(MapReduce)와 동의어로 사용되고 있지만 클라우데라(Cloudera)와 같은 강력한 지지 세력조차 맵리듀스에 등을 돌리고 더 멋지고 섹시한 사촌인, 아파치 스파크 ...
뭔가 색다르고 혁신적인 것을 하는 이에게 필요한 모든 지원과 자금을 제공하면 결국 그 사람은 다른 사람과 똑같은 것을 하게 된다는 격언이 있다. 이 격언은 하둡, 스파크, 스톰에도 적용된다. 모두가 자신은 새로운 빅데이터 기술을 사용해 뭔가 특별 ...
  1. '딥 러닝의 미래 예측' 6가지

  2. 2017.02.28
  3. 딥 러닝(Deep learning)은 많은 요소가 있으며 단순하지도 않다. 인공 신경망의 기본 사항을 마스터한 데이터 과학자라 할지라도 회선, 순환, 생성을 비롯한 모든 다계층 딥 러닝 알고리듬의 복잡한 내용을 다 따라잡으려면 꽤 많은 시간을 들여야 할 것이다. 딥 러닝 혁신이 확산되면서 일반적인 개발자는 쉽게 접근하지 못할만큼 지나치게 기술이 복잡해질 위험도 커지고 있다. 그러나 필자는 2020년 정도가 되면 딥 러닝 산업이 제시하...

  4. 오픈소스 스파크, 그 다음 단계는 무엇인가

  5. 2017.02.10
  6. 오픈소스 프로젝트 하나만 다루는 컨퍼런스라고 하면 기조 연설자 한 명이 어느 지방 대학 강의실에 모인 100명 남짓의 사람들 앞에서 발표하는 장면이 연상된다. 그러나 스파크 서밋 이스트(Spark Summit East)는 전혀 그렇지 않았다. 총 1,503명의 사람들이 하인스 컨벤션 센터의 행사장을 찾아 미국 캘리포니아 버클리 대학 마테이 자하리아가 처음 개발한 빅데이터 처리 엔진, 스파크의 미래에 대해 5명의 기조 연설자가 전하는 이야기를 경청했...

  7. 2017년 빅데이터와 BI 트렌드, "머신러닝, 데이터 레이크, 그리고 하둡과 스파크"

  8. 2016.12.30
  9. 2016년과 마찬가지로 2017년을 맞이하면서 여전히 자사의 데이터를 운영하는 조직에 대해 얘기하고 있다. 비즈니스 사용자들이 유용하고 실행 가능한 데이터가 필요로 할 때 언제 어디서나 제공받을 수 있을 것이다. 데이터 저장 비용은 지속적으로 하락하고 SaaS를 통해 분석 솔루션의 가용성이 확산됨에 따라 기업들은 직원들에게 그 어느 때보다 싸고 쉽게 통찰력을 제공할 수 있게 됐다. 2017년 빅데이터, 분석, 그리고 BI(Business I...

  10. 리뷰 | 머신러닝을 밝히는 스파크

  11. 2016.11.29
  12. 지난 3월에도 썼지만 데이터브릭스(Databricks) 서비스는 데이터 과학자를 위한 뛰어난 제품이다. 다양한 수집(ingestion), 특징 선택, 모델 구축, 평가 기능을 갖췄고 데이터 소스와의 통합 기능과 확장성도 장점이다. 스파크 관련한 기존 라이브러리는 빅데이터를 위한 불꽃, 실시간 분산형 컴퓨팅 '스파크'에 있다. http://www.itworld.co.kr/techlibrary/92953 데이터브릭스 서비스는 스파크(Sp...

  13. 글로벌 칼럼 | 우리는 하둡에 대해 아는 게 거의 없었다

  14. 2016.11.18
  15. 하둡이 빅데이터의 대명사로 여겨지며 모든 기업에 빅데이터 바람을 일으킨 것은 그다지 오래된 일이 아니다. 그런데 이제는 오범(Ovum) 분석가 토니 베어가 말했듯이 "하둡의 정점(peak Hadoop)"에 이르렀다는 뚜렷한 징후들이 있다. 그러나 가장 명백한 신호는 아마도 '하둡'에 아무런 하둡도 남아 있지 않다는 사실일 것이다. 또는 인포월드의 앤드류 올리버의 표현대로 "하둡에 대해 알아야 할...

  16. 장단점·생태계·사용사례로 비교해 보는 '하둡 vs. 스파크'

  17. 2016.07.19
  18. 기업 내 데이터 업무가 점점 증가하고 있다. 이에 따라 오픈소스 빅데이터 프레임워크인 하둡과 스파크 중 무엇을 고를 것인지가 점점 중요한 문제로 대두되고 있다. 하둡과 스파크의 장단점, 벤더 정보, 고객사 사용 사례를 범주별로 분류해 살펴본다. 하둡(Hadoop)과 스파크(Spark)는 다른 점이 많은 기술이다. 사용 사례도 크게 다르다. 두 기술을 공개한 ASF(Apache Software Foundation)는 심지어 이 둘을 다른 범주...

  19. 마이크로소프트, 크로스 플랫폼 게임 제작 툴 프로젝트 스파크 중단

  20. 2016.05.17
  21. 작년 가을부터 예상된 일이지만, 정말로 프로젝트 스파크(Project Spark)가 중단됐다. 마이크로소프트는 이 게임 제작 플랫폼을 윈도우 스토어 및 엑스박스 마켓플레이스에서 제거했다. 사용자가 별도의 코딩 기술없이도 게임을 만들 수 있도록 해주는 프로젝트 스파크는 지난 해 9월 이른바 “유지보수 모드”에 들어갔다. 당시 마이크로소프트는 이 플랫폼의 적극적인 개발은 중단했지만, 이를 “무료 인큐베이팅 엔진&rdqu...

  22. 글로벌 칼럼 | 아직도 오픈소스를 이해하지 못하는 CIO를 위하여

  23. 2016.04.28
  24. 수요일, 포레스터 애널리스트 로렌 넬슨이 “기업 의사 결정자 중 41%가 오픈소스 확대가 2016년의 우선 순위 목표라고 밝혔다”는 내용의 보고서를 발표해 커다란 파장을 몰고 왔다. 이 말을 뒤집어 보면, 59%의 기업 경영진이 2016년 오픈소스를 확대할 필요성을 실감하지 못하거나 심지어는 인식하지도 못하고 있다는 의미가 된다. 기업이 하둡, 스파크 같은 빅데이터 플랫폼을 도입하고, 리눅스를 구동하고, 안드로이드 스마트폰을 ...

  25. 아파치 스톰 1.0이 준비한 회심의 일격

  26. 2016.04.18
  27. 아파치 스파크(Apache Spark)와 아파치 스톰(Apach Storm)의 스트리밍 데이터 처리 성능을 놓고 벌이는 빅데이터 전문가들의 논쟁을 정리하자면, 대부분 "그래, 스톰이 빠르고 확장성도 좋은 것은 알겠어. 그런데 사용이 너무 어려워. 실제로도 스파크가 점점 승기를 올려가고 있어. 새롭고 멋진 솔루션이 있는데 옛날 것을 고집할 이유가 뭐야?"라는 식의 결론으로 마무리되는 것을 확인할 수 있다. 아파치 스톰 1.0은 이런...

  28. IT리더에게 듣는다 | "쉽게 바꿀 수 있는 IT인프라 지향" 티켓몬스터 이승배 CTO

  29. 2016.03.21
  30. 한국IDG의 미래 IT환경 준비 현황 조사에는 231명의 국내 기업 IT담당자들이 참여했으며, 이 결과를 토대로 <CIO Korea>는 기업 IT를 총괄하는 CIO들을 만나 심층 인터뷰를 진행했다. <CIO Korea>는 ‘미래를 준비하는 IT리더’ 인터뷰 시리즈를 연재하고 있다. <편집자 주> “시장이 너무 빨리 바뀌기 때문에 완벽하게 준비하면 오히려 나중에 가서 쓸 수 없게 돼 비...

  31. 빅데이터의 엔진, 스파크에 불을 붙이는 7가지 툴

  32. 2016.03.21
  33. 아파치 스파크(Apache Spark)는 단순히 빅데이터 작업을 빠르게 해줄 뿐 아니라 간편하고 편리하며 강력하게 할 수 있도록 해준다. 아파치 스파크는 다양한 툴로 구성돼 있다. 이 아파치 스파크 툴들은 새로운 기능이 추가되거나 성능이 개선되는 등 지속적으로 업데이트되고 있다. 아파치 스파크 생태계 안에 있는 각 툴의 역할과 존재 이유, 개선 과정, 문제 요소, 개선 방향에 대해 소개한다. ciokr@idg.co.kr...

  34. 글로벌 칼럼 | 스파크에서 마음에 들지 않는 5가지

  35. 2015.11.16
  36. 맵리듀스(MapReduce)가 점차 힘을 잃는 추세에 지난해 클라우데라(Cloudera), IBM과 같은 주요 업체들의 전폭적인 투자까지 더해지며 빅데이터 프로세싱 플랫폼인 아파치 스파크(Spark)가 본궤도에 오르기 시작했다. 10줄 미만의 코드로 단어 개수를 계산하는 애플리케이션 데모들이 쏟아져 나왔다. 그러나 스파크에 대해 조금 더 깊이 파고들어 간 사람이라면 개념 설명을 위한 간단한 예제를 벗어나 본격적인 무언가를 하려고 할 때, 스파크에 ...

  37. 구글 클라우드 데이터프록, “하둡 및 스파크 클러스터 생성 90초면 충분”

  38. 2015.09.24
  39. 빅데이터로부터 인사이트를 얻는 것은 쉽지도 빠르지도 않은 일이다. 하지만 구글은 하둡과 스파크를 위한 새로운 매니지드 서비스로 이런 기존의 통념을 바꿔놓고자 한다. 구글이 공개 베타 방식으로 새로 출시한 클라우드 데이터프록(Cloud Dataproc)은 기업이 클러스터를 신속하게 생성하고 쉽게 관리하고 또 필요할 때 해제할 수 있도록 지원한다. 기업이 빠르게 진화하는 빅데이터 기술의 수용하는 데 애를 먹는 경우가 많다. 콘스텔레이션 리서치의 ...

  40. 하둡의 길을 밝히려면 스파크가 필요하다

  41. 2015.09.15
  42. 지금 하둡에는 절대적으로 견인해 줄 무언가가 필요하다. 하둡은 오래 전부터 맵리듀스(MapReduce)와 동의어로 사용되고 있지만 클라우데라(Cloudera)와 같은 강력한 지지 세력조차 맵리듀스에 등을 돌리고 더 멋지고 섹시한 사촌인, 아파치 스파크(Apache Spark)를 맞이하고 있다. 스파크 1.5가 나온 지금 이미 빠른 처리 엔진은 더욱 좋아졌고, 대조적으로 갑갑한 맵리듀스는 매력이 더욱 떨어져 보인다. 하둡의 미래는 스파크의 존재...

  43. 가장 흔해빠진 7가지 하둡 및 스파크 프로젝트

  44. 2015.08.24
  45. 뭔가 색다르고 혁신적인 것을 하는 이에게 필요한 모든 지원과 자금을 제공하면 결국 그 사람은 다른 사람과 똑같은 것을 하게 된다는 격언이 있다. 이 격언은 하둡, 스파크, 스톰에도 적용된다. 모두가 자신은 새로운 빅데이터 기술을 사용해 뭔가 특별한 것을 한다고 생각하지만 사실은 똑같은 패턴의 끊임없는 반복일 수 있다. 구체적인 구현은 다소 다를 수 있지만 다음은 필자의 경험을 바탕으로 간추린 가장 흔한 7가지 프로젝트다. 프로젝트 No. 1:...

X