반응형 빅데이터의충격3 [빅데이터] 빅데이터의 기반기술 2 (빅 데이터의 충격) ※ 본 포스팅은 '빅데이터의 충격'을 읽고 정리한 내용임을 밝혀둡니다. 스트림 데이터 처리 스트림 데이터 처리는 빅데이터의 특징을 나타내는 3V 가운데, 속도(발생빈도, 갱신빈도)를 만족하기 위해서 대두된 기술이다. 즉 지속적으로 유입되는 대량의 데이터(스트림 데이터)를 실시간으로 처리하는 기술이 스트림 데이터 처리(실시간 데이터 처리)기술이다. 스트림 데이터 처리에서는 입력된 데이터를 하드디스크에 기록하지 않고 메모리에서 데이터 처리가 이루어지므로 빠른 속도로 처리할 수 있다. 또한 바로 직전에 처리한 결과를 중간 데이터로서 가지고 있어 데이터를 모두 처리할 필요가 없으며, 메모리에서 흘러가는 데이터에서 중간 데이터와의 차이가 난 데이터양 만큼만 처리하면 된다. 이런 방식으로 1초당 수십만 건부터 수백.. 프로그래밍/2. 시스템관리 2013. 2. 12. [빅데이터] 빅데이터의 기반기술 1 (빅데이터의 충격) ※ 본 포스팅은 '빅데이터의 충격'을 읽고 정리한 내용임을 밝혀둡니다. 하둡이란? 하둡이란 오픈소스로 공개된 대규모 데이터의 분산처리 기술이다. 특히 대량의 비구조화 데이터 처리 성능이 뛰어나고, 비용이 저렴하며, 스케일 아웃으로 용량 증가에도 대응하기 쉽다는 점에서 주목받고 있다. 하둡은 구글이 2004년에 발표한 맵리듀스 : 대형클러스터의 데이터 처리 단순화(MapReduce : Simplified Data Processing on Large Clusters)라는 대규모 데이터의 분산처리에 관한 논문이 기반이 되었다. 현재는 야후와 야후에게서 갈라져 나온 호튼웍스가 중심이 되어 아파치 소프트웨어 재단에서 개발을 진행하고 있다. 맵듀리스는 분산처리라는 데이터 ‘처리 방식’이고 하둡은 이 처리 방식을 오.. 프로그래밍/2. 시스템관리 2013. 2. 11. [빅데이터] 빅데이터의 충격 총평. 2012년 IT의 대표적인 화두인 ‘빅데이터’에 대해서 깔끔하게 정리를 한 책입니다. 다른 빅데이터 관련 책들이 빅데이터의 활용사례에 초점을 맞추었다고 한다면, ‘빅데이터의 충격’은 빅데이터의 정의부터 기술의 발전과정, 빅데이터의 활용패턴, 빅데이터 시대를 준비하는 방법 등 빅데이터 전반을 간략하고 현실적으로 정리한 책입니다. 그래서 빅데이터에 관심이 많으시거나 공부하시고자 하시는 분에게 입문서로 추천하고 싶은 책입니다. 저자 시로타 마코토는 일본 노무라종합연구소에서 근무 중이며, IT 분야의 신기술 동향 조사, 기업 전략 분석, 국내외 기업의 IT 이용 또는 활용 실태를 조사한 후 이를 바탕으로 IT 업계의 미래를 예측하여 기업과 사용자에게 효과적인 방향을 제안하고 있습니다. 한국에 출판된 저서로는 ‘.. 프로그래밍/2. 시스템관리 2013. 2. 8. 이전 1 다음 반응형