스트림 데이터처리1

• 

  [빅데이터] 빅데이터의 기반기술 2 (빅 데이터의 충격) ※ 본 포스팅은 '빅데이터의 충격'을 읽고 정리한 내용임을 밝혀둡니다. 스트림 데이터 처리 스트림 데이터 처리는 빅데이터의 특징을 나타내는 3V 가운데, 속도(발생빈도, 갱신빈도)를 만족하기 위해서 대두된 기술이다. 즉 지속적으로 유입되는 대량의 데이터(스트림 데이터)를 실시간으로 처리하는 기술이 스트림 데이터 처리(실시간 데이터 처리)기술이다. 스트림 데이터 처리에서는 입력된 데이터를 하드디스크에 기록하지 않고 메모리에서 데이터 처리가 이루어지므로 빠른 속도로 처리할 수 있다. 또한 바로 직전에 처리한 결과를 중간 데이터로서 가지고 있어 데이터를 모두 처리할 필요가 없으며, 메모리에서 흘러가는 데이터에서 중간 데이터와의 차이가 난 데이터양 만큼만 처리하면 된다. 이런 방식으로 1초당 수십만 건부터 수백.. 프로그래밍/2. 시스템관리 2013. 2. 12.