[빅데이터] 1장 빅데이터란 무엇인가? (빅데이터의 충격)

 

※ 본 포스팅은 '빅데이터의 충격'을 읽고 정리한 내용임을 밝혀둡니다. 

1. 빅데이터란 무엇인가?

 

“빅데이터란 기존의 일반적인 기술로는 관리하기 곤란한 대량의 데이터 군이다.” 예를 들어 ‘기존의 일반적인 기술로는 관리하기 곤란’하다는 것은 현재 기업의 데이터베이스의 주류를 차지하는 관계형 데이터베이스로는 관리할 수 없는 복잡한 구조의 데이터를 가리킨다. 또한 데이터양이 증가해서 데이터에 대한 쿼리(질의) 응답시간이 허용 범위를 넘는 상태를 가져오는 방대한 데이터를 가리킨다.

 

3V로 나타내는 빅데이터의 특성

빅데이터의 특성은 다음처럼 V로 시작하는 세 가지 키워드로 나타낼 수 있다.

 

 

 

 

데이터 양(Volume)

빅데이터의 정의로 본다면 기존 기술로는 관리할 수 없는 데이터양으로 현재는 수십 테라바이트에서 수 페타바이트 정도라는 견해가 많다. 물론 기술이 진화함에 따라 이 수치는 증가할 것이다.

 

다양성(Variety)

기존에 기업에서 사용하던 구조화된(판매 데이터, 재고 데이터 등) 데이터 외에 최근 급증하고 있는 인터넷의 텍스트 데이터, 위치정보, 선세 데이터, 동영상 등 현재 기업에서 주로 사용하는 관계형 데이터베이스로 다루기 어려운 구조화되지 않은 데이터(비구조화 데이터)를 분석하여 유용한 지식을 얻을 수 있도록 한다.

 

속도(Velocity)

시시각각 발생하는 데이터에 대한 분석처리는 아주 도적적인 과제다. 2장에서 설명할 스트림 데이터 처리 등 새로운 기술이 등장해 분석 처리가 가능해진 점도 최근 빅데이터 붐을 뒷받침하는 요인이다.

 

 

넓은 의미의 빅데이터

 

넓은 의미의 빅데이터란 3V(다양성/데이터 양/속도)측면에서 관리가 곤란한 데이터 및 그 데이터를 축적·처리·분석하는 기술, 나아가 그 데이터를 분석해서 유용한 의미와 통찰을 이끌어낼 수 있는 인재와 조직을 포함하는 포괄적인 ‘개념’이다. 기술이란 하둡과 NoSQL 데이터베이스, 그리고 기계학습이나 통계 분석 등을 가리키며, 조직이란 데이터를 분석해서 유용한 의미와 통찰을 이끌어낼 수 있는 ‘데이터 과학자’와 빅데이터를 효과적으로 활용할 수 있는 조직의 모습을 의미한다.

 

2. 어째서 지금 빅데이터인가?

 

빅데이터의 대중화 : 빅데이터가 완전히 새로운 개념은 아니다. 방대한 데이터 분석처리는 예전부터 해왔었다. 이전과 다른 점이라면 빅데이터가 특수한 영역뿐만 아니라 일상생활과도 밀접한 환경에서 만들어지게 된 것이다(페이스북, 트위터가 대표적이다).

 

하드웨어 가격성능비 향상, 소프트웨어 기술의 진화 : 하드웨어 장비의 성능향상과 가격하락 및 ‘하둡’의 등장, 심지어 이런 환경을 직접 준비하지 않아도 되는 클라우드 컴퓨팅의 등장으로 빅데이터를 축적·처리하는 기술을 쉽게 사용할 수 있다.

 

클라우드 컴퓨팅의 보급 : 빅데이터 처리 환경을 직접 준비할 필요가 없어졌다는 점도 크다. 아마존, EC2, S3 등에서 빅데이터 처리서비스를 저렴한 가격에 제공하고 있어, 자금력이 부족한 벤처 기업이라도 빅데이터 분석이 가능하다.

 

3. ‘과거의 가시화’를 통한 ‘미래 예측’

 

지금까지 기업이 데이터를 분석하던 방식을 BI(비즈니스 인텔리전스)라고 한다. BI는 ‘과거부터 현재까지 무슨 일이 일어났었는가?’, ‘왜 그 일이 일어났는가?’를 분석해 보고하는 것이 주된 목적이 이었다. 즉 ‘과거 및 현재의 가시화’이다. 화지만 현재 기업 활동에서 더 중요해지는 것은 ‘앞으로 무엇이 일어날 것인가?’라는 미래예측이다. 미래 예측에는 데이터 마이닝이 유용한데, 데이터 마이닝은 데이터가 많으면 많을수록 좋다. 다시 말해 기계학습은 ‘빅데이터’와 상성이 아주 좋다.

 

4. '점' 분석에서 '선' 분석으로.

 

비구조화 데이터를 중심으로 빅데이터를 분석하려는 시도가 많아진 이유는 단순한 트랙잭션 데이터로부터 얻어지는 ‘점’ 정보를 집계하고 끝내는 것이 아니라. 고객과의 상호작용 데이터라라는 ‘선’정보를 이용해서 ‘왜 상품이 팔렸는지’, ‘왜 고객은 떠나갔는지’와 같은 상황정보를 찾으려는 움직임이 드러난 것이기도 하다.

 

 

 

도움이 됐다면 버튼을 클릭해주세요.