클라우드와 슈퍼컴퓨팅이 이끄는 미래, 빅데이터 혁명 서평.

 

언제인가부터 ‘빅데이터’라는 말이 곳곳에서 들려오기 시작했다. 그러던 중 이 책을 통해 막연히만 알고 있던 ‘빅데이터’에 대한 개념과 활용범위, 더 나아가 미래의 변화까지도 명확하게 알게 되어 유익한 시간이 되었다.

 

 

 

 

 

빅데이터는 오래 전부터 내가 생각하지 못한 일상 곳곳에서 활용되어있었다. 우선, 빅데이터의 명확한 개념을 짚고 넘어가자면, ‘빅데이터’는 방대하나 데이터를 저장, 변환(매핑)하고 서로 관계없어 보이는 것들끼리의 연관 관계를 분석(리듀스)함으로써 우리가 몰랐던 사실을 밝혀 미래가 어떻게 변할지 예측하는 것이다.

 

 

 

 

이러한 빅데이터가 왜 이제부터 떠오르는가에 대한 이유도 이 책에서는 명료하게 설명해준다. 그 이유는 세가지로 정리해볼 수 있다. 첫째로는 실생활에서 생성되는 모든 사건 데이터를 저장하는 것이 불가능했기 때문이다. 둘째는 과거 디지털 빅데이터를 저장하는 것이 경제적으로 타당하지 않았기 때문이다. 마지막 이유는 의미있는 시간에 그것을 분석하는 것이 가능하지 않았기 때문이다.

 

하지만, 첫번째의 이유는 디지털 카메라와 인터넷등의 보급으로 데이터로의 저장이 가능해지고, 두번째 이유의 경제적 타당성이 데이터 저장 비용이 과거에 비해 1000만분의 1 미만으로 떨어져 가능해졌다. 마지막 이유는 이 책에서 말하는 ‘분산병렬 처리방법’과 야후에 의해 보급화된 공개 소프트웨어 ‘하둡’에 의해 장애의 벽을 넘게 되어 과거와 다르게 현재 시점에서는 빅데이터가 활성화 될 수 있었고, IT업계에 뜨거운 이슈로 떠오를 수 있게 되었다.

 

특히 빠른 분석이 가능케 된 보급형 병렬처리 기술이 개발된 것이 불과 몇 년 전 이기 때문에 빅데이터를 논할때는 흔히 ‘3V’라는 특성을 이야기한다. 저장되지 않던 다양한 정보들이 디지털 저장됨(Variety 다양성), 저장치 가격 인하 덕에 방대한 저장이 가능해짐(Volume 양), 고성능 분산병렬처리 기술의 보급(Velocity 속도)과 맥을 같이하는 용어라고 볼 수 있다.

 

이 책은 첫 장에서부터 ‘줄리아니는 왜 대통령이 되지 못했는가’, ‘오바마는 어떻게 대통령이 되었나’라는 흥미로운 화두를 던지며 주제에 대해 빅데이터 분석으로 풀어낸 해석으로 시작한다. 책의 중반, 후반부에도 계속해서 오바마 대통령의 캠프, 정보 공개와 투명성 등에 대해 ‘데이터의 공개’, ‘빅데이터의 성공 활용 사례’등을 기술하여 독자로 하여금 흥미를 계속해서 이끌어낸다.

 

 

 

 

책을 읽으며 빅데이터라는 것이 정말 많은 분야에 활용될 수 있다는 사례를 접하며, 지금같이 누구나 마음만 먹으면 데이터를 수집하여 분석할 수 있는 시대에 ‘분석가’의 역할이 얼마나 중요한가에 대해 생각하게 되었다. 어떻게 보면 ‘빅데이터’의 핵심은 ‘사람’과 ‘예측’ 두가지 단어만으로도 설명할 수 있을 만큼의 핵심이라고 볼 수 있다고 생각한다.

 

저자가 책에서 사례로 대통령 선출, 의료계, 왕따, 네슬레, 사회학, 역사학, 경제학 등의 내용을 다루었듯, 빅데이터를 분석하는 ‘데이터 사이언티스트’라는 전문직의 사람들은 데이터 수집, 통계를 넘어 자료정제, 비정형 자료처리, 마케팅 등에 이르기까지 포괄적 분야에 대해 융합적이고 경계 없는 지식과 경험이 필요하다.

 

책에 실린 사례들을 읽어가며 정보의 공개가 중요하다는 것은 알아가게 되었지만, 중반부 입시와 왕따의 사례에서 나온 학생들을 위한 ‘개인용 블랙박스’ 부분을 읽으며 조금은 섬뜩함을 느꼈다. 물론, 앞으로의 사건과 사고를 막기 위해서는 주변의 상황들을 모두 기록, 분석하며 예방할 수 있지만 이를 악용하는 일들도 발생할 수 있을 것 같다는 우려가 생겼다. 물론 이 책에서는 빅데이터로 인해 기술적으로는 분석과 예측이 가능한 시스템이 되어있으나, 의료에서의 인간 게놈 프로젝트, MRI등의 환자 진찰 기록 공유, 개인정보 활용여부 등에 대해서는 아직 프라이버시나 기밀보호의 명목으로 폐쇄적이기에 국가의 정책 방향이 중요하다는 내용도 나온다. 또한 같은 맥락으로 한국에서는 지식경제부, 국방부, 기상청 등을 넘어 기업간, 개인간에도 정보를 공유하지 않고 있어 ‘빅데이터’의 장애로 길을 막고 있다고 한다.

 

‘빅데이터’는 분명 미래의 혁명을 가져올만한 놀라운 기술의 진보라고 볼 수 있다. 위에도 언급한 정보의 공유, 저자가 말하는 대학에서의 전문가양성, 오픈소스 육성, 기업에서의 투자, 국가적 지원 등 한국 내에서 안고 있는 문제들을 점차 개선하여 미래 IT 사회를 선도하는 강국, 대한민국이 되었으면 하는 바람이다.