착하고 예쁜 우리집 여고생 딸내미에게 홈플러스나 이마트에서 자꾸 출산 대비용품 (아기 침대, 젖병, 기저귀 같은) 할인 쿠폰을 보낸다면 애 아버지의 기분이 어떨까? 처음 한 두 번은 실수겠지 생각하겠지만 네 번 다섯 번이 되면 마트에 찾아가 화를 낼지도 모른다. 2004년 미국 미니애폴리스의 대형 마트 타겟(Target)에서 터진 일이 그랬다. "여고생 보고 임신하란 얘기냐!" 며 화를 내는 아버지의 심정에 마트 사람들도 공감했다. 그래서 며칠 뒤, 책임자가 사과 전화를 걸었지만, 오히려 사과를 한 것은 애 아버지였다. "딸이 8월에 출산한다는군요."

왜 타겟 마트는 굳이 개인적인 임신 여부를 알아내서 그런 홍보물을 보낸 것일까? 사람들은 여간해서는 자신의 쇼핑 습관을 바꾸지 않는다. 하지만 평소의 습관을 바꾸는 전기가 평생 몇 번 생기는데, 가장 큰 것이 임신이라고 한다. 임신하면 가급적 여러 곳을 돌아다니려 하지 않게 되고, 위험한 것을 피하느라 한 곳에서 쇼핑을 한다는 것이다. 당연히 그의 남편, 출산후에는 아기까지 임신부와 함께 고객이 된다.

문제는 어떻게 다른 장사꾼들보다 더 고객의 임신 사실을 빨리 알아내어 매력적인 쇼핑 제안을 할 수 있을까 하는 것. 타겟의 통계학자 앤드류 폴은 가임 여성 고객이 철분제와 향기없는 로션을 사면 80% 확률로 6개월 뒤 출산이라는 사실을 알아냈고, 타겟은 해당 고객에게 집중적으로 신생아 관련품 할인 쿠폰을 발송했다. 이러한 분석을 통해 4년간 업계 평균 성장률의 2배가 넘는 매출 성장을 거두는데 성공했다. 임신같은 개인적 중대사를 굳이 알아내 마케팅에 활용하는 것을 용납해야 할지는 의문이지만, 좌우간 타겟은 큰 성공을 거뒀다.

뉴욕 타임스에서 보도해 유명해진 이 사건은, 분석하지 않고 버려지던 데이터를 분석해 어떤 일이 가능한지 보여주는 대표적 사례이다. 이와 비슷한 일은 국내에서도 이뤄진다. 2007년 국내 한 통신사는 2000만 가입자들의 통신 기록 자료를 분석하기 위한 대규모 저장 및 정제 솔루션을 도입하여, 하루 10억 건에 달하는 통화와 SMS 기록이 발생시킨 데이터(어디서 통화했다, 어떤 아이템을 검색했다 등)를 분석해 더 저렴한 요금제나 더 개선된 통화품질을 제공하는데 활용하고 있다. 또한, 이 통신사는 최근 가입자가 어느 지역에 있는지 파악해서 해당 가입자 마음에 쏙 드는 쇼핑 아이템이나 식당을 추천하는 등의 다양한 부가 서비스를 빅데이터를 활용하여 제공하고 있다.

이러한 일들은 모두 "저장되지 않던 데이터가 컴퓨터에 저장되기 시작하면서", 그리고 "분석되지 않고 버려지던 저장 데이터를 빠른 시간 내에 분석할 수 있게 되면서" 현실화되었다. 종이에 수기되거나 테이프에 녹화/녹음되던 것들이 디지털화 되어 컴퓨터에 저장되고, 하드 디스크 등 저장 장치 가격이 극적으로 저렴해졌으며, 값싼 PC급 컴퓨터를 수백대 네트워크로 연결해 저렴하게 슈퍼컴퓨터를 만드는 "클러스터링" 기술이 보급되면서, "분석되지 않던 방대한 양의 디지털 데이터"가 분석되기 시작한 것이다. 이를 빅데이터라고 한다.

빅데이터는 공상과학 영화에서나 보던 일들을 현실로 만든다. 톰 크루즈가 주연한 영화 ‘마이너리티 리포트’에서는 2054년 워싱턴에서 범죄를 사전에 예측해 막는 "프리 크라임" 시스템이 등장한다. 하지만 2011년 여름, 산타크루스 도심 주차장에서는 여간해서 잡을 수 없는 차량 절도범이(잡고 보니 여자 둘이었다) 범죄 예측 시스템 "프레드폴"의 지시를 받고 대기하고 있던 경찰에 의해 절도 행위중 체포되었다. 프레드폴은 수학자 조지 말러가 경찰의 요청을 받아 2000년 이후 수만건의 범죄 데이터를 분석해 만든 범죄 예측 시스템으로, 차량 절도, 가택 침입, 폭력 등 주요 범죄가 다음번에 벌어질 가능성이 가장 높은 지역을 지도에 표시해 준다.

에단 호크와 우마 서먼이 주연한 영화 ‘가타카’에서는 모든 사람들이 태어날 때 유전자 분석을 통해 어떤 병에 걸릴지, 어떤 일에 얼마나 적성이 맞는지, 몇 살에 죽을지 등을 예측하여 취직이나 승진에 활용한다. 인간의 유전자를 구성하는 30억개의 염기서열을 개인별로 알아내고, 개인간 개성 차이와 염기서열 차이를 연관시켜 분석해 보면, 갓 태어난 아기가 어떤 염기서열을 가지고 태어났는지 분석해 아기의 미래를 어느 정도 예측할 수도 있다.

문제는 염기서열을 알아내는데 드는 비용과 비교 분석 비용이다. 2000년대 초반, 최초의 인간 염기 서열이 파악될 때까지 13년간 30억 달러가 들었다. 스티브 잡스나 빌게이츠 같은 갑부가 아닌 이상 개인이 지불하기에는 불가능한 비용이다. 그러나 10년이 지난 2012년 12월, 1000달러짜리 염기서열 분석 서비스가 등장했다. 그러나 30억 개 염기서열만 알아내 봐야 몇 살에 어떤 병 걸릴지, 어떤 일에 적성이 맞는지 알 수 없다. 따라서 개인 간 비교분석이 필요한데, 한 사람의 염기서열 데이터 자체가 수백 기가바이트에 달하므로 이를 수 만 명 사이에 서로 비교하자면 빅데이터 분석 이슈가 된다. 그리고 현대의 슈퍼컴퓨팅 기술은 이를 충분히 저렴한 비용과 의미 있는 시간 내에 가능하게 해 준다. 영화 가타카의 유전자 분석 서비스는 앞으로 1, 2년 내에 등장하게 될 것이다. 실제로 그런 자료가 입시나 취업에 사용된다면 엄청난 기회와 문제를 동시에 야기할 것이다.

영화 ‘터미네이터’에서는 인간보다 똑똑한 컴퓨터 스카이넷이 등장해 인류를 멸망시킨다. 2011년에는 IBM이 만든 슈퍼컴퓨터 왓슨이 인간 퀴즈 챔피언들을 물리치고 제퍼디 퀴즈쇼 우승을 차지했으며, 구글의 번역 엔진은 동네 분식집 메뉴판 번역에까지 사용되고 있다. 왓슨도, 구글의 검색엔진도 모두 수억 건 이상의 방대한 책과 문서들을 양적으로 축적해 분석함으로써 과거에는 불가능했던 수준의 지적 활동이 가능해진 것이다. 바로 빅데이터 기술이다.

빅데이터가 이토록 주목받는 이유는 빅데이터가 모호한 현실과 은폐된 진실에 대한 통찰력(insight)을 제공하고, 한발 더 나아가 알 수 없는 미래에 대해 예측(foresight)을 제시하기 때문이다. 그리고 그런 능력을 사용해 가장 큰 이득을 볼 수 있는 곳은 기업, 특히 영업과 마케팅 분야다.

인사 데이터나 영업 데이터 분석, 수요 예측 등에서도 빅데이터 기술이 의미 있을 수 있다. 기존의 데이터베이스 기반 분석 시스템에서 알려주지 못하는 사항을, ERP나 그룹웨어, 메일 등에 축적된 데이터 분석을 통해 얻어내어, 숙련자의 조기 이직을 막는다거나 제품별 수요 예측에 활용하는 것이 가능해질 수도 있다.

많은 경우, 빅데이터 기술은 현실 문제를 해결하는데 적용 가능한 수준에 도달해 있다. 문제는 그러한 기술로 어떤 문제를 풀지 문제가 명확하지 않다는 것, 그리고 문제를 직시한 뒤에는 문제 해결을 위한 데이터와 해결 수단들이 부서간 장벽에 막혀서 공유 활용되기 어렵다는 것이다. 그래서 빅데이터나 클라우드 같은 기술들이, 실무자보다는(일부 부서 문제가 아닌) 전체적 문제의 해결에 집착하는 최고 경영자의 지속적 의지에 의해서만 도입 성공하는 것일 수 있겠다. 그리고 어쩌면 우리가 이런 사실들을 모른다는 것, 그것이 가장 큰 문제일지 모른다.