기업에서 빅데이타의 성공을 위한 고민

필자는 아주 오래전 데이타웨어 하우스 구축팀에서 DW 구축 및 관련 솔루션을 개발한 경험이 있다. 모 백화점과 자동차 그리고 보험사의 고객 데이타를  DW로 구축 후 교차 분석하여 각각의 제품 판매를 촉진하는 방법을 도모하는 것이었다.  온갖 고생을 하여 데이타를 정제하고 DW 모델링을 하고 OLAP 을 하는 등 많은 데이처 처리를 하였다. 

공교롭게 빅데이타가 유행하고 있는 지금 ,  (물론 하둡같은 새로운 기술이 나왔지만) 데이타를 처리하고 분석하는 기본 과정에는 큰 변함이 없다. 또한  같은 질문이 나온다. 

과거 CRM 처럼 빅데이타도 유행아니냐? CRM과 마찬가지로 빅데이타 

또한 실패할 것이다. 

라는 것이었다. 맞는 말이기도 하고 틀린 말이기도 할 것이다.

잠시 현재 빅데이타 처럼 유행했던 CRM이 실패한 이유가 무엇인지 살펴보자.

1) 최대우 한국외대 교수(통계학)는 현업 사용자의 외면에서 그 답을 찾는다. 

△실무자들이 사용하기 어려운 시스템 △시스템 사용을 강제하지 않는 기업 문화와 업무 프로세스 △데이터 ‘분석’이 아닌 집계에 불과했다는 점 등이 실무자들의 데이터 분석 회의론 등 총체적인 난국을 만들어냈다는 것이다.

데이터 분석은 데이터로부터 비즈니스 의미와 가치를 도출해야 한다. 그러나 데이터는 ‘분석’되지 않고 ‘집계’되었으며 집계 수준의 보고서는 실무자들의 실망을 낳았다. 나아가 데이터 분석 회의론, 무용론 등 데이터 분석에 대한 불신으로까지 이어졌다 (2013년 전자 신문 기사에서).

2) 다음은 가트너에서 정리한  기업들이 CRM을 도입하면서 실패한 7가지 이유이다. 

△ 내부 데이타에 대한 무시 △ 전사 적용이 아니라 일부에 만 적용 △ 기술 조직과 업무 조직간의 협업 부족 △ 장기 전략 부재 △ 문제 있는 내부 프로세스의 개선 부재 △ 고객 중심이 아니라 기업 중심의 서비스 △ 직원들의 기술 숙련도 부족.

3) 구글링을 해보면 수없이 많은 CRM 실패 사례와 이유들이 나온다.  

빅데이타가 이런 전철을 밟지 않으려면 어떻게 해야 할 까? 정답은 아무도 모르지만 필자의 생각은 빅데이타를 스마트 데이타로 만들어야 할 것이다. 

구슬이 서말이라도 꿰어야 보배

아무리 많은 데이타를 모아 빅데티타를 만들어도  이 빅데이타를 꿰어야 보배가 된다. 

구글은 인터넷상의 모든 데이타를 수집하고 이 데이타를 검색이라는 손쉬운 꿰는 방법을 통해 사용자들이 본인들이 원하는 보배를 얻도록 해 주었다. 특히, 랭킹 이라는 방법을 통해 보배를 아주 쉽게 고를 수 있도록 해주었다. 더 나아가 이제는 구글 나우라는 컨텍스트 기반의 검색/추론 방법을 사용하여 사용자의 상황에 맞는 정보를 스스로 제공해주는 서비스로 발전하고 있다. 마찬가지로 페이스북은 수십억 사용자의 쇼셜 데이타를 모으로 이를 분석한 후 ,  쇼셜 그라프를 통해 페이스북 플랫폼의 고객인 개발자들에게  보배를 만들 기회를 준다.      

현재 빅데이타를 생각해 보자.  

현재 기업들에서 구축,활용하고 있는 대부분의 빅데이타는 분석을 통해 통계 정보를 제공한다. 이러한 통계 정보는 이해하기 어렵고 , 활용하기는 더더욱 어렵다. 더구나 이 통계 정보를 스스로 찾고 만들어 활용하는 더더더욱 어렵다.  이러한 활용 환경으로는 보배를 절대 꿰어낼 수 없다.

구글의 검색 엔진이나 구글 나우 같은 추천 기능 등 기업내 구성원들이 이를 손쉽게 활용하기 위한 방법을 고민해야 한다. 

기업들은 내부 생산성을 높이고 지식을 공유하기 위한 방법으로 기업 내부의 모든 기간 시스템과 컨텐트 및 지식, 업무 프로세스를 하나의 시스템 접접인 기업 지식 포탈에 모으는 작업을 하였다. 모든 기업 구성원은 이 기업 포탈을 통해 회사의 모든 프로세스와 지식에 접근하고 활용한다. 

기업내 빅데이타가 성공하기 위해서는 이러한 기업 포탈의 접점에서 사용자 관점에서 수집된 내.외부 데이타를 손쉽게 검색하여 활용하고 이를 공유하는 환경을 만들어야 한다. 그래야 빅데이타를 통해 기업 구성원들이 보배를 만들어 낼 수 있다.