기업에서 빅데이타의 성공을 위한 고민

필자는 아주 오래전 데이타웨어 하우스 구축팀에서 DW 구축 및 관련 솔루션을 개발한 경험이 있다. 모 백화점과 자동차 그리고 보험사의 고객 데이타를  DW로 구축 후 교차 분석하여 각각의 제품 판매를 촉진하는 방법을 도모하는 것이었다.  온갖 고생을 하여 데이타를 정제하고 DW 모델링을 하고 OLAP 을 하는 등 많은 데이처 처리를 하였다. 

공교롭게 빅데이타가 유행하고 있는 지금 ,  (물론 하둡같은 새로운 기술이 나왔지만) 데이타를 처리하고 분석하는 기본 과정에는 큰 변함이 없다. 또한  같은 질문이 나온다. 

과거 CRM 처럼 빅데이타도 유행아니냐? CRM과 마찬가지로 빅데이타 

또한 실패할 것이다. 

라는 것이었다. 맞는 말이기도 하고 틀린 말이기도 할 것이다.

잠시 현재 빅데이타 처럼 유행했던 CRM이 실패한 이유가 무엇인지 살펴보자.

1) 최대우 한국외대 교수(통계학)는 현업 사용자의 외면에서 그 답을 찾는다. 

△실무자들이 사용하기 어려운 시스템 △시스템 사용을 강제하지 않는 기업 문화와 업무 프로세스 △데이터 ‘분석’이 아닌 집계에 불과했다는 점 등이 실무자들의 데이터 분석 회의론 등 총체적인 난국을 만들어냈다는 것이다.

데이터 분석은 데이터로부터 비즈니스 의미와 가치를 도출해야 한다. 그러나 데이터는 ‘분석’되지 않고 ‘집계’되었으며 집계 수준의 보고서는 실무자들의 실망을 낳았다. 나아가 데이터 분석 회의론, 무용론 등 데이터 분석에 대한 불신으로까지 이어졌다 (2013년 전자 신문 기사에서).

2) 다음은 가트너에서 정리한  기업들이 CRM을 도입하면서 실패한 7가지 이유이다. 

△ 내부 데이타에 대한 무시 △ 전사 적용이 아니라 일부에 만 적용 △ 기술 조직과 업무 조직간의 협업 부족 △ 장기 전략 부재 △ 문제 있는 내부 프로세스의 개선 부재 △ 고객 중심이 아니라 기업 중심의 서비스 △ 직원들의 기술 숙련도 부족.

3) 구글링을 해보면 수없이 많은 CRM 실패 사례와 이유들이 나온다.  

빅데이타가 이런 전철을 밟지 않으려면 어떻게 해야 할 까? 정답은 아무도 모르지만 필자의 생각은 빅데이타를 스마트 데이타로 만들어야 할 것이다. 

구슬이 서말이라도 꿰어야 보배

아무리 많은 데이타를 모아 빅데티타를 만들어도  이 빅데이타를 꿰어야 보배가 된다. 

구글은 인터넷상의 모든 데이타를 수집하고 이 데이타를 검색이라는 손쉬운 꿰는 방법을 통해 사용자들이 본인들이 원하는 보배를 얻도록 해 주었다. 특히, 랭킹 이라는 방법을 통해 보배를 아주 쉽게 고를 수 있도록 해주었다. 더 나아가 이제는 구글 나우라는 컨텍스트 기반의 검색/추론 방법을 사용하여 사용자의 상황에 맞는 정보를 스스로 제공해주는 서비스로 발전하고 있다. 마찬가지로 페이스북은 수십억 사용자의 쇼셜 데이타를 모으로 이를 분석한 후 ,  쇼셜 그라프를 통해 페이스북 플랫폼의 고객인 개발자들에게  보배를 만들 기회를 준다.      

현재 빅데이타를 생각해 보자.  

현재 기업들에서 구축,활용하고 있는 대부분의 빅데이타는 분석을 통해 통계 정보를 제공한다. 이러한 통계 정보는 이해하기 어렵고 , 활용하기는 더더욱 어렵다. 더구나 이 통계 정보를 스스로 찾고 만들어 활용하는 더더더욱 어렵다.  이러한 활용 환경으로는 보배를 절대 꿰어낼 수 없다.

구글의 검색 엔진이나 구글 나우 같은 추천 기능 등 기업내 구성원들이 이를 손쉽게 활용하기 위한 방법을 고민해야 한다. 

기업들은 내부 생산성을 높이고 지식을 공유하기 위한 방법으로 기업 내부의 모든 기간 시스템과 컨텐트 및 지식, 업무 프로세스를 하나의 시스템 접접인 기업 지식 포탈에 모으는 작업을 하였다. 모든 기업 구성원은 이 기업 포탈을 통해 회사의 모든 프로세스와 지식에 접근하고 활용한다. 

기업내 빅데이타가 성공하기 위해서는 이러한 기업 포탈의 접점에서 사용자 관점에서 수집된 내.외부 데이타를 손쉽게 검색하여 활용하고 이를 공유하는 환경을 만들어야 한다. 그래야 빅데이타를 통해 기업 구성원들이 보배를 만들어 낼 수 있다.

MS가 주목한 홈 IoT 분야 스타트업

최근 가장 뜨거운 주제중 하나는 IoT이다. 수 많은 신생 Startup들이 기존 전통 제품들에 각종 센서 기술을 보태 새로운 제품과 서비스를 창출하고 있다.너무 과열되지 않나 싶지만 그 만큼 변화의 속도도 빠른 것 같다. 그 간, 이 분야에서 구글, 삼성전자 등 많은 업체들이 기술 개발과 투자/합병 등을 통해 그 세를 키우고 있는 것을 보면 예상보다 더 크고 빠르게 기존 모바일 시장이 IoT 시장으로 전환되고 있는 것 같다.

디바이스2.0과 기술 저항

새로운 기능과 기술로 무장한 새로운 디바이스가 출시한다고 해서 해당 디바이스가 성공하는 것은 아니다. 왜냐하면 , 기술과 시장(소비자) 사이에는 기술 저항과 기능 피로 같은 장벽이 존재하기 때문이다.

•  기술 저항

시장(소비자)의 기술 수용도는 기술 발전 속도 보다 느리다. 따라서 새로운 기술과 제품이 나오더라도 사용자는 이를 쉽게 수용하지 못한다. 따라서 신제품 개발 주기가 짧아 질 수록 사용자는 이를 더욱 쉽게 수용하지 못하게 된다.

• 기능 피로

기능이 많을 수록 사용자는 피로하다. 대다수의 사용자는 제품에서 제공하는 기능 중 기본적인 기능 만을 사용한다.

제품 간에 기술 경쟁이 치열한 경우 이러한 사용의 기술 저항과 기능 피로 문제를 누가 해결하느냐가 승리의 열쇠라 할 수 있다. 가령, 스마트폰 분야에서 치열하게 경쟁하고 있는 애플과 삼성의 경우 애플은 이러한 장벽을 일관된 사용자 경험과 Siri로 불리우는 음성 인식 기능 등으로 극복을 하고 있고 현재에도 새로운 인터페이스를 강화하기 위해 많은 노력을 기울이고 있다.

삼성 역시 S-voice라 불리는 음성 인식 기능과 눈을 자동인식하여 화면 스크롤을 자동으로 해주는 스마트 스크롤,  화면을 보고 있으면 화면이 꺼지지 않고 유지되게 해주는 스마트 스테이 기능 등의 노력을 하고 있다.  하기 블러그의 포스팅을 보면 갤럭시 S4에서 지원하는 이러한 노력들을 알 수 있다.

사용자와 소통하는 갤럭시S4의 똑똑한 9가지 센서 살펴보기

이러한 것들은 모두 기술 저항을 극복하기 위한 노력이라 할 수 있다. 그러나 이러한 노력은 다시 기능 피로를 유발할 수 있다. 왜냐하면 소비자들은 결국 이러한 기능을 모두 새롭게 배워야 하기 때문이다.

기술 저항과 기능 피로를 줄이기 위한 방법은 크게 삼성과 애플의 음성 인식 인터페이스 처럼 보다 직관적인 사용자 인터페이스를 제공하는 방법이외에도  사용자의 사용 환경과 원하는 것을 자동으로 판단하여 자동으로 작동시키는 스마트화 등으로 구별해 볼 수 있다.  가령, 에어컨의 경우 사람의 움직임을 파악해 냉방시 바람의 세기를 자동으로 조절해 주는 등으로 스마트화를 통해 효율화 시킬 수 있다. 

        결국, 시장의 기술 저항과 기능 피로를 극복하는 것이 현재 치열한 기술 경쟁을 벌이고 있는 디바이스 업체들의 가장 큰 해결 과제라 할 수 있는데 이를 해결하는 가장 근본적인 대안이 바로 사용자를 이해하고 , 이에 기반하여 디바이스를 혁신하는 것이라 할 것이다. 

디바이스2.0 시대와 빅데이타

최근 구글이 발표한 크롬캐스트를 달리보면 기존에 인터넷 세상과 고립되어 있는 TV를 인터넷에 연결해주는 매개체라고 표현할 수 있을 것이다. 크롬캐스트의 성공 여부에 대해서 논의하기 보다 좀 더 근본적인 변화는 주변의 모든 것들이 인터넷에 연결되고 있다고 말할 수 있다. 이러한 변화를 IoT(Internet of Things) , M2M(Mache to Machine) 이라고도 한다.

Fuelband로 대표되는 나이키+ ,  열쇠없이 핸드폰으로 기존의 문을 제어하게 해주는 Locktron , Romo - Robot, Sphero, Thermodo , 자동으로 약 먹을 시간을 챙겨주는 스마트 약통인 GlowCap 등 수많은 업체에서 기존 오프라인의 제품들을 인터넷과 융햡하여 새로운 경험을 창출하고 있다 . 뿐만 아니라 구글 글라스, 갤럭시 와치, 아이와치 등 급속히 기존 오프라인 제품들이 온라인화되고 있다. 

아래 그림은 IoT를 잘 정리한 그림이라 소개한다. IoT에는 정책과 법률에서 부터 데이타 관리 및 분석에 이르기까지 폭넓은 분야가 포함되어 있다. 이 말은 다시 말해, IoT 분야가 사회 변혁을 이룰 많은 혁신이 나타날 분야라는 것이다. 

다음의 포스팅을 읽어보면 좀 더 이러한 현실을 확인하고 즐길 수 있다. 

“이런 곳에도 인터넷이?” 기묘한 '사물 인터넷' 사례 25선

이들 최근의 디바이스들은 다음과 같이 발전하고 있다. 

첫째, 모든 디바이스는 Wifi , 블루투스, NFC 등 더이상 유선이 아니라 무선으로 모바일화되어 있다. 이를 통해 모든 디바이스들은 언제, 어디서나 항상 사용자와 함께 존재하며 사용자의 센서가 된다.  

둘째 , 모든 디바이스들은 인터넷에 연결되어 의미있는 존재가 된다. 기존 고립되어 있던 디바이스들이 인터넷에 연결되어 IP주소와 URL을 부여받고 이를 통해 서로 대화하며 원하는 것을 주고 받고 새로운 경험을 만들어 내게 된다. 

셋째, 이들 디바이스들은 끊임없이 사용자의 데이타화가 되고 있다. 서로 연결되어 끊임없이 이동하며 활동하는 디바이스들은 끊임없이 데이타를 생산해 낸다. 이 데이타는 모여서 의미있는 정보가 되고 , 이 정보들이 모여 인류와 사회가 직면하고 있는 문제를 해결할 수 있는 기반이 된다.  

이외에도 소형화, 개인 맞춤형 등의 동향이 있으나 위의 연결화, 모바일화, 데이타화 3가지 동향이 가장 두드러진다 할 수 있다. 

이중 데이타화의 경우 가장 중요하다 말할 수 있다. 왜냐하면 이를 통해 디바이스간의 에코시스템을 구축할 수 있기 때문이다.이러한 데이타 처리를 위해서는 현재 기업트렌젝션상에서 발생하는 데이타의 의미를 찾는 데 주력하고 있는 빅데이타 처리 기술을 대용량 기계 데이타와 로그 데이타 처리가 가능하도록 확장하고 이에 대한 처리 기술을 확보해야 한다.  

빅데이타 성공 요인 ,  人 人 人.

2001년 가트너에서 발표한 “7 key reasons for CRM failures” 이란 보고서에는 CRM을 기업들이 도입하면서 실패한 7가지 이유를 다음과 같이 설명하고 있다. 

1) 내부 데이타에 대한 무시 , 2)전사 적용이 아니라 일부에 만 적용 , 3) 기술 조직과 업무 조직간의 협업 부족 , 4) 장기 전략 부재 , 5) 문제 있는 내부 프로세스의 개선 부재 , 6) 고객 중심이 아니라 기업 중심의 서비스 , 7) 직원들의 기술 숙련도 부족. 

위의 가트너에서 설명하고 있는 7가지 원인들의 근본 원인은 바로 CRM을 추진하는 조직과 인력, 즉 사람이 문제라 할 수 있다. 최근 많은 양의 다양한 데이타가 엄청난 속도로 발생하고 있는 현실에서 이들 빅데이타를 효율적으로 활용하여 기업의 경쟁 우위와 새로운 비지니스 기회를 만들려는 노력이 다양한 분야에서 진행되고 있다. 

이들 분야에서 진행중인 빅데이타 과제가 성공하기 위해서는 첫째도 사람, 둘째도 사람 그리고 세째도 사람이라는 생각을 갖고 장기적인 관점에서 진행을 해야 한다.  왜냐하면 , 유행하는 빅데이타 솔루션을 사용하여 데이타를 모으고 이를 분석 툴로 분석한다고 해서 원하는 것을 얻을 수 있는 것이 아니기 때문이다. 빅데이타를 통해서 경쟁우위의 인사이트를 얻기 위해서는 빅데이타라는 도구를 능숙히 사용하여 가치있는 것을 찾아 내고 이를 적용할 수 있는 사람과 조직이 중요하기 때문이다. 

먼저, 실무 현업 전문가와 이들로 부터 현장의 문제를 수집하고 ,  이를 해결하기 위한 방안을 모델링 하는 데이타 분석가가 필요하다. 또한 기술적으로 데이타 분석가가 모델링한 방법을 구현할 전문 개발자와  대용량 빅데이타 인프라를 안정적으로 운영하기 위한 인프라 담당가가 필요하다.  그리고 무엇보다도 이들 인력들간의 원활한 소통과 정확한 업무 판단과 결과를 책임질 빅데이타 과제를 이끌어 나갈 빅데이터 코디네이터가 필요하다.  

이들 각각의 기대되는 역할은 다음과 같다. 

1) 기획 중심

• 현장 전문가  -  해당 분야의 고객 요구 사항을 잘 이해하고 있고 , 고객의 입장에서 실제 업무를 수행한다.
• 데이타 분석가 - 현장 전문가로 부터 요구사항을 수집하고 이들로 부터 분석 요건을 도출하며 이를 바탕으로 테스트 데이타와 개발을 위한 상세 설계를 수행한다. 또한 데이타이 보안과 관리를 위한 거버넌스 정책을 수립하고 이를 강제화한다.

• 개발자 - 데이타 분석가로 부터 전달받은 설계 문서에 기반하여 분석 시스템을 구현한다. 이 때, 다양한 솔루션과 방법이 필요하며 이중 가장 적합한 것을 빅데이터 코디네이터와 함께 선정하고 이를 적용한다.
• 인프라 담당 - 데이타 분석가와 개발자가 필요로 하는 분석용 데이타를 준비하여 제공하고 이를 위한 대용량 빅데이타 인프라를 운영한다.

• 빅데이타 코디네이터 - 관련 인력들간의 커뮤니케이션을 조율하며 , 설계된 문서의 다양한 기술중 최적화된 기술 방안을 찾으며 원하는 결과가 도출되고 인사이트를 찾을 수 있도록 전략을 수립하고 이를 실천해 나간다.  기획과 기술을 모두 겸비해여 원활히 해당 업무를 수행할 수 있다. 

결국 人 이 가장 중요하고 , 이들 人을 이끌고 명확한 결과를 도출해 나갈 리더(人), 이들이 원활하게 업무를 수행할 수 있는 조직 구성이 빅데이타를 성공하기 위해서 반드시 필요하다. 이를 간과할 경우 우리는 아마도 몇 년 후  “7 key reasons for BigData failures” 라는 글을 다시 보게 될 지도 모른다.