기업에서 빅데이타의 성공을 위한 고민

필자는 아주 오래전 데이타웨어 하우스 구축팀에서 DW 구축 및 관련 솔루션을 개발한 경험이 있다. 모 백화점과 자동차 그리고 보험사의 고객 데이타를  DW로 구축 후 교차 분석하여 각각의 제품 판매를 촉진하는 방법을 도모하는 것이었다.  온갖 고생을 하여 데이타를 정제하고 DW 모델링을 하고 OLAP 을 하는 등 많은 데이처 처리를 하였다. 

공교롭게 빅데이타가 유행하고 있는 지금 ,  (물론 하둡같은 새로운 기술이 나왔지만) 데이타를 처리하고 분석하는 기본 과정에는 큰 변함이 없다. 또한  같은 질문이 나온다. 

과거 CRM 처럼 빅데이타도 유행아니냐? CRM과 마찬가지로 빅데이타 

또한 실패할 것이다. 

라는 것이었다. 맞는 말이기도 하고 틀린 말이기도 할 것이다.

잠시 현재 빅데이타 처럼 유행했던 CRM이 실패한 이유가 무엇인지 살펴보자.

1) 최대우 한국외대 교수(통계학)는 현업 사용자의 외면에서 그 답을 찾는다. 

△실무자들이 사용하기 어려운 시스템 △시스템 사용을 강제하지 않는 기업 문화와 업무 프로세스 △데이터 ‘분석’이 아닌 집계에 불과했다는 점 등이 실무자들의 데이터 분석 회의론 등 총체적인 난국을 만들어냈다는 것이다.

데이터 분석은 데이터로부터 비즈니스 의미와 가치를 도출해야 한다. 그러나 데이터는 ‘분석’되지 않고 ‘집계’되었으며 집계 수준의 보고서는 실무자들의 실망을 낳았다. 나아가 데이터 분석 회의론, 무용론 등 데이터 분석에 대한 불신으로까지 이어졌다 (2013년 전자 신문 기사에서).

2) 다음은 가트너에서 정리한  기업들이 CRM을 도입하면서 실패한 7가지 이유이다. 

△ 내부 데이타에 대한 무시 △ 전사 적용이 아니라 일부에 만 적용 △ 기술 조직과 업무 조직간의 협업 부족 △ 장기 전략 부재 △ 문제 있는 내부 프로세스의 개선 부재 △ 고객 중심이 아니라 기업 중심의 서비스 △ 직원들의 기술 숙련도 부족.

3) 구글링을 해보면 수없이 많은 CRM 실패 사례와 이유들이 나온다.  

빅데이타가 이런 전철을 밟지 않으려면 어떻게 해야 할 까? 정답은 아무도 모르지만 필자의 생각은 빅데이타를 스마트 데이타로 만들어야 할 것이다. 

구슬이 서말이라도 꿰어야 보배

아무리 많은 데이타를 모아 빅데티타를 만들어도  이 빅데이타를 꿰어야 보배가 된다. 

구글은 인터넷상의 모든 데이타를 수집하고 이 데이타를 검색이라는 손쉬운 꿰는 방법을 통해 사용자들이 본인들이 원하는 보배를 얻도록 해 주었다. 특히, 랭킹 이라는 방법을 통해 보배를 아주 쉽게 고를 수 있도록 해주었다. 더 나아가 이제는 구글 나우라는 컨텍스트 기반의 검색/추론 방법을 사용하여 사용자의 상황에 맞는 정보를 스스로 제공해주는 서비스로 발전하고 있다. 마찬가지로 페이스북은 수십억 사용자의 쇼셜 데이타를 모으로 이를 분석한 후 ,  쇼셜 그라프를 통해 페이스북 플랫폼의 고객인 개발자들에게  보배를 만들 기회를 준다.      

현재 빅데이타를 생각해 보자.  

현재 기업들에서 구축,활용하고 있는 대부분의 빅데이타는 분석을 통해 통계 정보를 제공한다. 이러한 통계 정보는 이해하기 어렵고 , 활용하기는 더더욱 어렵다. 더구나 이 통계 정보를 스스로 찾고 만들어 활용하는 더더더욱 어렵다.  이러한 활용 환경으로는 보배를 절대 꿰어낼 수 없다.

구글의 검색 엔진이나 구글 나우 같은 추천 기능 등 기업내 구성원들이 이를 손쉽게 활용하기 위한 방법을 고민해야 한다. 

기업들은 내부 생산성을 높이고 지식을 공유하기 위한 방법으로 기업 내부의 모든 기간 시스템과 컨텐트 및 지식, 업무 프로세스를 하나의 시스템 접접인 기업 지식 포탈에 모으는 작업을 하였다. 모든 기업 구성원은 이 기업 포탈을 통해 회사의 모든 프로세스와 지식에 접근하고 활용한다. 

기업내 빅데이타가 성공하기 위해서는 이러한 기업 포탈의 접점에서 사용자 관점에서 수집된 내.외부 데이타를 손쉽게 검색하여 활용하고 이를 공유하는 환경을 만들어야 한다. 그래야 빅데이타를 통해 기업 구성원들이 보배를 만들어 낼 수 있다.

2014년 지금 클라우드 서비스에 대한 심각한 고민

올해 5월 유렵연합의 최소 법원인 유럽 사법 재판소의 구글의 "잊혀질 권리" 판결을 보면서 클라우드에 저장된 개인의 데이타는 특정 회사의 소유가 아니라 개인 데이타 라는 사실을 새삼 다시 생각하게 되었다. 

구글, 페이스북, 아마존 , 애플 같은 빅4는 왜  막대한 비용을 투자해서 무료 서비스를 만들어 제공하면서 이들 사용자의 데이타를 모으고 사용자가 서비스를 이용하게 하는 것일까?

이에 대한 대답을 단적으로 보여주는 사건은 바로 2012년 페이스북의 감정 실험이다. 이 실험에서 페이스북은 70만명(정확히는 689,003명)에 달하는 사용자를 대상으로 사용자의 감정의 상태에 따라 뉴스 피드를 조작을 했고 감정에 따라 뉴스 피드를 조작하는 것이 가능하다는  것을 알아 냈다.(아마 이 실험 결과로 지금 페이스북은 열심히 광고를 통해 막대한 수익을 내고 있을 것이다.) 최근에는 사용자 웹 브라우징 정보를 광고에 활용하겠다는 계획을 발표한 것을 보면 페이스북은 더욱 광고 수익에 몰두할 것이 분명하다.

결국 이러한 무료 클라우드를 제공하는 이유는 사용자와 사용자 데이타를 모으고 이를 바탕으로 막대한 수익을 내기 위한 것이라 할 수 있다. 구글, 아마존, 페이스북 그리고 다소 늦었지만 내실 있는 클라우드 전략을 구사하고 있는 애플, 잊혀진 최강자 MS 등이 각기 자신의 사업을 강화하고 새로운 사업 기획를 창출하기 위해 막대한 투자를 경주하고 있다. 

특히, 구글은 구글IO를 통해 안드로이드를 완전히 통제하겠다는 의도를 노골적으로 발표했고 , 이러한 안드로이드를 모바일을 중심으로 자동차/TV 등 가전/웨어러블 등 모든 분야로 확산하겠다고 했다. 안드로이드에 탑제되어 있는 구글의 모든 서비스는 15G를 무료로 제공하는 구글 스토리지 클라우드 기반이다.  

클라우드에 관한 한 후발업체였던 애플은 디바이스간 자동 싱크 기능을 필두로 iOS8과 OS X의 요세미티 버전을 발표하면서 5G 무료 스토리지인 iCloud Drive와 디바이스간 사진 동기화 서비스인 포토 라이브러리 , 5G 대용량 첨부 파일 메일 발송 기능은 Mail Drop 을 발표했고 한발 더 나아가 개발자들에게 어플 개발시 iCloud를 스토리지로 사용할 수 있도록 Cloud Kit을 제공한다고 발표하면서 본격적인 클라우드 전쟁에 동참하였다.

이러한 상황하에서 과연 후발업체들은 어떻게 경쟁을 해야 할 까? 이들과 마찬가지로 클라우드 분야에 막대한 투자를 해야 할 까? 아니면 과감하게 포기하고 이들의 만든 먹이 사슬의 일부분에 만족을 해야 할까? 

아마도 클라우드 서비스 분야의 후발업체와 모바일 제조업체들은 큰 기로에 서 있다. 특히, 구글 안드로이드 기반의 하드웨어 업체들은  구글 클라우드 기반의 서비스를 공통적으로 제공하기 때문에 점점 차이가 없어지고 있다. 다시 말해, 저가의 중국산 안드로이드폰과 고가의 국내산 안드로이드폰간에 차이가 없어지고 있다는 것이다. 오히려 , 중국의 저가 안드로이드폰이 더 가격 경쟁력을 갖고 있다는 것이다. 

이를 어찌하는 게 좋을까?

- 집요하게 중앙의 클라우드에 사용자의 모든 데이타를 모으고 락인(Lock-In)을 하려는 구글 등 앞선 업체 보다 클라우드를 더 잘하겠다는 희망을 버리고 구글이 진출하지 않는 분야에 집중을 해야 할 까?! ( 하늘에 비행선을 띄우고 우주에 엘리베이터를 만드는 구글이 진출하지 않는 분야가 있을까? )

- 과감하게 클라우드에 적극적으로 투자하고 구글보다 더 좋은 사용성의 서비스를 제공하기 위해 총력을 해야 할 까? 

의사결정의 이슈와 문제겠지만 세상의 클라우드화는 피할 수 없는 문제이다. 그러나 많은 곳에서 지속적으로 새로운 시도들이 되고 있다. 

-  중앙 클라우드에 모든 데이타를 모으지 않고 사용자가 자신의 데이타를 언제 어디서나 접속해서 사용하게 하게 하면 사용자는 자신의 데이타를 안전하게 사용할 수 있을 것이다. 

과거 Personal Cloud , 비트토런트 싱크 , 그리고 최근에 COSCO에서 발표한 Fog Computing 같은 방법은 현재 클라우드로의 집중화를 일정 정도 해결하게 해주는 기술이다. 이러한 기술은 많은 영감을 준다.  

이 모든게 선택의 문제지만 클라우드를 피할 수는 없을 것 같다. 왜냐하면 사용자는 언제 어디서나 손쉽게 자신의 데이타에 접속하여 활용하길 원하고 클라우드는 현존하는 최고의 해결책이기 때문이다. 

그러나 기술에서 유일한 해결책은 없다. 환경과 주변 여건이 변하면 이에 따라 새로운 방안과 기술이 나올 것이기 때문이다. 

뮤직 스트리밍 서비스가 뮤직 시장의 구원자가 될 수 있을까?

몇 일 전 , 모 신문 지면을 통해 접한 세계 디지탈 뮤직 시장의 매출 규모.  다운로드 시장은 성장율이 저조한 반면 스트리밍 뮤직 서비스의 성장이 거세다.

세계 디지탈 뮤직 시장 매출 규모

전 세계 뮤직 시장은 ?

한국 컨텐트 진흥원, 세계 디지털 음악시장의 유통과 수익구조 분석이라는 자료에 의하면 전 세계 뮤직 시장은 다음과 같다.

- 세계 뮤직 시장의 규모는 498억 8,600만 달러 , 이 중에서 디지털 음악시장은 77억 3,100만 달러로 전체

시장의 15.5%임(라이브음악 : 기록음악의 물리적 유통 : 디지털 유통으로 나누어 보면 3 : 2 : 1 의 

규모임)

- 세계 디지털 음악시장은 가장 빠르게 성장하는 시장으로 연평균 12.6%의 성장추세

- 2012년 2/4분기 미국 다운로드 시장에서 1위는 iTunes로 64%, 2위는 Amazon MP3로 16%, 3위는 

Google Play로 5%, 나머지는 eMusic, Zune 등.

- 스트리밍 시장의 경우, 2012년 2/4분기 미국에서 인지도 1위는 Pandora로 50%, 2위는 

iHeartRadio(Clear channel)으로 25%, 3위는 Spotify로 19%로 조사됨.

스트리밍 뮤직 서비스가 확산되는 이유가 뭘까?

MP3를 다운로드 받고 이를 여러 디바이스상에 자유롭게 복사하여 듣던 음악을 왜 사람들이 스트리밍 방식으로 즐기고자 할 까?

먼저, 인터넷의 전송 속도가 빨라지고 , 대용량 클라우드 저장 서비스가 일반화되어 무료 내지 저렴한 가격에 원하는 음악을 한곳에 저장하고 언제 어디서나 들을 수 있게 되었다. 

또한 한 개의 디바이스가 아니라 복 수 디바이스를 사용하는 것이 점 차 늘게 되면서 이들 디바이스간에서 뮤직 파일을 복사하는 것이 아니라 자유롭게 원하는 뮤직을 무료 내지 저렴한 가격에 스트리밍으로 들을 수 있게 되었다.

결국,  기술적 환경과 사용자의 욕구가 뮤직 시장을 다운로드에서 스트리밍 중심으로 옮겨 가게 하였고, 뮤직 업체들도 결국 치열한 경쟁을 위해 과거 다운로드에서 , 그리고 클라우드 스토리지 기반의 라커로 , 그리고 다시 라커에서 스트리밍으로 차별화를 꾀하고 있다. 

쇼셜과 스트리밍 기반 뮤직 서비스가 새로운 돌파구가 될까?

뮤직 시장의 신흥 주자를 보면 쇼셜 기반의 Spotify와 판도라가 눈에 눈에 띤다. Spotify는 페이스북 플랫폼을 활용하여 급속히 성장을 하였는데 현재 유료 가입자 600만명 , 28개국 2천 4백만명의 사용자를 확보한 상태이다. 

이들 신흥주자외에 다운로드 뮤직 시장의 선두주자 애플은 아이라디오 라는 스트리밍 서비스를 준비중에 있고 , 구글 역시 올해 열린 구글 IO에서 9.9$ 월정액 음원 스트리밍 서비스를 공개하였다.