'하둡'에 해당되는 글 2건

  1. 2014.09.12 기업에서 빅데이타의 성공을 위한 고민
  2. 2009.05.06 Above the Cloud

기업에서 빅데이타의 성공을 위한 고민


필자는 아주 오래전 데이타웨어 하우스 구축팀에서 DW 구축 및 관련 솔루션을 개발한 경험이 있다. 모 백화점과 자동차 그리고 보험사의 고객 데이타를  DW로 구축 후 교차 분석하여 각각의 제품 판매를 촉진하는 방법을 도모하는 것이었다.  온갖 고생을 하여 데이타를 정제하고 DW 모델링을 하고 OLAP 을 하는 등 많은 데이처 처리를 하였다. 



공교롭게 빅데이타가 유행하고 있는 지금 ,  (물론 하둡같은 새로운 기술이 나왔지만) 데이타를 처리하고 분석하는 기본 과정에는 큰 변함이 없다. 또한  같은 질문이 나온다. 


과거 CRM 처럼 빅데이타도 유행아니냐? CRM과 마찬가지로 빅데이타 

또한 실패할 것이다. 


라는 것이었다. 맞는 말이기도 하고 틀린 말이기도 할 것이다.


잠시 현재 빅데이타 처럼 유행했던 CRM이 실패한 이유가 무엇인지 살펴보자.


1) 최대우 한국외대 교수(통계학)는 현업 사용자의 외면에서 그 답을 찾는다. 


△실무자들이 사용하기 어려운 시스템 △시스템 사용을 강제하지 않는 기업 문화와 업무 프로세스 △데이터 ‘분석’이 아닌 집계에 불과했다는 점 등이 실무자들의 데이터 분석 회의론 등 총체적인 난국을 만들어냈다는 것이다.

 

데이터 분석은 데이터로부터 비즈니스 의미와 가치를 도출해야 한다. 그러나 데이터는 ‘분석’되지 않고 ‘집계’되었으며 집계 수준의 보고서는 실무자들의 실망을 낳았다. 나아가 데이터 분석 회의론, 무용론 등 데이터 분석에 대한 불신으로까지 이어졌다 (2013년 전자 신문 기사에서).



2) 다음은 가트너에서 정리한  기업들이 CRM을 도입하면서 실패한 7가지 이유이다. 


△ 내부 데이타에 대한 무시  전사 적용이 아니라 일부에 만 적용  기술 조직과 업무 조직간의 협업 부족  장기 전략 부재 △ 문제 있는 내부 프로세스의 개선 부재  고객 중심이 아니라 기업 중심의 서비스  직원들의 기술 숙련도 부족.


3) 구글링을 해보면 수없이 많은 CRM 실패 사례와 이유들이 나온다.  


빅데이타가 이런 전철을 밟지 않으려면 어떻게 해야 할 까? 정답은 아무도 모르지만 필자의 생각은 빅데이타를 스마트 데이타로 만들어야 할 것이다. 


구슬이 서말이라도 꿰어야 보배


아무리 많은 데이타를 모아 빅데티타를 만들어도  이 빅데이타를 꿰어야 보배가 된다. 


구글은 인터넷상의 모든 데이타를 수집하고 이 데이타를 검색이라는 손쉬운 꿰는 방법을 통해 사용자들이 본인들이 원하는 보배를 얻도록 해 주었다. 특히, 랭킹 이라는 방법을 통해 보배를 아주 쉽게 고를 수 있도록 해주었다. 더 나아가 이제는 구글 나우라는 컨텍스트 기반의 검색/추론 방법을 사용하여 사용자의 상황에 맞는 정보를 스스로 제공해주는 서비스로 발전하고 있다. 마찬가지로 페이스북은 수십억 사용자의 쇼셜 데이타를 모으로 이를 분석한 후 ,  쇼셜 그라프를 통해 페이스북 플랫폼의 고객인 개발자들에게  보배를 만들 기회를 준다.      


현재 빅데이타를 생각해 보자.  


현재 기업들에서 구축,활용하고 있는 대부분의 빅데이타는 분석을 통해 통계 정보를 제공한다. 이러한 통계 정보는 이해하기 어렵고 , 활용하기는 더더욱 어렵다. 더구나 이 통계 정보를 스스로 찾고 만들어 활용하는 더더더욱 어렵다.  이러한 활용 환경으로는 보배를 절대 꿰어낼 수 없다.


구글의 검색 엔진이나 구글 나우 같은 추천 기능 등 기업내 구성원들이 이를 손쉽게 활용하기 위한 방법을 고민해야 한다. 


기업들은 내부 생산성을 높이고 지식을 공유하기 위한 방법으로 기업 내부의 모든 기간 시스템과 컨텐트 및 지식, 업무 프로세스를 하나의 시스템 접접인 기업 지식 포탈에 모으는 작업을 하였다. 모든 기업 구성원은 이 기업 포탈을 통해 회사의 모든 프로세스와 지식에 접근하고 활용한다. 


기업내 빅데이타가 성공하기 위해서는 이러한 기업 포탈의 접점에서 사용자 관점에서 수집된 내.외부 데이타를 손쉽게 검색하여 활용하고 이를 공유하는 환경을 만들어야 한다. 그래야 빅데이타를 통해 기업 구성원들이 보배를 만들어 낼 수 있다.


Posted by 박재현

댓글을 달아 주세요

Above the Cloud

SaaS-Cloud 2009. 5. 6. 09:09

서버 플랫폼에 기반하여 서비스를 개발하는 입장에서는 인프라 기술이 무척 중요합니다. 특히, 서비스를 수익성이 바로 서버 플랫폼을 얼마나 경제적으로 운영하는 가에 따라 영향을 받기 때문입니다. 실제 서비스 규모가 크면 클수록 서버 플랫폼의 운영 기술은 더욱 중요하다 할 수 있습니다. 특히, 스토리지나 빌링 처럼 서비스 개발에 필요한 인프라나 하드웨어 자체를 서비스로 판매하는 경우에는 플랫폼 구축 및 운영 기술이 사업에 절대적인 영향을 미친다 할 수 있습니다. 이러한 인프라나 하드웨어를 서비스로 구축,판매하는 분야를 Cloud 또는 IAAS(Infrastructrue As A Service) , HAAS(Hardware As A Service) 라 부르는 데 이 분야를 깔끔하게 정리한 자료가 있어 공유합다. 이 자료는 UC 버클리의 RAD(Reliable Adaptive Distributed) System Lab에서 공식적인 프로젝트의 산출물로 나온 것 입니다.



동영상외에 다음의 자료도 참고하면 Cloud Computing 의 현재와 미래를 이해하는 데 많은 도움이 될 것입니다.

화이트 페이퍼 - http://d1smfj0g31qzek.cloudfront.net/above_the_clouds.ppt.pdf
발표 자료 - http://d1smfj0g31qzek.cloudfront.net/above_the_clouds.ppt

최근 들어, 삼성SDS에서 구글 시스템 엔지니어들이 창업한 미국의 클라우데라라는 회사와 제휴를 하여 하돕기반의 클라우드 사업을 본격적으로 한다고 밝혔습니다. 물론, 국내에서 이러한 클라우드 인프라를 구축할 엔지니어와 파트너가 없기에 제휴를 하는 것이겠지만, 장기적인 관점으로 좋은 클라우드 엔지니어들이 양성되었으면 하는 바램입니다. 결코 클라우드 인프라는 단기간에 구축되는 것이 아니기 때문입니다. 또한 국내에도 클라우드에 비전을 갖고 있는 넷스알같은 우수한 인재와 회사가 있습니다. 이들과의  제휴를 통해 기술 저변과 기술의 자주성을 확보하는 것도 중요합니다.





Posted by 박재현

댓글을 달아 주세요