구글의 reCAPTCHA에 숨은 진실

가입을 할 경우 Robot을 막기위해 많이 사용하는 기능이 바로 reCAPTCHA이다.  

reCAPTCHA는 가입시 Robot이 인식하지 못하고 인간이 인식할 수 있는 단어를 이미지로 제시하면 가입을 원하는 사람이 이를 맞췄을 때만 가입이 성공된다.  이 API가 하루 2억 회나 사용된다고 한다. 

그런데 놀라운 것은 이 기능이 단지 가입시 Robot을 막는 용도가 아니라 OCR(광학 문자 인식 , Optical Character Recognition) 인식시 판단에 실패한 단어를 reCAPTCHA 통해 제공한다는 것이다. 

다시 말해,  구글이 현재 진행하고 있는  OCR 디지탈화의 과정에서 실패한 단어들을 일일이 사람이 수정하여 정확도를 높이는 것이 아니라 , reCAPTCHA API를 통해 매일 2억 건 이상씩 교정하면서 그 정확도를 높이고 있다는 것이다. 

비단 OCR 뿐만 아니라 번역  , 검색 등 다양한 서비스의 품질 개선을 위해 이 데이타가 사용될 것이다. 빅데이타  아니 데이타는 결국 어떻게 사용할 것인가를 판단하는 사람의 능력에 따라 쓰레기가 될 수 도 있고 가치있는 자원이 되기도 한다. 

가격 비교 쇼핑에서 빅데이타 기반 쇼핑으로의 진화

과거 쇼핑에 있어 가장 중요한 것은 가격이었고 이를 비교하는 가격 비교 쇼핑이 유행했고 현재에도 유용하게 사용되고 있다. 그러나 사용자 입장에서 단순 가격 비교가 아니라 다른 사람들의 제품에 대한 평가 등을 참고하여 가격 외에 평판을 고려한 상품 선택으로 소비자의 행위가 발전하였다. 

만약, 제품의 가격 정보 외에 해당 제품들에 대한 블로그, 뉴스 기사, 보도 자료 , 신제품 계획 , 경쟁 제품 소식 등을 모두 고려하여 제공하는 제품 추천 서비스가 있다면?

무척 유용할 것이다. 

이러한 서비스를 구축하려면 인터넷상에서 페이스북, 트위터, 아마존, 웰마트, 제품 제조사 홈페이지 등 수많은 정보 소스로 부터 수십 내지 수백 테라바이트에서 페타바이트의 정보를 수집 후 이를 Hadoop 등을 써서 저장 후 제품에 대한 분석을 해야 한다.  한마리도 빅데이타 프로세싱이 필요하다. 

이러한 서비스를 제공하는 사이트가 바로 decide.com이다. 여러 데이타를 수집, 분석 후 Decide score를 만들어 사용자들에게 제품 선택을 하게 해준다. 

(예측 ) 아마 모든 메타 서비스들은 이렇게 빅데이타 처리에 기반하여 다양한 정보를 종합하여 예측해주는 메타 서비스로 발전할 것이다. 그런데 중요한 것은 예측을 정확하게 하는 사람의 지혜.... 절대 시스템이 모든 것을 해결하지 않는다.