BIGData에 대한 내 수준에서의 이해

•What & Why  Big Data?

–BigData의 기준은 기술발전에 따라 변화한다(80년대에는 100kb도 bigdata)

–Giga 단위 데이터가 발생되면서 데이터의 홍수(DB 안의 무수한 데이터와 log, text File, Excel…등등)속에서 유 의미한 데이터를 찾고자 하는 분석(Mining:마이닝)의지가 발현

–데이터를 DB축적하는 단계인 data warehouse(DW), 분석을 위하여 정제 및 집계, 리포팅하는 환경과 도구를 제공하며 시장에서는 이를 business intelligence(BI)라고 부르고 있음

–데이터량이 Teta, Peta 수준으로 증가하자 Enterprise DW (EDW)라는 이름으로 대용량 데이터 분석 환경을 제공 그러나 벤더 종속적이며 Scale up을 기반으로 한 하드웨어 의존적 분석 환경은 엄청난 비용을 요구하게 됨

–구글의 분산프레임워크 논문을 바탕으로 야후! 에서 Open Source로 개발한 Hadoop이 부각되기 시작함

–이후 Hadoop는 기존 BI/DW 시장에서는 위협으로 판단하였고 OpenSource Biz 시장에서는 기회로 여겨 지면서 hadoop을 기반으로 하는 분석기법 및 분석솔루션이 개발됨(Hive, Rhive, Hbase 등등)

–2006년부터 근 5년간 여러 가지 이야기와 많은 비즈니스 기회에 대한 이야기가 있었으나 실제적인 비용창출로 이어진 케이스는 많지 않음(Cloudera의 hadoop 컨설팅 정도가 성공적인 케이스로 평가됨)

–2010년 경 부터는 hadoop을 BI/DW 시장에서 기술적으로 이해 하면서 위협이 아닌 기회의 방향으로 생각하면서 Hadoop을 자사 솔루션에 포함하기 위하여 2012년부터 본격적인 진행이 이루어짐

–이와 함께 hadoop의 개발의존적 환경(?)을 탈피하고자 좀더 SQL에 친숙한, 또는 Infra에 가까운 환경등을 제공 하기 위한 여러 NoSQL 솔루션이 시장에 나타나게 됨 (gluster, mongodb…etc)

tech blog를 따로 하나 만들어야 할꺼나.....