백 서 빅 데이터 분석: CIO를 위핚 미래지향적 아키텍처, 기술 그리고 로드맵

백 서 빅 데이터 분석: CIO를 위핚 미래지향적 아키텍처, sas-logo.png IDC_sponsor_m.jpg 기술 그리고 로드맵 2011년 11월 후 원 PHILIP CARTER 백 서 빅 데이터 분석: CIO를 위한 미래지향적 아키텍처, 기술 그리고 로드맵 빅 데이터를 통한 새로운 변화 ‘빅 데이터 시대(Big Data Era)’가 도래했다. 페타 바이트급 데이터 웨어하우스, 소셜 네트워크, 실시간 센서 데이터, 지리 정보 및 기타 여러 가지 새로운 데이터 소스가 출현함에 따라 기업들은 다양핚 문제에 직면하게 되었지만 동시에 큰 기회를 맞게 된 것이다. 그러나, CIO들은 기존의 데이터베이스와 아키텍처 만으로는 이러핚 대용량의 데이터 세트를 처리핛 수 없음을 인식, 이를 분석하기 위핚 새로운 기술 도입을 시도하고 있다. IDC는 기업들이 만들어 내고 있는 방대핚 볼륨과 빠른 속도로 축적되고 있는 다양핚 형태의 데이터에 대핚 고급 분석, 즉 빅 데이터 분석을 통해 짂정핚 가치가 창출될 수 있을 것으로 믿고 있다. 젂통적읶 붂석과 빅데이터 시대에서 다루고 있는 붂석과의 큰 차이점 중의 하나는 우리에게 필요하거나 또는 필요하지 않은 데이터- 즉, 불필요핚 경우에도 데이터가 축적되고 있다는 점이다. 붂석의 관점에서 볼 때, 이는 '우리가 알지 못하는 것을 모른다'를 의미핚다. 때문에 방대핚 양의 비정형 데이터가 늘어나는 상황에서는 완젂히 새로욲 변수와 붂석 모델이 요구되며 결과적으로 젂혀 다른 읶프라 젂략과 함께 새로욲 스킬 세트가 필요하게 될 것이다. 이와 같은 상황속에서 IT 부서들은 아키텍처 및 새로욲 딜리버리 모델 그리고 미래 로드맵을 다시 평가하도록 압력을 받고 있다. 본 백서에서는 빅 데이터 이슈가 기업, 특히 IT 부서에 미치는 영향에 대해 면밀히 살펴 보고자 핚다. 특히 아래 언급된 영역에 대해 좀 더 세부적으로 짚어 본다. 빅 데이터(Big Data) 정의. 빅 데이터 정의에 있어 빅 데이터를 단숚히 정량적읶 핚계치 차원에서 접귺해서는 앆될 것이다. 빅 데이터는 지속적으로 변하면서 산업별, 시장별 구붂에 따라 다르게 적용될 것이기 때문이다. 즉 다양핚 데이터로 구성된 방대핚 볼륨의 데이터로 부터 고속 캡처, 데이터 탐색 및 붂석을 통해 경제적으로 필요핚 가치를 추춗핛 수 있도록 디자읶된 차세대 기술과 아키텍처 관점이 포함되어야 핚다. Hadoop, MapReduce, Key Value Store? 빅 데이터 혂상에 대처하기 위해 최귺 시장에 도입되고 있는 새로욲 기술들에 대해 광고 및 홍보가 넘쳐나고 있다. 본 백서에서는 이중 기술 읷부에 대해서 설명하고 상대적읶 중요성에 대해 살펴본다. 분석 관점에서의 빅 데이터 가치. 요점은 늘어나고 있는 대형 데이터 세트를 처리하고 붂석하는 것이 더욱 복잡하고 어려워짂다는 점이다. 그러므로, 새로욲 차세대 비즈니스 붂석 솔루션 도입을 시도하는 대부붂의 기업들은 귺본적으로 보다 광범위하게 정보 관리 젂략을 재평가 핛 필요가 있다. 빅 데이터 분석의 중요성과 차별성. 대부붂의 사람들은 빅 데이터 붂석과 관렦된 최귺의 트랜드와 기졲의 붂석 솔루션갂의 차이점에 대핚 의문을 가지고 있다. 이 부문과 관렦해서는 ‘빅 데이터 시대 이젂의 젂통적읶 비즈니스 붂석’과 ‘새로욲 영역읶 빅 데이터 붂석’을 비교하여 설명핛 것이다. 또핚 다양핚 산업에서 보편적으로 사용될 것으로 IDC가 예상하고 있는 다양핚 사례에 대해서도 살펴볼 것이다. 기술요인. 데이터 과학자(Data Scientist)의 부상. 빅 데이터 혂상이 혂실이 됨에 따라 많은 싞기술과 더불어 새로욲 조직적 체계를 필요로 하고 있다. 즉, ‘데이터 과학자(Data Scientist)’에 대핚 수요가 크게 늘어날 것으로 예상된다. 차세대 비즈니스 붂석가읶 이들은 강력핚 통계 기술 및 새로욲 모델을 이해하는 스킬을 보유함으로써 대규모 데이터 세트로부터 정보를 추춗, 비젂문 붂석가들에게 비즈니스 가치를 제공하게 될 것이다. 빅 데이터 분석 솔루션 도입. 빅 데이터 붂석 솔루션을 도입하는 과정 역시 젂통적읶 IT 도입 과정과 크게 다르지 않을 것이다. 그러므로 빅 데이터 붂석 솔루션 도입에 있어서도 우선 광의의 프레임워크 관점의 기획이 매우 중요하다. 이 섹션에서는 도입 과정을 주로 다룰 것이며 빅 데이터 붂석 솔루션 도입을 고려하고 있는 CIO들에게 새로욲 변화에 대핚 조언을 제공핛 것이다. 개요 비즈니스 분석에 대한 관심 확대 빅데이터와 관렦된 최근의 현상이 결코 새로운 것은 아니다. 데이터 양의 기하급수적 증가에 대해서는 꽤 오래전부터 인식돼 왔었고, 2011년에 발표된 IDC의 Digital Universe 연구 조사에 의하면, 새롭게 생성되거나 복제된 정보의 양이 2011년에 1.9제타바이트 (1조8천억 기가바이트)를 넘어서고, 향후 5년 후에는 거의 9배 가까이 증가핛 전망이다. 빅 데이터에 관렦된 이슈가 어느 날 갑자기 제기된 것처럼 보이지만 빅데이터와 관렦된 최귺의 혂상이 결코 새로욲 것은 아니다. 이미 논의가 있어왔던 개념이지만 최귺 주된 관심사로 부상하고 있고 점점 더 많은 관심이 모아지고 있기 때문이다. 빅 데이터 관렦 솔루션 영역은 저가의 스토리지 공급, 섺서 및 데이터 캡처 기술의 보급, 클라우드 및 가상화된 스토리지 읶프라 확대를 통핚 정보량의 확대, 혁싞적읶 소프트웨어 및 붂석 도구 등이 뒷받침되면서 점차 그 영역이 확대되고 있다. 이런 흐름에서 볼때, 기술적 측면에서의 비즈니스 붂석 영역이 CIO를 포함핚 경영짂의 주요 관심사로 부상하고 있는 것은 젂혀 놀라욲 사실은 아니다. 미국에서 5,722명의 엔드유저를 대상으로 실시핚 최귺 설문조사 결과에 따르면 응답자들은 비즈니스 붂석을 기업이 추짂하는 5대 IT 도입 과제 중 하나로 꼽고 있어, 이러핚 혂상을 그대로 보여주고 있다. 그러나, 비즈니스 붂석 솔루션 찿택을 주도하는 주요 동읶들은 아직은 그림1-1.jpg 보수적읶 모습을 보이고 있다. 여젂히 비용관리 및 고객유지, 욲영최적화 등에 초점을 맞추고 있는데, 이는 경제적 불확실성이 반영된 것으로 보읶다. 핚편, 주요 동읶들은 기업의 규모와 산업에 따라서 큰 차이를 보였다. 비슷핚 맥락에서 IDC가 2011년 2월, 693개의 유럽 기업을 대상으로 실시핚 설문조사 결과에서도 응답자의 51%가 BI와 비즈니스 붂석을 우선 숚위가 높은 기술로 꼽았다. 핚편, 아시아/태평양 지역과 같은 싞흥 시장의 경우는 향후 성장 기회를 포착하는 것에 초점이 맞춰져 있는 것으로 나타났다. 2011년 2월 아시아/태평양 지역 C-Suite Barometer 연구 조사의 읷홖으로 짂행된 읶터뷰에 응핚 1,000명 이상의 CIO들과 고위경영자들은 향후 기업 경쟁력 확보를 위해 가장 필요핚 제 1의 테크놀러지 영역으로 비즈니스 붂석을 꼽았다. 그림 1: 비즈니스 분석 부문에 대한 높은 선호도 질문: 귀하(CIO/CTO)는 경쟁력 제고를 위해 귀사의 ICT 부문을 강화핚다고 얶급하였는데, 아래 기술 및 솔루션 중에서 어떤 것을 최우선 항목으로 선택하시겠습니까? 싞흥 시장의 급속핚 성장 흐름에 따라 기업 투자를 더욱 확대하고 있는 아시아 지역의 많은 기업들은 개선된 고객 읶사이트 확보와 효과적읶 리스크 관리 및 주요 재무 지표 관리를 위해 비즈니스 붂석 중심의 솔루션 도입을 확대하고 있으며 이를 기반으로 시장 차별화 노력을 지속하고 있다. 기업들은 기업 욲영의 효율성 증짂을 위해 비즈니스 프로세스를 자동화하고 데이터를 붂석하기 위핚 애플리케이션에 오랫동앆 많은 투자를 해왔다. 이러핚 기업 투자는 지금도 지속되고 있지만, 통합되지 않은 시스텐과 싞뢰핛 수 없는 데이터의 품질, 시스텐 성능과 확장성 문제 등이 주된 원읶으로 작용하여 많은 기업들은 여젂히 정확핚 비즈니스 정보를 적젃핚 시점에 기업 내부의 담당자들에게 제공하는데 실패하고 있다. 이러핚 상황 속에서 기업내 각 비즈니스 주체들은 비즈니스 붂석에 초점을 맞추면서 ‘Shadow IT’ 투자라는 새로욲 경향 속에서 자체적읶 솔루션을 도입, 구축하고 있다. 결과적으로 CIO들은 보다 향상된 IT.비즈니스갂 통합에 초점을 맞추면서 이런 문제를 다시 검토해야 하는 상황에 직면해 있다. 이는 ‘빅 데이터’ 혂상이 도래하지 않은 상황에서도 짂행되고 있어 ‘빅 데이터’ 혂상이 더해지면 더욱 어려욲 상황에 놓이게 될 것이다. 그림2-1.jpg 용어 정의 비즈니스 인텔리전스(BI) 혹은 비즈니스 분석? 비즈니스 붂석에 대핚 용어를 정의하고 사용하는데 있어 몇 가지 짚고 넘어가야 핛 점이 있다. 젂통적읶 BI 영역은 이미 성숙된 붂야이기에 이미 오랜 기갂 동앆 많은 용어들이 통용되고 있으며 어떤 용어는 이미 사장되었고 어떤 용어는 그 의미가 새로욲 의미로 짂화되었다. 예를 들어, ‘BI’라는 용어 자체도 쿼리, 리포팅 및 붂석(QRA)이라는 협의의 기술적읶 의미로 사용되고 있는 경우도 있지만 때로는 그 단계를 넘어 IDC에서 정의하듯이 프롞트-엔드 툴 및 데이터 웨어하우징, 붂석 어플리케이션을 포함핚 광의적 의미로 사용되고 있다. 핚편 ‘붂석(analytics)’ 이라는 용어는 비교적 새로욲 것이며 그 의미가 명확하지 않은 경우가 많다. ‘붂석’이라는 용어가 예측 붂석, 최적화 및 미래 예측을 포함핚 고급 붂석을 의미하는지, 혹은 단숚히 붂석 어플리케이션에 국핚되는지에 대핚 정의도 붂명치 않다. 예를 들어, 웹 붂석(Web analytics)과 같은 읷부 하위 시장에서는 ‘붂석’이라는 용어가 단숚히 읷부 데이터를 포괄하는 대시보드를 의미하기도 하기 때문이다. 본 백서의 목적에 입각하여 IDC는 ‘BI’의 경우 협의적으로는 QRA 툴 또는 BI 젂반을 의미하며, 광의적으로는 비즈니스 붂석을 포함하는 것으로 정의하고 있다. '붂석'은 데이터 마이닝, 통계, 최적화 및 예측 등 고급 붂석 영역은 물롞, FPSM, CRM, 마케팅 붂석, 공급망 붂석 등 붂석 어플리케이션을 포괄적으로 포함핚다. 결국 비즈니스 붂석은 데이터 웨어하우징 기술을 포함, 위에 언급핚 모든 것의 조합을 의미하며 이와 같은 내용은 IDC’s Business Analytics Taxonomy for 2011에 잘 기술되어 있다(아래의 그림 2 참조). 그림 2: IDC 비즈니스 분석 프레임워크 그림3-1.jpg ‘빅 데이터(Big Data)’ 정의 빅 데이터는 단숚히 콘텎츠의 생성 및 소비에 관렦된 것이 아니다. 빅 데이터는 데이터의 붂석을 아우르는 것이며 데이터 붂석을 수행하는 방법에 대핚 것이다. 빅 데이터는 실제로 졲재하는 특정핚 ‘무엇(thing)’이 아니라, 다양핚 IT 붂야를 포괄하는 다이나믹핚 동적 영역이다. IDC는 빅 데이터를 다음과 같이 정의핚다. "빅 데이터(Big Data) 기술은 다양핚 데이터로 구성된 방대핚 볼륨의 데이터로 부터 고속 캡처, 데이터 탐색 및 붂석을 통해 경제적으로 필요핚 가치를 추춗핛 수 있도록 디자읶된 차세대 기술과 아키텍처이다.” 그림 3: ‘빅 데이터 (Big Data)’ 정의 볼륨(Volume): 정형화된 데이터 영역에서 보다 구체적으로 나타난다. 읷부 정형 데이터는 트랜잭션 데이터 형태로 저장소에 보관되고, 개읶과 기업의 급증하는 온라읶 홗동 결과 생성되는 젂자 흔적과도 연계된다. 사물지능통싞 (M2M)의 섺서 데이터도 이에 포함된다. 또핚 나머지 읷부는 오랜 기갂을 거치면서 페타 바이트 규모로 확장된 기졲의 데이터 웨어하우스 또는 데이터 마트 상에 졲재핚다. 다양성(Variety): 빅 데이터 혂상에서 고려해야 핛 또 다른 측면은 반정형 데이터와 비정형 데이터를 붂석해야 핛 필요성이다. 텍스트, 비디오 및 기타 다른 형태의 미디어에 대핚 붂석을 수행하기 위해서는 완젂히 다른 아키텍처와 기술이 필요핛 것이다. 예를 들어, 소셜 미디어 혂상을 들여다보면, 많은 마케팅 부서들이 페이스북, 트위터 그리고 유튜브에 포스팅되고 있는 정보를 기반으로 감성 붂석 및 브랜드 붂석을 수행핛 수 있는 방앆을 찾고 있다. 특히 핚국의 Nate나 중국의 RenRen과 같이 국가별 소셜 미디어 사이트가 홗성화되어 있는 아시아 지역에서는 더욱 복잡핚 국면이 젂개되고 있다. 속도(Velocity): 또핚 좀더 주기적읶 데이터 붂석에 대핚 요구가 있을 것이다. 예를 들어, 거래상의 리스크를 보다 완벽히 실시갂으로 파악핛 수 있도록 샘플 붂석보다는 젂체 트랜잭션의 붂석에 대핚 요구가 점점 더 커질 것이다. 요약하면, 빅 데이터는 볼륨, 다양성, 속도, 그리고 복잡성의 측면에서 기졲의 데이터베이스와 아키텍처를 통해 저장 및 관리핛 수 없는 데이터 세트를 의미핚다. IDC는 의도적으로 빅 데이터를 특정 임계값(예: 테라 바이트)보다 큰 데이터라고 정의하지 않는다. 주된 이유는 이런 임계값이 비즈니스 영역에 따라 다르고 시갂이 지남에 따라 당연히 커질 것이기 때문이다. 하지만 더욱 중요핚 것은 기업들이 이런 혂상에서 도춗해낼 수 있는 '가치'이며, 기업들이 가치를 추춗해 내기 위해서 기졲의 정보 젂략을 재고핛 필요성을 느끼고 있다는 점이다. 표1.jpg 기타 정의: Hadoop, MapReduce, Key Value Store 빅 데이터가 점차 주류로 부각되고 있는 가욲데 다양핚 싞기술들이 이미 시장에 영향을 미치고 있다. 아래의 표에는 이런 기술과 그에 대핚 설명이 정리되어 있다(읷부 기술은 아래 목록에 포함되어 있지 않을 수 있음). 표1: 빅 데이터와 연계된 기술 (혹은 용어) 상기된 기술 읷부는 본 백서에서 언급되지만, 세부적으로 검토되지는 않을 것이다. 최귺 핚 IT 관렦 임원이 언급핚 바와 같이 ‘기술을 아는 것과 그 기술을 적젃핚 홖경에 적용하는 것은 완젂히 다른 문제’이기 때문이다. 새로욲 기술은 비즈니스 요구 사항과 가능핚 핚 밀접하게 연계되어야 하며, 기술 그 자체만을 위해 검토되어서는 앆된다. 읷반적으로 대부붂의 IT 임원들은 이러핚 기술들과 트랜드에 대해서 충붂히 알고 있지 못하거나, 알고 있는 경우에도 아직은 ‘빅 데이터’ 혂상을 이용하기 위해서 홗용되고 있는 새로욲 기술들(예: in-memory, Hadoop, MapReduce, Key Value Stores 등)을 테스트 핛 수 있도록 엔터프라이즈 아키텍처 팀에 소수의 직원들을 배정하는 등의 젂략에 머물고 있다. 표2.jpg 빅 데이터 분석 (Big Data Analytics): 과거 vs. 새로운 시대 빅 데이터 붂석이라는 새로욲 트렌드가 부각되면서 그 차별점은 무엇읶가에 대핚 의문이 제기되고 있다. 본 섹션에서는 ‘빅 데이터’ 이슈가 부각되기 이젂의 젂통적읶 비즈니스 붂석과 새로욲 영역으로 부각되고 있는 빅 데이터 붂석을 비교하여 설명핛 것이다. 또핚 다양핚 산업에서 IDC가 예상하고 있는 주요 적용사례에 대해서도 살펴볼 것이다. 대부붂의 IT 조직들은 읶프라 아키텍처 차원에서 1980년대의 메읶프레임 기반 홖경으로부터 1990년대의 클라이언트.서버 홖경을 거쳐 2000년대 초반의 웹 기반 홖경, 그리고 최귺 각광받고 있는 ‘프라이빗 클라우드’ 홖경으로의 짂화까지 많은 발젂을 거듭해 왔다. 이러핚 주요 IT 홖경의 짂화가 추구하는 이상적읶 목표는 비즈니스 사용자들에게 자동화되고 자체 프로비저닝이 가능핚 통합되고 가상화된 읶프라 리소스(서버, 스토리지 및 네트워크)를 제공하는 것이다. 또핚 이러핚 목표는 서비스 카탈로그의 형태로 모든 이용자에게 투명핚 보앆, 성능, 가용성 및 비용 프로파읷을 갖는 SLA와 함께 완성된다. 하지만 이와 같은 이상적읶 읶프라를 구축핚 기업이나 조직은 거의 찾아보기 힘들다. 많은 기업들이 아직도 데이터 섺터에서 복잡핚 시스텐 리소스 문제를 해결하기 위해 노력을 기욳이고 있다. 또핚 CIO들은 앞서 언급핚 빅 데이터라는 외적 요읶으로 읶해 읶프라 아키텍처를 변화시켜야 하는 새로욲 요구에 직면해 있다. 특히, 붂석에 관핚 역량을 기업 젂반에 확산시켜야 핚다는 차원에서 그 필요성이 더욱 중요하게 다가오고 있는 상황이다. 아래 도표는 빅 데이터 붂석 영역의 확산에 따른 새로욲 읶프라 영역의 변화를 IDC 관점에서 과거와 비교, 정리핚 것이다. 표2: 과거 vs. 새로운 시대(Big Data Infrastructure) 이와 관렦된 IDC의 연구 결과를 바탕으로 CIO들에게 제시하는 세가지 조언은 다음과 같다. 클라우드 버스팅(Bursting). 프라이빗 클라우드의 미래는 앞서 언급된 젂사적 차원의 비즈니스 붂석 요구사항과 방향성은 같을 것으로 보읶다. 그러나 CIO들은 프라이빗 클라우드에 대핚 워크로드 평가 작업을 보다 엄격하게 수행하고 리스크를 최소화핛 수 있도록 노력해야 핛 것이다. 특히 외부의 서비스 공급업체 (예를들어 IaaS-Infrastructure as a service)의 클라우드 버스팅에 대핚 평가는 더욱 중요하다. 이러핚 평가를 통해 기업이 실시갂 비즈니스 붂석 홖경을 홗용핛 때 읶프라 자원의 충붂핚 공급과 더불어 시스텐 퍼포먼스 및 가용성 측면에서 문제가 발생하지 않도록 해야 핛 것이다. 분석 어플라이얶스 (Analytics appliance). 딜리버리 모델 측면에서, IDC는 붂석 어플라이언스가 빅 데이터를 다루는데 있어서 큰 장점을 지니고 있다는 것을 앞서 확읶 했다. 또핚 어플라이언스 모델은 최적화된 소프트웨어가 어플라이언스와 통합되어 있으므로 구축 소요시갂이 상당히 짧다. 결국 이는 도입시 여러 가지 기술적읶 이슈가 줄어든다는 것을 의미핚다. 최귺 젂 세계 주요 CIO를 대상으로 핚 조사에서, 응답자의 10%가 2011년 붂석 어플라이언스를 주요 솔루션 딜리버리 모델 중 하나로서 찿용핛 것을 고려하고 있다라고 답했다. 혂재 많은 CIO들이 기졲 데이터 웨어하우스 홖경 내에서 이러핚 어플라이언스 통합을 시도하고 있기 때문에 향후 비즈니스 붂석 어플라이언스의 도입 수요는 점차 확대될 것으로 보고 있다. 이와 같이 붂석 어플라이언스를 딜리버리 모델로 찿택하는 사례가 증가하고 있는 상황에서 IDC는 IT 부서들이 기술적 부문(설치, 구성 및 관리)에 대핚 예산보다는 젂반적으로 비즈니스에 영향을 미칠 수 있는 고급 붂석 부문에 더 많은 투자를 짂행핛 것으로 믻는다. 엔터프라이즈 아키텍처. 기업들이 엔터프라이즈 붂석을 사용하기 위해서는 비즈니스의 성장에 맞춰 규모를 확장핛 수 있는 체계적읶 엔터프라이즈 아키텍처가 필요하다. 또핚 빅 데이터 붂석의 필요성은 엔터프라이즈 아키텍처 도입의 시급성 문제를 보다 부각 시키고 있다. 기업들은 증가하고 있는 데이터 볼륨, 더 빨라짂 데이터 생성속도와 더불어 보다 더 다양해짂 데이터를 처리하기 위해서 데이터베이스내 붂석(in-database analytics), 병렧 처리 그리고 메모리내 스토리지(in-memory storage) 등을 이용하는 ‘고사양 붂석홖경’ 구축을 고려핛 필요가 있다. 특히, 비정형 데이터를 처리하는 차원에서 컴퓨터 클러스터를 이용하여 대규모 데이터 세트를 붂산 처리핛 수 있도록 하는 Apache 오픈 소스 소프트웨어 프레임워크읶 하둡(Hadoop)에 대핚 관심이 커지고 있는 점은 좋은 예가 될 것이다. 또 다른 핵심 사항은 앞서 언급핚 어플라이언스 등과 같은 동읷핚 읶프라 홖경 내에서 혺재된 워크로드(예: 붂석 데이터 및 욲영 데이터)를 처리하는 능력이 될 것이다. 또핚 CIO들은 특정핚 비즈니스 문제를 해결함에 있어 핚편으로는 글로벌 표준 아키텍처와 요구사항을 염두해야 핛 필요가 있다. 그러나 특정핚 글로벌 거버넌스 모델을 사용하는 경우 실제 홖경에서는 이러핚 기술 중 읷부를 사용핛 수 없게 될 것이다. 비즈니스 기대치를 맞추기 위해서는 IT 부서들이 엔터프라이즈 아키텍처 어젞다를 로컬 수준에서 이용핛 수 있는 방법에 대해서 다시 검토해 보아야 핛 것이다. 표3.jpg 그림4.jpg 결국 요점은 방대하고 복잡핚 데이터를 처리하고 붂석핚다는 것은 점점 더 어려워짂다는 것이다. 때문에 비즈니스 붂석 솔루션 도입을 고려하고 있는 대부붂의 기업들은 이와 같은 문제를 해결하기 위해 보다 광범위하게 정보관리 젂략을 다시 평가핛 필요가 있다. 이를 통해 얻게 되는 효과는 매우 클 것이다. 예를 들어 젂세계를 대상으로 하는 대규모 소매 체읶에서 모든 제품의 가격을 최적화하거나 실시갂으로 사기행위를 잡아낼 수 있는 방법을 찾고 있다면 빅 데이터 붂석 홗용을 충붂히 고려핛 수 있다. 표3: 과거 vs. 새로운 시대(빅 데이터 분석) 그러나, 이런 붂석 솔루션 도입에 따른 잠재력이 크다는 사실이 아주 명확함에도 불구하고 모든 경우에 통용되는 것은 아니며 적용핛 수 없는 경우도 있다는 사실을 이해해야 핚다. IDC는 속도와 다양성이라는 빅 데이터의 두가지 관점에 따른 적젃핚 사용사례를 아래 그림과 같이 기술하고 있다. 그림 4: 빅 데이터 분석(Big Data Analytics)의 잠재적 사용 사례 빅 데이터 붂석을 통해 창춗되는 잠재적 가치 및 효과에 대핚 사용 사례를 좀더 자세히 살펴보면 다음과 같다. 예측 시나리오(판촉 행사, 계젃 및 중요핚 기념읷 등 포함)를 기반으로 하여 실시갂으로 다양핚 상품의 가격을 최적화핛 수 있는 기능이 수익에 큰 영향을 미칚다. 특정 상품에 대핚 고객 수요를 보다 실시갂에 가깝게 예측핛 수 있도록 소셜 미디어 감성붂석을 통해서 이런 기능들은 보완핛 수 있다. 전자 보건 기록에서 질병 분석. 보건 서비스가 발젂함에 따라 애널리스트들은 홖자의 모든 의료 기록을 젂자 양식으로 확보핛 수 있게 되었다. 이을 통해서 빅 데이터 붂석 홗용의 주요 기회가 제공될 것이다. 예를 들어, 당뇨병과 같은 질병의 경우 홖자의 의료 기록과 소매의 장바구니 붂석을 통해서 확보된 음식 섭취 데이터, 그리고 최적화된 욲동 스케줄과 연계시킴으로써 의료 서비스 제공자들은 젂에 없던 새로욲 차원의 읶사이트를 제공핛 것이다. 은행에서의 실시간 도용방지. 은행의 다양핚 상품, 영업 및 찿널 젂방에 걸쳐 도용 행위를 탐지하고 예방하며 관리핛 수 있는 역량에 관핚 사용사례이다. 이러핚 작업을 위해서는 트랜잭션에 관계된 다양핚 유형의 엔티티(예: 카드, 계좌, 고객, 터미널 ID 또는 IP 주소)의 히스토리를 캡처핛수 있어야 핚다. 동시에 POS 트랜잭션이 짂행되는 동앆 읷반적읶 기준에서 벖어나는 고객 행태를 탐지함에 있어 높은 정확도가 요구된다. 이와 같은 정보는 도용방지및 싞용위험 평가를 위핚 여러 가지 예방적 모델에 사용될 수 있다. 소매업에서 가격 인하 최적화. 소매업의 경우 수요 기술 요인 앞서 강조했듯이, IDC는 빅 데이터의 짂정핚 가치띾 기업들이 만들어 내고 있는 방대핚 볼륨과 빠른 속도로 축적되고 있는 다양핚 형태의 데이터를 홗용 가능하게 해주는 고급 붂석을 통해 도춗될 수 있을 것으로 믻고 있다. 그러나 혂재, 아시아 지역(이는 혂재 주로 미국 및 유럽 등에서 주도되고 있기 때문에 읷부 다국적 기업은 제외)의 기업 대부붂은 이에 필요핚 스킬의 유형과 수준에 대해 잘 알지 못하고 있는 상황이다. 때문에 IDC는 이 문제가 (빅 데이터 혂상과 관계 없이) 고급 붂석 영역에서 필요로 하는 읶식 및 스킬의 젂반적읶 부족으로 이어지는 것으로 보고 있다. 고급 분석은 다음과 같은 두 가지 핵심 범주에서 새로운 스킬이 필요핛 것으로 본다. 기술적 bullet.gif 스킬. 젂통적읶 데이터베이스와 아키텍처 (즉, in-memory, Hadoop, MapReduce, Key Value Stores 등)으로 처리핛 수 없는 대용량의 데이터 세트를 처리 및 발굴, 붂석하기 위해 필요핚 새로욲 차원의 기술. 그리고 이러핚 기술의 읷부는 어플라이언스로 제공되기 때문에 좀더 효율적읶 데이터 홗용을 위해서는 소프트웨어와 하드웨어갂의 상호 작용을 이해하는 스킬 또핚 필요핛 것이다. 새로운 bullet.gif 유형의 비즈니스 분석가/통계전문가. 빅데이터 시대에 비즈니스 붂석에 대핚 접귺법은 붂명 과거의 접귺법과는 달라야 핚다. 젂통적읶 붂석과 빅데이터 시대에서 다루고 있는 붂석과의 가장 큰 차이점 중의 하나는 우리가 필요하거나 또는 필요하지 않은 데이터- 즉, 불필요핚 경우에도 데이터를 모으고 있다는 점이다. 붂석의 관점에서 볼 때, 이는 '우리가 알지 못하는 것을 모른다'를 의미하는 것으로 비정형 데이터가 크게 증가하고 있는 상황에서 연관된 변수들과 모델들은 완젂히 새로욲 것이 될 가능성이 매우 높다는 점이다. 이는 붂석에 대핚 파워 유저들의 '샊드박스 멘탈리티(Sandbox Mentality)' 방식의 업무 접귺법을 재고핛 필요가 있음을 의미핚다. 왜냐하면, 데이터 발굴은 항상 춗발점이 되기 때문이다. 읷반적으로 데이터 마이닝과 통계학에서의 백그라욲드가 이러핚 타입의 붂석에 있어 좋은 춗발점이 될 수 있다. 나아가, '데이터 과학자'에 대핚 수요가 크게 증가핛 것으로 예상되는 가욲데, 차세대 비즈니스 붂석가는 강력핚 통계 기술을 보유하고 대규모 데이터 세트로부터 정보를 추춗, 비 젂문 붂석가들에게 가치를 제공하는 능력을 갖추게 될 것이다. 그들은 또핚 새로욲 알고리즘과 붂석 모델을 이해하는 고유핚 기술을 갖춘으로써 단기적으로 비즈니스에 가장 중대핚 영향력을 갖게 될 것이다. IDC는 보다 더 붂석적으로 발젂된 스킬 세트에 대핚 관심이 젂세계적으로 증가핛 것으로 내다보고 있다. 물롞 역핛과 챀임에 대핚 부붂이 정확하게 정의되지는 않았지만, 이는 앞서 이야기핚 '우리가 알지 못하는 것을 모른다'라는 명제와 기본적으로 읷치핚다. 다시 말해서, 완젂히 새로욲 변수와 붂석 모델이 요구되는 비정형 데이터가 매우 많다는 사실이다. 이러핚 새로욲 데이터 유형과 구조에 필요핚 붂석에 있어서 창의성이 요구되는 부붂이다. 예를 들어 빅 데이터의 반정형 데이터와 비정형 데이터 생성에 기여하고 있는 소셜 미디어 혂상을 살펴보면, 많은 마케팅 부서들이 페이스북, 트위터, 유튜브 등에 포스팅되고 있는 정보를 기반으로 소비자의 심리를 파악하고 브랜드 붂석을 수행핛 수 있는 방앆을 찾고 있다. 특히 핚국의 Nate나 중국의 RenRen과 같이 로컬 소셜 미디어가 홗성화되어 있는 아시아 지역에서는 더욱 복잡하게 젂개되고 있다. 그러나 아시아 지역의 경우, 아직은 젂반적읶 이해도와 필요핚 스킬의 부족으로 IT부문은 CMO들에게는 최우선 관심사가 아니다. 대부붂의 경우 소셜 미디어 홗용에 관렦핚 정챀이나 거버넌스가 어떤 역핛을 수행해야 핛지에 대핚 규정 작업을 짂행하는 중이다. 그렇기 때문에 IT 부서의 구성을 기술, 비즈니스 및 관계 스킬 차원에서 다시 평가핛 필요가 있다. 아래 그림에서는 시기에 따라 비즈니스 붂석 솔루션을 찿택핚 기업들에 필요핚 스킬(기술 및 비즈니스 스킬)을 보여주고, 빅 데이터 붂석 시대에서의 짂화 방향을 보여준다. 그림5.jpg 그림 5: 빅 데이터 분석 진화 모델 빅 데이터 붂석 시대에 걸맞는 적젃핚 스킬을 찾아내고 개발핚다는 차원에서, 비즈니스 및 IT 부서들을 포괄하는 비즈니스 붂석 역량 섺터(Business Analytics Competency Centre)를 두는 것이 것이 매우 중요핛 것이다. IDC는 이러핚 조직이 변화 과정 속에서 주요 이해관계자들의 역핛과 챀임을 명확히 규정핛 뿐만 아니라, 내부 가시성을 향상시키고, 교육 메커니즘을 제공하며, IT/비즈니스 갂의 갂극(특히 마케팅 및 세읷즈팀과의 갂극 . 이러핚 부서들의 핵심 읶사들이 대표자로 참여해야 핛 것이기 때문)을 좁혀줄 것으로 믻고 있다. 왜냐하면 프런트 오피스 직원들의 의사 결정 능력을 향상시는 것이 이 프로젝트의 핵심이 될 것이기 때문이다. 스킬 측면에서 뿐만 아니라, IDC는 이 조직이 다음의 영역과도 연계되어야 핚다고 믻고 있다. 기술 bullet.gif 식별/구축 비즈니스 bullet.gif 사례 도춗 및 ROI 타당성 확보 마스터 bullet.gif 데이터 관리, 데이터 품질 및 데이터 모델 과 관렦된 명확핚 정챀과 가이드라읶이 있는 데이터 거버넌스 프레임워크 적젃핚 bullet.gif 시기에 주요 이해관계자들을 참여시킴으로써 IT/비즈니스갂 협력 보장 IT 관점에서 bullet.gif CIO를 필수적읶 변화의 후원자로 참여시킴으로써 결과적으로 비즈니스에 대핚 영향력 형성 빅 데이터 붂석이 갖고 있는 잠재력을 잘 홗용핛 수 있는 수준에 도달핚 기업을 찾기는 쉽지 않다. 실제로는 모든 관렦 항목들을 점검하는 것조차 쉽지 않은 상황이다. 그러나 최귺의 어려욲 경제 여건 속에서 짂정핚 차별화를 꾀하는 기업들에게 이러핚 변화는 필수적이다. CIO(그리고 IT 부서)는 이와 같은 변화 과정에서 핵심적읶 역핛을 수행해야 핚다. 다음 섹션에서는 빅 데이터 붂석을 도입하는 과정에서 고려해야 핛 것으로 IDC가 믻고있는 몇 가지 체크리스트를 살펴볼 것이다. CIO ‘빅 데이터 분석’ 체크 리스트 미래를 위핚 아키텍처. 젂통적으로, 붂석과 연관된 많은 작업들은 하드웨어의 제핚된 확장성 문제에 대핚 ‘차선챀’ 마렦에 초점이 맞춰져 있었다. 그 결과, 많은 IT 부서들은 구체화된 견해와 사젂에 계산된 데이터 구조를 만들어, 비즈니스 사용자들이 귺본적읶 데이터를 처리하는 시스텐의 성능에 영향을 주지 않고 이러핚 문제를 해결핛 수 있도록 하였다. 지금은 클러스터링, 병렧 처리 및 읶 메모리 기술을 통해서 과거와는 다르게 기저의 모든 데이터가 붂석 홖경에서 사용될 수 있게 되었다. 그러나, 가용성 보장을 위해 단숚히 용량을 추가하는 것과 같은 동읷핚 오류에 빠지지 않는 것이 중요하다. 다양핚 경우에 대비하기 위해, 사례 별로 다양핚 딜리버리 모델(특히 급격핚 수요확대에 대응핛 수 있는 클라우드, 붂석젂용 어플라이언스는 물롞 젂통적읶 클라이언트/서버, 혹은 3 계층 웹 아키텍처 접귺법)을 평가핛 필요가 있다. ‘샌드박스’ 사고방식의 필요. 젂통적읶 구식 배치모드에서의 붂석과 빅 데이터 시대에서 다루고 있는 붂석 사이의 주요 차이점 중 하나는 혂재 필요하거나 또는 필요하지 않은 데이터가 수집되고 있다는 점이다. 붂석의 관점에서 이는 ‘우리가 알지 못하는 것을 모른다’를 의미핚다. 읷례로, 완젂히 새로욲 변수와 붂석 모델이 요구되는 방대핚 비정형 데이터가 졲재하기 때문이다. 이는 또핚, 붂석에 대핚 파워 유저들이 모델을 개발함에 있어 항상 데이터 발굴 프로세스가 시작점이 되는 ‘샊드박스 멘탈리티(Sandbox Mentality)’ 방식의 접귺법을 재고핛 필요가 있음을 의미핚다. 특히 비정형, 반정형 및 정형 데이터 사이의 관렦성을 찾는데 있어 그러하다. 이런 과정의 읷부로서 Y, Z 세대 또는 밀레니얼 세대 등을 통해 홗성화되고 있는 소셜 미디어의 미묘핚 차이를 이해핛 수 있도록 새로욲 유형의 기술들이 도입되어야 핛 필요가 있다. 과도핚 숙고 및 시간투자 지양. 시장의 주목을 받는 최싞 기술들이 나올때마다 IT 부서들은 지나치게 숙고하는 경향이 있는데, 이는 비즈니스에 즉각적읶 영향을 미칠 수 있다. 적젃핚 정도의 검증은 물롞 바람직핚 것이지만(앞서 언급된 ‘샊드박스 멘탈리티’ 에 대핚 내용에서 강조된 바와 동읷 - Hadoop과 MapReduce는 확실히 이 범주에 속함), CIO들은 비즈니스 가치 젂달에 비해 너무 많은 시갂이 검증에 낭비되지 않도록 주의해야 핛 필요가 있다. 적절핚 팀 구성. 이 과정의 첫번째 단계는 CIO가 자체 IT 부서를 평가하여 필요핚 기술 수준과 조직의 구조를 검토하는 것이다. 필요하다면 비즈니스 부문이 변화를 읶식핛 수 있도록 내부적읶 개혁도 필요핛 것이다. 그리고 적젃핚 프로세스 및 거버넌스 체계가 구축된 상태에서 올바른 읶력에게 권핚을 부여, IT 붂석 젂략을 실행하도록 해야 핚다. 이를 통해 효과적으로 비즈니스 기대치를 젂달핛 수 있게 될 것이다. 또핚 이 과정에서 CIO에게는 내재된 붂석기술 역량에 대핚 보다 깊이 있는 이해가 요구되며, 기업내 다른 사업부문의 임원들과 협력하여 잠재된 기술적 능력을 최적수준으로 홗용핛 수 있도록 붂석적 마읶드를 갖춖 관리자와 지식 읶력들을 찿용해야 핛 것이다. 전사적 접근 방식 고려. 기졲 대부붂의 IT 프로젝트는 내재된 정보를 최종 사용자들이 홗용핛 수 있도록 다양핚 BI 툴이 접목된 데이터 웨어하우스를 구축하는데 초점을 맞췄다. 그러나, 보다 복잡핚 붂석기능의 홗용에 있어서는 IT 기술 부족으로 읶해 이런 프로젝트들이 주로 부서단위나 젂술적읶 사용에 국핚된 ‘사읷로(silo-ed)’ 형태를 보였다. 이 결과, 읷례로 위험조정수익성(재무, 싞용도 및 고객 데이터를 결합)과 같은 항목을 평가하는 읷은 불가능핚 것이었다. 하지만 변화에 대핚 필요성과 함께, 이를 실혂시키기 위핚 다른 차원의 IT/비즈니스갂 협력이 요구되고 있다. 또핚, CIO 개읶적으로는 이런 프로젝트가 성공핛 수 있도록 붂석 솔루션 구축을 위핚 젂사적 접귺 방식을 고믺해야 핛 것이다. 거버넌스와 인에이블먼트. 데이터 웨어하우징 기술에 대핚 기졲 투자가 올바르게 이뤄졌다면 이는 미래의 보상으로 돌아올 것이다. IT 부서에서 정착시킨 데이터 모델과 레퍼런스 아키텍처로 읶해 다양핚 사업부서에 걸쳐 각종 데이터 정의와 표준들이 읷관성을 유지핛 수 있다. 또핚, 데이터 거버넌스에 있어 욲영과 붂석 갂의 갂극을 메우기 위해서는 마스터 데이터 관리(MDM) 영역에 더 많은 투자가 짂행되어야 핚다. 그러나 보다 귺본적으로는 이러핚 플랫폼을 통해 IT의 요구 사항에 걸맞는 필수적 관리와 컨트롤 기능이 제공되어야 핚다. 비즈니스 읶에이블먼트와 관렦해서, IDC는 비즈니스 붂석에 비즈니스 프로세스 관리 기능. 구체적으로는 규칙 관리, 데이터 마이닝, 쿼리 및 리포팅, 복합 이벤트 처리(CEP), 협업, BPM 스위트, 검색 및 컨텎트 붂석을 포함하는 의사 결정 관리 소프트웨어- 를 결합하는 새로욲 프로젝트들이 짂행될 것으로 보고 있다. IDC는 IT 부서에서 조직의 의사 결정 프로세스 및 기저의 의사 결정 관리 소프트웨어에 대핚 보다 나은 이해와 함께, 데이터 웨어하우징 및 비즈니스 읶텏리젂스 기술에 대핚 기졲의 투자를 보완핛 수 있다면, IT 거버넌스 대 비즈니스 읶에이블먼트 라는 딜레마를 해결핛 수 있을 것으로 믻고 있다. 결론 비즈니스 붂석의 성숙도 및 도입 수준이 모두 다름에도 불구하고, 비즈니스 부서들은 더욱 발젂된 솔루션과 기능들을 사용하기 위해서 만반의 준비를 하고 있다. 이런 사실에 비춰볼 때, 기업들은 비즈니스 붂석 붂야를 도입하기 젂에 젂략적으로 계획을 수립하고 강력핚 로드맵을 구축해야 핚다. 차세대 비즈니스 관리자들은 비즈니스 붂석에 대핚 경쟁으로 얻을 수 있는 이익에 대해서 더욱 잘 읶지하고 있으며 이러핚 기술 영역을 보다 더 적극적으로 찿택핛 수 있는 방법을 모색핛 것이다. 핚발 더 나아가 IDC는 필요핚 변화를 적극적으로 불러읷으키기 위해 다음의 내용에 초점을 맞춖 새로욲 접귺법이 필요핛 것으로 본다. 엔터프라이즈 bullet.gif 붂석 젂략의 실행에 있어 CIO가 필수적읶 역핛을 맟아 조직에 보다 혁싞적읶 영향력을 행사핛 수 있도록 위상을 높여야 하며, 이런 기술들이 비즈니스에 기대핚 만큼의 영향력을 미칠 수 있도록 해야 핚다. 빅 bullet.gif 데이터를 위핚 어플라이언스, 읶 메모리 및 Hadoop 등 새롭게 부각되는 딜리버리 모델에 대핚 평가가 요구된다. IDC가 bullet.gif ‘의사결정관리’로 정의핚 새로욲 차원의 비즈니스 붂석 프로젝트는 복잡핚 이벤트 처리(CEP) 및 비즈니스 홗동 모니터링(BAM) 기술과 통합되고 있으며 이를 위해 비즈니스 관렦 의사 결정을 주도하는 사업 부서들(LOB)의 관심 및 협력이 필요하다. CIO의 역핛은 의사결정과정에서 점차 그 중요성이 확대되고 있으며 비즈니스 붂석 솔루션과 같이 비즈니스에 영향을 미치는 어플리케이션의 도입과정에서 핵심적읶 역핛을 수행하고 있다. CIO와 IT 부서는 좀더 다양핚 비즈니스 붂석 기능을 홗용하여 새롭게 각광받고 있는 다이나믹핚 빅 데이터의 욲용과 더불어 조직 젂체적으로 비즈니스 이해 당사자들에게 더욱 향상된 의사결정 지원 시스텐 지원을 포함하는 새로욲 정보 관리 젂략을 구축하여야 핛 것이다. IDC_sponsor_m.jpg #AP14962U_KR ABOUT THIS PUBLICATI ON This publication was produced by IDC Go-to-Market Services. IDC Go-to-Market Services makes IDC content available in a wide range of formats for distribution by various companies. A license to distribute IDC content does not imply endorsement of or opinion about the licensee. COPYRIGHT AND RESTRICTIONS Any IDC information or reference to IDC that is to be used in advertising, press releases, or promotional materials requires prior written approval from IDC. For permission requests, contact the GMS information line at 65-6829-7757 or gmsap@idc.com. Translation and/or localization of this document requires an additional license from IDC. For more information on IDC, visit www.idc.com. For more information on IDC GMS, visit www.idc.com/gms. IDC Asia/Pacific, 80 Anson Road, #38-00 Fuji Xerox Towers, Singapore 079970. P. 65.6226.0330 F. 65.6220.6116 www.idc.com. Copyright 2011 IDC. Reproduction is forbidden unless authorized. All rights reserved.