빅 데이터(Big data)정의,특징 - (업체 적용 사례 기술 전망 배경 기술 동향,)

네트워크 컴퓨팅 프로젝트 주제: 빅데이터의오늘과, 내일 목차네트워크컴퓨팅1. Big Data -Big data 정의및특징-Big data 배경2. 빅데이터기술및업체동향-기술동향-업체동향-적용사례3. 전망-향후전망-관련이슈및과제목차네트워크컴퓨팅1. Big Data -Big data 정의및특징-Big data 배경2. 빅데이터기술및업체동향-기술동향-업체동향-적용사례3. 전망-향후전망-관련이슈및과제 1. Big Data -정의및특징(1) 네트워크컴퓨팅IT 업계의새로운화두Big Data 란?? 단순히많은양의데이터너무방대해일반적으로사용하는방법이나도구로수집, 저장, 검색, 분석, 시각화등을하기어려운데이터집합그러한데이터집합을활용하는영역이나기술까지데이터베이스의규모에초점을맞춘정의(McKinsey, 2011) -일반적인데이터베이스SW가저장, 관리, 분석할수있는범위를초과하는규모의데이터데이터베이스가아닌업무수행에초점을맞춘정의(IDC, 2011) -다양한종류의대규모데이터로부터저렴한비용으로가치를추출하고데이터의초고속수집, 발굴, 분석을지원하도록고안된차세대기술및아키텍처1. Big Data -정의및특징(1) 네트워크컴퓨팅IT 업계의새로운화두Big Data 란?? 단순히많은양의데이터너무방대해일반적으로사용하는방법이나도구로수집, 저장, 검색, 분석, 시각화등을하기어려운데이터집합그러한데이터집합을활용하는영역이나기술까지데이터베이스의규모에초점을맞춘정의(McKinsey, 2011) -일반적인데이터베이스SW가저장, 관리, 분석할수있는범위를초과하는규모의데이터데이터베이스가아닌업무수행에초점을맞춘정의(IDC, 2011) -다양한종류의대규모데이터로부터저렴한비용으로가치를추출하고데이터의초고속수집, 발굴, 분석을지원하도록고안된차세대기술및아키텍처 1. Big Data -정의및특징(2) 네트워크컴퓨팅빅데이터의3가지특징데이터종류의증가비정형, 구조화되지않은데이터데이터의기하급수적인증가방대한데이터의집합대용량다양성실시간데이터생성, 활용빠른데이터분석, 처리속도1. Big Data -정의및특징(2) 네트워크컴퓨팅빅데이터의3가지특징데이터종류의증가비정형, 구조화되지않은데이터데이터의기하급수적인증가방대한데이터의집합대용량다양성실시간데이터생성, 활용빠른데이터분석, 처리속도 네트워크 컴퓨팅 1. Big Data -배경빅데이터의등장배경 소셜미디어Big Data 비정형데이터의증가SNS의대중화데이터분석기술의발전 상호작용, 스마트폰 등 인터넷 연결기기의 폭증, 멀티미디어 콘텐츠의 활용증대 빅데이터 분석읁 통해 의미있는 정보륹 실시간으로 도출, 비즈니스적 가츶 확보 구글, IBM, HP, 후지쯔, NEC 등 글로벌 IT 기업들은 빅데이터 지원 제품 및 서비스 제공 2. 빅데이터기술및업체동향-기술동향(1) 네트워크컴퓨팅데이터의증가더욱고사양고가의장비로교체? 전서비스영역에서개인화서비스와소셜서비스를제공해야하는환경으로변화기존의시스템, 소프트웨어아키텍처의Scale-Up 만으로는한계2. 빅데이터기술및업체동향-기술동향(1) 네트워크컴퓨팅데이터의증가더욱고사양고가의장비로교체? 전서비스영역에서개인화서비스와소셜서비스를제공해야하는환경으로변화기존의시스템, 소프트웨어아키텍처의Scale-Up 만으로는한계 2. 빅데이터기술및업체동향-기술동향(2) 네트워크컴퓨팅 분산처리시스템-효과적인분산처리시스템을통한유연한서버운용이핵심경쟁력-서버사양과단일스토리지용량보다는이를효율적으로운용하는소프트웨어가중요해짐-기술이발전하고있는과정, 대부분오픈소스형태2. 빅데이터기술및업체동향-기술동향(2) 네트워크컴퓨팅 분산처리시스템-효과적인분산처리시스템을통한유연한서버운용이핵심경쟁력-서버사양과단일스토리지용량보다는이를효율적으로운용하는소프트웨어가중요해짐-기술이발전하고있는과정, 대부분오픈소스형태 2. 빅데이터기술및업체동향-기술동향(3) 네트워크컴퓨팅Apach CouchDB) 이쿼를몽고DB( 른NoS sive distributed application) 용컴퓨터를연결해처리하기위해이로부터하둡의역사가시작반정형, 비정형데이터를저장하는가장대중적인테크놀로지로사랑받고있다. 기업들이R은프로그래밍언어이자과가상화를지원하는의데이터셋을통계적으로캐스케이딩(Cascading) 하둡용추상화계층(abstraction layer) 으로, 사용자들이JVM 기반언어를활용해하둡클러스터에서데이터프로세싱워크플로(data processing workflow) 를제작, 실행할수있도록지원복잡성을스크라이브(Scribe) 스크라이브(Scribe) 는페이스북이개발한서버로, 2008 년부터사용되기시작했다이는여러서버들에서실시간으로스트림되는로그역할을한다. 작업을위해설계된스크라이메시지를처리하고있다. 카산드라(Cassandra) 또하나의NoSQL 데이터스토어아파치카산드라는자신들의인박스서치(Inbox Search) 기능을지원할목적으로페이스북이개발한분산형데이터베이스관리시스템이다. 페이스북이2010년카산드라를포기하고H베이스를채택하긴했지만, 카산드라는여전히많은기업들에서활용되고있다. 2. 빅데이터기술및업체동향-기술동향(3) 네트워크컴퓨팅Apach CouchDB) 이쿼를몽고DB( 른NoS sive distributed application) 용컴퓨터를연결해처리하기위해이로부터하둡의역사가시작반정형, 비정형데이터를저장하는가장대중적인테크놀로지로사랑받고있다. 기업들이R은프로그래밍언어이자과가상화를지원하는의데이터셋을통계적으로캐스케이딩(Cascading) 하둡용추상화계층(abstraction layer) 으로, 사용자들이JVM 기반언어를활용해하둡클러스터에서데이터프로세싱워크플로(data processing workflow) 를제작, 실행할수있도록지원복잡성을스크라이브(Scribe) 스크라이브(Scribe) 는페이스북이개발한서버로, 2008 년부터사용되기시작했다이는여러서버들에서실시간으로스트림되는로그역할을한다. 작업을위해설계된스크라이메시지를처리하고있다. 카산드라(Cassandra) 또하나의NoSQL 데이터스토어아파치카산드라는자신들의인박스서치(Inbox Search) 기능을지원할목적으로페이스북이개발한분산형데이터베이스관리시스템이다. 페이스북이2010년카산드라를포기하고H베이스를채택하긴했지만, 카산드라는여전히많은기업들에서활용되고있다. 2. 빅데이터기술및업체동향-업체동향(1) 네트워크컴퓨팅빅데이터는클라우드기반의대용량데이터처리기술인하둡(Hadoop) 을비롯해, 전통적인RDBMS를보완하기위한NoSQL(Notonly SQL), 그리고각종데이터시각화(Data Visualization) 기법에이르기까지방대한기술세트를사용한다. 따라서데이터를저장하고분석하는부분에서경쟁사보다우수한기술을보유한신생기업이나타나면이를경쟁적으로인수하고있는상황이다. 위키본(Wikibon) 에따르면, 2011 년빅데이터시장규모는52억달러였으며하드웨어,소프트웨어, 서비스분야중서비스매출이44%로서가장큰비중을차지했다. 빅데이터시장에서앞서가기위해서는서비스역량이가장중요할것으로판단. 빅데이터의궁극적인목적은기술의도입이아니라이를통해비즈니스통찰력을도출하고실제로비즈니스를향상시키는것이기때문이다. 2. 빅데이터기술및업체동향-업체동향(1) 네트워크컴퓨팅빅데이터는클라우드기반의대용량데이터처리기술인하둡(Hadoop) 을비롯해, 전통적인RDBMS를보완하기위한NoSQL(Notonly SQL), 그리고각종데이터시각화(Data Visualization) 기법에이르기까지방대한기술세트를사용한다. 따라서데이터를저장하고분석하는부분에서경쟁사보다우수한기술을보유한신생기업이나타나면이를경쟁적으로인수하고있는상황이다. 위키본(Wikibon) 에따르면, 2011 년빅데이터시장규모는52억달러였으며하드웨어,소프트웨어, 서비스분야중서비스매출이44%로서가장큰비중을차지했다. 빅데이터시장에서앞서가기위해서는서비스역량이가장중요할것으로판단. 빅데이터의궁극적인목적은기술의도입이아니라이를통해비즈니스통찰력을도출하고실제로비즈니스를향상시키는것이기때문이다. 2. 빅 데이터 기술 및 업체 동향 -업체 동향 (2) 네트워크 컴퓨팅 ● 데이터 저장부터 관리, 분석까지 빅데이터와 관한 모든 것을 제공하기 위해 그린플럼, 아이실론 등 빅데이터 솔루션 업체 및 데이터 관련 다수업체 인수 ● 빅데이터 스토리지 솔루션 (아이실론, 이트모스), 콘텐츠 관리 솔루션 등 제공 ● EMC 애널리스트 랩을 운영하며 데이터 사이언티스트 (Data Scientist) 육성 ● 140억 달러 이상을 투자하여 비즈니스 분석 관련업체 인수 -분석용 데이터 저장관리 업체 (네티자), 데이터 통합 업체 (에센셜), 분석 솔루션 업체 등 ● 빅데이터 솔루션 : InfoSphere BigInsight(Hadoop). InfoSphere Streams ● 지속가능한 지구를 만들기 위해 지구 데이터 (기온, 토양상태, 교통 흐름 등 )를 분석하는 ‘ 스마트 플래닛 (smart planet)’ 프로젝트 전개 ● 세계적인 DB 업체 , ‘ 하이페리온 社’ 를 인수로 분석기술 확보 ● 오라클 빅데이터 어플라이언스 제품 출시 2. 빅 데이터 기술 및 업체 동향 -업체 동향 (2) 네트워크 컴퓨팅 ● 데이터 저장부터 관리, 분석까지 빅데이터와 관한 모든 것을 제공하기 위해 그린플럼, 아이실론 등 빅데이터 솔루션 업체 및 데이터 관련 다수업체 인수 ● 빅데이터 스토리지 솔루션 (아이실론, 이트모스), 콘텐츠 관리 솔루션 등 제공 ● EMC 애널리스트 랩을 운영하며 데이터 사이언티스트 (Data Scientist) 육성 ● 140억 달러 이상을 투자하여 비즈니스 분석 관련업체 인수 -분석용 데이터 저장관리 업체 (네티자), 데이터 통합 업체 (에센셜), 분석 솔루션 업체 등 ● 빅데이터 솔루션 : InfoSphere BigInsight(Hadoop). InfoSphere Streams ● 지속가능한 지구를 만들기 위해 지구 데이터 (기온, 토양상태, 교통 흐름 등 )를 분석하는 ‘ 스마트 플래닛 (smart planet)’ 프로젝트 전개 ● 세계적인 DB 업체 , ‘ 하이페리온 社’ 를 인수로 분석기술 확보 ● 오라클 빅데이터 어플라이언스 제품 출시 2. 빅데이터기술및업체동향-업체동향(3) 네트워크컴퓨팅 ●업무용어플리케이션업체에서최근DB 전문업체로변신 ●메모리기반DB 어플라이언스(HANA) 제시 ●BI 소프트웨어, 플랫폼을제공하는‘비즈니스오브젝트社’인수 ●데이터웨어하우징및비즈니스인텔리전스(BI) 전문업체 ●비정형데이터의고급분석, 관리솔루션업체인수(애스터데이터) ●애스터맵리듀스플랫폼제시 ●BI 솔루션업체‘버티카’, 기업용검색엔진업체‘오토노미’인수 ●버티카와오토노미를결합하여빅데이터분석시장에진입 ●인스턴트-온엔터프라이즈(Instant-On Enterprise) 솔루션으로기업경영의사결정, 경영정보분석등경영지원전략수립서비스제공2. 빅데이터기술및업체동향-업체동향(3) 네트워크컴퓨팅 ●업무용어플리케이션업체에서최근DB 전문업체로변신 ●메모리기반DB 어플라이언스(HANA) 제시 ●BI 소프트웨어, 플랫폼을제공하는‘비즈니스오브젝트社’인수 ●데이터웨어하우징및비즈니스인텔리전스(BI) 전문업체 ●비정형데이터의고급분석, 관리솔루션업체인수(애스터데이터) ●애스터맵리듀스플랫폼제시 ●BI 솔루션업체‘버티카’, 기업용검색엔진업체‘오토노미’인수 ●버티카와오토노미를결합하여빅데이터분석시장에진입 ●인스턴트-온엔터프라이즈(Instant-On Enterprise) 솔루션으로기업경영의사결정, 경영정보분석등경영지원전략수립서비스제공 2. 빅데이터기술및업체동향-업체동향(4) 네트워크컴퓨팅 ●비즈니스인텔리젼스(BI) 소프트웨어공급업체 ●BI(Business Intelligence) 에빅데이터분석처리를접목하여사업역량강화 ●대용량데이터처리기술발표: GFS(Google File System, 2003 년), MapReduce(2004 년), Sawzall(2005 년), Bigtable(2006 년) ●빅쿼리(Big Query) 서비스공개(2011년): 이용자(기업등)가업로드한거대한양의데이터분석처리를지원하는서비스 ●윈도애저(Windows Azure) 와윈도서버플랫폼용아파치하둡개발계획 ●하둡(Hadoop) 기술전문업체‘호튼웍스’와협력2. 빅데이터기술및업체동향-업체동향(4) 네트워크컴퓨팅 ●비즈니스인텔리젼스(BI) 소프트웨어공급업체 ●BI(Business Intelligence) 에빅데이터분석처리를접목하여사업역량강화 ●대용량데이터처리기술발표: GFS(Google File System, 2003 년), MapReduce(2004 년), Sawzall(2005 년), Bigtable(2006 년) ●빅쿼리(Big Query) 서비스공개(2011년): 이용자(기업등)가업로드한거대한양의데이터분석처리를지원하는서비스 ●윈도애저(Windows Azure) 와윈도서버플랫폼용아파치하둡개발계획 ●하둡(Hadoop) 기술전문업체‘호튼웍스’와협력 2. 빅 데이터 기술 및 업체 동향 -적용 사례 (1) 네트워크 컴퓨팅 구글 독감예보 . 시간별 , 지역별 독감 관련 검색어 빈도를 지도에 표시 , 확산 정도 뿐만 아니라 확산되는 방향에 따라 예보도 하는 서비스 제공 . 미국 질병통제예방센터보다 2주나 빠르고 정확히 예측 http://www.google.org/flutrends/ 구글 실시간 번역 및 오타체크 서비스 . 미리 번역한 문서에서 뜻이 비슷한 문장과 어구를 대응시키는 방식 . 엄청난 양의 데이터를 통원해 번역의 정확성을 크게 높임 . 수십억장의 문서를 바탕으로 총 65개의 번역서비스 제공 . . 매일 3억 건씩 발생하는 검색창의 오타입력과 수정 정보를 활용해 오타체크 프로그램 제작 2. 빅 데이터 기술 및 업체 동향 -적용 사례 (1) 네트워크 컴퓨팅 구글 독감예보 . 시간별 , 지역별 독감 관련 검색어 빈도를 지도에 표시 , 확산 정도 뿐만 아니라 확산되는 방향에 따라 예보도 하는 서비스 제공 . 미국 질병통제예방센터보다 2주나 빠르고 정확히 예측 http://www.google.org/flutrends/ 구글 실시간 번역 및 오타체크 서비스 . 미리 번역한 문서에서 뜻이 비슷한 문장과 어구를 대응시키는 방식 . 엄청난 양의 데이터를 통원해 번역의 정확성을 크게 높임 . 수십억장의 문서를 바탕으로 총 65개의 번역서비스 제공 . . 매일 3억 건씩 발생하는 검색창의 오타입력과 수정 정보를 활용해 오타체크 프로그램 제작 2. 빅 데이터 기술 및 업체 동향 -적용 사례 (2) 네트워크 컴퓨팅 페이스북 친구 추천 . 회원들의 관계 데이터들을 수집해 지인들이 많이 겹치는 사람을 우선 적으로 친구로 추천 . 같은 학교 , 직장, 동아리 사람들을 친구로 추천 , 심지어 자신을 검색한 적이 있는 사람을 친구로 추천 . 아마존 추천 기능 . ‘ 데이터는 절대 버리지 않는다’는 경영진 기조를 바탕으로 데이터 분 석을 경영 철학화 . 소비자 성향 및 패턴을 분석하여 ‘ 당신이 아마도 좋아할 것들’ 이라는 말을 붙여 구매를 유도하는 추천엔진 개발 . 매출의 30%가 추천엔진에 서 발생 2. 빅 데이터 기술 및 업체 동향 -적용 사례 (2) 네트워크 컴퓨팅 페이스북 친구 추천 . 회원들의 관계 데이터들을 수집해 지인들이 많이 겹치는 사람을 우선 적으로 친구로 추천 . 같은 학교 , 직장, 동아리 사람들을 친구로 추천 , 심지어 자신을 검색한 적이 있는 사람을 친구로 추천 . 아마존 추천 기능 . ‘ 데이터는 절대 버리지 않는다’는 경영진 기조를 바탕으로 데이터 분 석을 경영 철학화 . 소비자 성향 및 패턴을 분석하여 ‘ 당신이 아마도 좋아할 것들’ 이라는 말을 붙여 구매를 유도하는 추천엔진 개발 . 매출의 30%가 추천엔진에 서 발생 2. 빅 데이터 기술 및 업체 동향 -적용 사례 (3) 네트워크 컴퓨팅 T-mobile 고객 이탈 방지 . 매일 170억 건 이상의 통화 및 송수신 내역을 담은 데이터 발생 , 이를 분석해 다른 통신사로 옮긴 고객이 사전에 보였던 특유의 패턴 발견 . 고객간 소셜 네트워크를 분석 , 영향력이 큰 고객을 따라 지인들이 동 반 이탈하는 현상 발견 . 이탈 징후 보이는 고객에게 맞춤형 추가혜택 제 공하여 Lock-in 유도 . 시스템 구축 직후인 2011년 2/4분기 이탈 고객 수 5만 명으로 1/4분 기 9만 9,000 명 절반 수준으로 감소 포드 스마트 자동차 . 시시각각으로 운전데이터를 수집 , 유저가 어디로 향하려 하는가 등을 실시간으로 예측하는 등의 미래 스마트자동차 개발 목표 . 구글과 '하이브리드 자동차스마트 서비스 ' 공동 개발 중 . 실시간으로 수집되는 교통정보 데이터를 분석하여 교통혼잡지역을 피함과 동시에 운전자의 운전습관에 기초하여 가장 에너지를 절약하는 방식으로 운전 자의 목적지 경로를 추천 2. 빅 데이터 기술 및 업체 동향 -적용 사례 (3) 네트워크 컴퓨팅 T-mobile 고객 이탈 방지 . 매일 170억 건 이상의 통화 및 송수신 내역을 담은 데이터 발생 , 이를 분석해 다른 통신사로 옮긴 고객이 사전에 보였던 특유의 패턴 발견 . 고객간 소셜 네트워크를 분석 , 영향력이 큰 고객을 따라 지인들이 동 반 이탈하는 현상 발견 . 이탈 징후 보이는 고객에게 맞춤형 추가혜택 제 공하여 Lock-in 유도 . 시스템 구축 직후인 2011년 2/4분기 이탈 고객 수 5만 명으로 1/4분 기 9만 9,000 명 절반 수준으로 감소 포드 스마트 자동차 . 시시각각으로 운전데이터를 수집 , 유저가 어디로 향하려 하는가 등을 실시간으로 예측하는 등의 미래 스마트자동차 개발 목표 . 구글과 '하이브리드 자동차스마트 서비스 ' 공동 개발 중 . 실시간으로 수집되는 교통정보 데이터를 분석하여 교통혼잡지역을 피함과 동시에 운전자의 운전습관에 기초하여 가장 에너지를 절약하는 방식으로 운전 자의 목적지 경로를 추천 3. 전망-향후전망(1) 네트워크컴퓨팅5년간Big Data 시장규모전망$50.1억$534억3. 전망-향후전망(1) 네트워크컴퓨팅5년간Big Data 시장규모전망$50.1억$534억 3. 전망-향후전망(2) 네트워크컴퓨팅빅데이터활용이정보통신, 교육, 의료, 금융등사회각분야로확산되면서사회전반의생산성향상에기여할전망3. 전망-향후전망(2) 네트워크컴퓨팅빅데이터활용이정보통신, 교육, 의료, 금융등사회각분야로확산되면서사회전반의생산성향상에기여할전망 3. 전망-향후전망(3) 네트워크컴퓨팅향후빅데이터시장전개방향첫째, 데이터의가치가증대됨에따라업체들간에데이터를거래하는데이터마켓플레이스가주목받게될것이다. 둘째, 물리적현상을나타내는데이터를수집함에따라온라인과오프라인의연계가더욱중요해질것이다. 셋째, 빅데이터에서탁월한성과를내기위해서는무엇보다도빅데이터를활용할수있는성숙된IT/ 조직문화의확립해야한다. 더불어IT 및비즈니스도메인지식을갖춘인력, 그리고통계학, 수학적지식을갖춘데이터사이언티스트를확보하는것이중요한선결과제라고볼수있다. 3. 전망-향후전망(3) 네트워크컴퓨팅향후빅데이터시장전개방향첫째, 데이터의가치가증대됨에따라업체들간에데이터를거래하는데이터마켓플레이스가주목받게될것이다. 둘째, 물리적현상을나타내는데이터를수집함에따라온라인과오프라인의연계가더욱중요해질것이다. 셋째, 빅데이터에서탁월한성과를내기위해서는무엇보다도빅데이터를활용할수있는성숙된IT/ 조직문화의확립해야한다. 더불어IT 및비즈니스도메인지식을갖춘인력, 그리고통계학, 수학적지식을갖춘데이터사이언티스트를확보하는것이중요한선결과제라고볼수있다. 3. 전망-관련이슈및과제네트워크컴퓨팅개인정보유출및사생활침해문제보안및영업비밀의유출문제소유권및사용권문제인프라구축과전문인력확보3. 전망-관련이슈및과제네트워크컴퓨팅개인정보유출및사생활침해문제보안및영업비밀의유출문제소유권및사용권문제인프라구축과전문인력확보 감사합니다. 감사합니다.