빅 데이터 비즈니스 by 스즈키 료스케 - 제1장 빅 데이터 비즈니스란 무엇인가

빅데이터 비즈니스 국내도서>경제경영 저자 : 스즈키 료스케 / 천재정역 출판 : 도서출판더숲 2012.03.13 상세보기

제1장 빅 데이터 비즈니스란 무엇인가

The new data center at Johns Hopkins, awaiting its 100 Gbps backbone.

빅데이터란 무엇인가

1. 빅데이터의 정의

'빅 데이터'란 기존 데이터에 비해 그 크기가 너무 커서 일반적인 방법으로는 수집하거나 분석하기가 어려운 데이터 집합체를 의미한다. 

"빅 데이터에서 가치를 찾아내는 '데이터 사이언스'의 전문인력이 미국에서 2018년까지 20~30만명 부족할 것이다." _비지니스 위크

Data Scientist: Hot Big Data Job

These specialists, who can supervise the integration of many types of data, find themselves in great demand compared to traditional data analysts. 

http://www.informationweek.com/big-data/news/big-data-analytics/240005349/data-scientist-hot-big-data-job

2. 빅데이터에 대한 요구변화

빅데이터에 대한 사업상 요구변화

▶ 개인화 등 개별적으로 최적화된 정책 강구의 필요성

▶ 실시간 정책 강구의 필요성

▶ 다면적인 판단자료에 근거한 정책 강구의 필요성 

   ∴ 결과적으로 커다란 사이즈의 데이터(대용량 데이터)가 필요

↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

요구되는 데이터(빅데이터)의 특징

▶ 고해상 - 전체적인 경향이 아니라 개별 요소에 관한 데이터일 것

▶ 다양성 - 비구조 데이터도 포함된 다양한 데이터일 것

▶ 고빈도 - 실시간 데이터를 수집하는 등 취득과 생성 빈도가 높은 데이터일 것(시간적 해상도가 높을 것)

3. 빅데이터의 특징

빅데이터에 주목하는 이유는 결과 때문이다. 도움이 될만한 유용한 인사이트가 도출된다면 스몰 데이터라도 상관없으나 스몰데이터로는 충분히 유용한 인사이트 도출이 어렵다. 여기서 말하는 유용한 인사이트란 개별적이고 즉각적이며 다면적인 검토를 거친 부가가치를 제공하고 싶어하는 요구를 만족시키는 인사이트를 말한다.

요구되는 데이터(빅데이터)의 특징

· 고해상 - 전체적인 경향이 아니라 개별 요소에 관한 데이터일 것

· 다양성 - 비구조 데이터도 포함된 다양한 데이터일 것

· 고빈도 - 실시간 데이터를 수집하는 등 취득과 생성 빈도가 높은 데이터일 것(시간적 해상도가 높을 것)

또한 데이터 자체의 특성과 더불어 데이터 활용에 있어서도 하나의 데이터 소스를 수백명의 직원이 수백 가지 관점에서 분석하려는 요구가 늘어나고 있다는 점에도 주의해야 한다. 이러한 특징을 갖춘 데이터는 결과적으로 '빅데이터'가 된다. 절대로 테라바이트나 페타바이트에 관한 논의가 아니다. 

이용사업자가 빅데이터 비지니스에 착수해야 하는 이유

1. 사업자의 IT 활용단계

	제1단계의 벽		제2단계의 벽
	전자화·자동화가 되어 있느냐?		데이터를 통해 사업에 기여할 만한 인사이트를 도출하고 있는가?
각 사업자의  단계별 상황	미해결군	해결군	미해결군	해결군
	-사내품의시 종이와 도장이 이러저리 굴러다닌다 -고객정보는 담당자의 수첩에 적힌 채로 보존된다	-서류 보관비용 감소 등 정보활용돠는 다른 측면에서 인센티브가 작용하여 최근 10년간 큰 진전을 보였다 -교통카드 활용으로 인한 자동개찰기의 관리 비용절감 등이 대표적이다	- 전자화로 본업의 효율화는 이루어냈지만 'IT를 활용할 만한 여지는 있을 것'이라는 생각을 가지고 있다.  -'전자화는 했지만~'이 키워드.	- 이 벽을 넘어선 사업자가 '데이터 활용. 비지니스 인텔리전스의 우등생'으롤 부상한다. -아마존, 월마트 등이 대표적
		↑ 현재는 이 단계의 사업자가 많다.

2. 빅데이터 활용 분야

- 제품개발

- 마켓팅

- 고객지원

- 내부통제/보안

- 사회인프라

3. 데이터 활용의 변천

                                                        개별피드백×플로형의 중요성 증가

	축적한 후 피드백 [스톡형 피드백]	실시간으로 피드백 [플로형 피드백]
계열 전체의 피드백	↘
개별적으로 피드백		기술적으로 가능해지고 있다

피드백까지 허용되는 타임래그 → (짧다)

왜 지원사업자는 빅데이터 비지니스에 뛰어들었는가

1. 클라우드의 영향으로 정보통신기술 시장이 축소되었다 

- 가격하락에 근거한 매상 축소와 해외로의 유출

각 사업부문별 IT 활용포인트

				기존 ICT 시장 축소를 대체하는 형태로 각 솔루션은 발달
총무부문 정보시스템부문	→	코스트센터 (비용절감이  행동규범)	→	가상화, 클라우드화, 매니지드 서비스가 적절
사업부문 연구개발부문	→	프로핏센터 (적절한 투자에 근거 수익확대가 행동규범)	→	빅 데이터 활용에 의한 사업의 부가가치 제공?
				ICT 업계의 새로운 수익원?

2. 기본적인 하드웨어 성능이 향상되다

3. 빅데이터 활용을 뒷받침하는 기술과 상품이 등장하다

- 하둡(http://hadoop.apache.org), 파이손의 수리분석모델 NumPy, Spicy, Apache Mohout(http://mahout.apache.org)

- 복합이벤트처리 CEP(Complex Event Processing)

- 프라이버시본존형 데이터마이닝 PPDM(Privacy Preserving Data Mining) - 데이터 소유자의 프라이버시를 침해하지 않으면서 데이터에 함축적으로 들어있는 지식이나 패턴을 찾아내는 기술

- 통계적 개시 억제 SDC ( Statistical Disclosure Control) 

빅데이터 비지니스를 실현하기 위한 과제

1. 인재가 부족하다

2. 개인정보와 기밀정보의 유출

제도적, 기술적 보호 정책을 마련하는 것과 동시에 유저가 데이터 활용에 대해 어떤 희망이나 불안을 갖고 있는가 하는 것도 사회적인 측면에서 검토되어야 한다.

소비자의 스트리퍼화

3. 부정확한 데이터를 오용하거나 부적절하게 이용하는 것

빅데이터 비지니스의 미래

1. 물리적 현상을 나타내는 데이터가 중요해질 것이다 - 오프라인과 온라인의 연계 강화, 위치정보, 다양한 디바이스

2. 사업자간 데이터 유통의 활성화 - 비경쟁 영역 데이터 구입, 데이터의 자본회전율 

3. 보안정책의 필요성 증대