빅데이터

정의

• 일반적 정의
  • ‘Big’ → 단순 양적인 개념을 넘어, 복잡하고 다양한 질적인 개념까지 포함
  • 큰 용량과 복잡성 → 기존 어플리케이션 및 Tool로는 다루기 어려운 데이터셋의 집합
• 이외 다양한 정의
  • 가트너(Gartner) 정의(2012)
    • 향상된 시사점, 더 나은 의사결정을 위해 사용되는 정보자산
    • 비용 효율이 높고 혁신적이며 대용량, 고속, 다양성의 특징을 가진 정보자산
  • 매킨지(McKinsey) 정의(2011)
    • 데이터베이스 소프트웨어가 저장, 관리 및 분석할 수 있는 범위를 초과하는 규모의 데이터
  • IDC 정의(2011)
    • 다양한 종류의 대규모 데이터로부터 낮은 비용으로 가치 추출, 데이터의 초고속 수집 및 발굴을 위해 고안된 차세대 기술 및 아키텍처
  • 일본 노무라연구소 정의
    • 데이터는 물론 데이터 처리, 저장 및 분석기술에 의미 있는 정보 도출까지 빅데이터의 정의에 포함
    • 넓은 의미의 빅데이터로는 그에 필요한 인재나 조직까지도 확장시키기를 제안
  • 더그 래니(Doug Laney) 정의 - “3V”
    • 데이터의 양 / 데이터의 유형 및 소스의 다양성 / 데이터 수집 및 처리 측면의 속도
    • 위 3개가 급격히 증가하면서 나타나는 현상
  • 마이어쇤베르크 & 쿠키어(Mayer-Schonberg & Cukier) 정의
    • 대용량 데이터 활용 → 작은 용량으로는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일
    • 더 나아가, 시장/기업/시민-정부간 관계 등 많은 분야에 변화를 가져오는 일
  • 한국데이터산업진흥원 정의
    • 기존의 접근 방식으로는 얻을 수 없었던, 데이터에 대한 통찰과 가치를 창출해 내는 모든 것

특징: 더그 래니의 정의

• 더그 래니 - “3V”
  • 가트너 그룹의 부회장 더그 래니

  • 빅데이터 = 데이터의 양(Volume)의 증가 + 데이터의 유형(Variety)의 증가 + 데이터의 생성 및 처리속도(Velocity)의 증가

    

• 빅데이터의 새로운 특징 4V
  • 더그 래니의 3V + Value / Veracity
    • Value(가치) → 데이터 전체를 파악하고 패턴을 발견하기 점점 어려워지면서 가치의 중요성 강조됨

    • Veracity(정확성) → 빅데이터의 예측 분석 결과에 대한 신뢰성이 중요해짐

      

  • 이외에 Visualization(시각화), Variability(가변성)을 추가하기도

빅데이터의 출현 배경

• 데이터의 양적 증가
  • 과학기술의 발달 → 스마트폰 및 컴퓨터 보급 → 주변에 수많은 데이터가 쏟아져 나옴(이메일, SNS, 카드 내역 등)
  • 그 중 특히, 스마트폰을 통한 디지털 소통 / 전자상거래 / 디지털미디어 서비스는 데이터의 폭발적 증가로 이어짐
  • 기술의 패러다임 시프트 현상
• 산업계의 변화
  • 산업계의 빅데이터 현상은 “양질 전환의 법칙”으로 설명하기도
  • 양질 전환의 법칙
    • 헤겔의 변증법에 기초를 둔 개념 → “양적인 변화 축적 시 질적인 변화도 이루어 진다.”
    • 정보가 지속적으로 축적 → 거대한 데이터 + 새로운 기술을 만나 → 새로운 가치를 창출(변화의 상태에 도달)
• 학계의 변화
  • 거대한 데이터를 다루는 학문 분야 증가
  • 이에 발맞춰, 필요한 기술 아키텍처 및 통계도구도 지속적으로 증가
    (게놈 프로젝트, 대형 강입자 충돌기, NASA의 기후 시뮬레이션 등)
• 관련 기술의 발전
  • 기술의 발전에 따른 빅데이터 출현
    • 디지털화의 급진전
    • 저장 기술의 발전 및 가격 하락
    • 인터넷 발전 및 모바일 시대 돌입 → 모바일 생태계 확산
      • 무선통신의 발전(5G)
    • 클라우드 컴퓨팅 보편화
  • 클라우드 컴퓨팅
    • 인터넷(클라우드)을 통해 컴퓨팅 서비스를 제공하는 것
      • 컴퓨팅 서비스: 서버, 스토리지, 데이터베이스, 네트워킹, 소프트웨어, 분석, 인텔리전스 등
      • 기업이 얻는 효과: 유연한 리소스를 제공받음 + 경영 이익 효과
    • 빅데이터의 처리 비용을 획기적으로 낮춰준다는 점에서 의의
      • 클라우드의 분산 병렬 처리 시스템으로 데이터 처리 시, 대용량의 데이터를 처리하면서 비용은 크게 아낄 수 있음 → 빅데이터를 분석하고 새로운 가치를 창출하는 데 기여
    • 클라우드를 통해 많은 정보를 클라우드에 수집 가능

빅데이터의 기능과 변화

빅데이터의 기능

1. 마치 산업혁명의 “석탄/철”
   • 제조업 뿐 아니라, 서비스 분야의 생산성을 획기적으로 끌어올려줌
   • 사회/경제/문화/생활 전반에 걸쳐 큰 변화를 불러올 것으로 기대
2. 마치 “21세기의 원유”
   • 빅데이터는 각종 비즈니스, 공공기관 대국민 서비스, 경제 성장에 필요한 정보를 제공, 마치 원유처럼
   • 이를 통해, ‘산업 전반의 생산성 향상 + 새로운 범주의 산업 생성’ 기대
3. 마치 “렌즈”
   • 렌즈를 통해 현미경이 생물학 발전에 영향
   • 이처럼 빅데이터도 렌즈처럼 산업 발전에 큰 영향을 줄 것으로 기대
     • ex) 구글의 Ngram Viewer - 1500년부터 2008년 사이에 출간된 책 500만권을 데이터화한 사이트
4. 마치 “플랫폼”
   • 플랫폼: 공동 활용의 목적으로 구축된 유무형의 구조물
   • 빅데이터 역시, 플랫폼으로서 다양한 서드파티 비즈니스에 활용될 것으로 기대

빅데이터가 생성하는 변화

1. 사전처리 → 사후처리
   • 가능한 많은 데이터를 모음 → 다양한 방식으로 조합 → 숨은 인사이트 발굴
2. 표본조사 → 전수조사
   • IoT/클라우드 기술의 발전 → 데이터 처리비용 감소 → 데이터 활용 방법 변화
3. 질 → 양
   • 수집 데이터의 양 증가 → 분석 정확도 증가 → 양질의 분석 결과 산출 가능
4. 인과관계 → 상관관계
   • 특정 인과관계 중시하던 과거 양상 → 데이터 양이 폭증 → 상관관계를 통한 특정 현상 발생 가능성 포착
   • 그에 상응하는 행동 추천 (= 상관관계를 통한 인사이트 도출 확산)

빅데이터 등장에 따른 변화

• 다양한 영역에서 변화
• 특히, 크게 기술 / 인재&조직 (+ 당연히 데이터 변화)
  1. 기술의 변화
     • 빅데이터의 등장에 의한 기술 변화
     • 데이터의 처리/저장/분석 및 아키텍처 기술 변화
  2. 인재 및 조직의 변화
     • 데이터 사이언티스트와 같은 인재 요구
     • 데이터 중심 조직의 등장
  3. 데이터 변화
     • 더그 래니의 “3V”
       • Volume → 데이터의 양
       • Variety → 데이터의 유형
       • Velocity → 데이터의 수집 및 처리 기술

빅데이터의 가치

핵심

• 결국, 빅데이터의 가치는 어떤 인사이트를 발굴하여 어떻게 활용할 것인가에 달림
  • (떡상) 그 인사이트가 신규 사업으로 이어져서 대박 → 그 빅데이터는 수십 조의 가치
  • (떡락) 그 인사이트가 기대를 저버리고, 수익 모델에 크게 도움을 못줌 → 그 빅데이터는 그닥 가치가 없음
• 그렇기에, 빅데이터의 가치 산정은 어렵기도 하지만 무의미하기도 함
• 중요한 것은, 빅데이터를 통해 인사이트를 가치있게 만드는 과정 → 우리 삶에 중요한 역할

빅데이터의 가치 산정이 어려운 이유

1. 데이터 활용 방식
   • 빅데이터의 재사용/재조합 및 다목적용 데이터 개발 일반화
     → 그 데이터를 Who?When?How?Where? 활용하는지 알 수 없음
   • 명확히 위 사항들을 알 수 없기에, 가치 산정이 어려움
2. 가치 창출 방식
   • 빅데이터는 기존에 없던 새로운 가치를 창출해냄 → 평가 기준이 없기 때문에 가치 산정이 모호
3. 분석 기술 발전
   • 데이터 분석 기술은 날로 발전 → 가치 있는 데이터 vs 가치 없는 데이터 경계를 나누기 어려워짐
   • 오늘의 가치 없는 데이터가 → 내일은 가치 있는 데이터가 될 수도

빅데이터의 영향

기업 vs 정부 vs 개인

• 기업
  • 빅데이터로 소비자 행동 분석 & 시장 변동 예측 → 비즈니스 모델 혁신 및 신사업 발굴
• 정부
  • 크게 환경 탐색/상황 분석/미래 대응에 활용
    • 미래 대응: 법제도 및 거버넌스 시스템 정비/미래성장 전략/국가안보 대응 등
• 개인
  • 스마트라이프로 변화
  • 개인의 목적에 따라 빅데이터 활용

맥킨지의 빅데이터 보고서(2011)

• 빅데이터가 가치를 만들어 내는 5가지 방식
  • 투명성 제고
    • 연구개발 및 관리 효율성 제고
  • 시뮬레이션
    • 수요 포착 및 주요 변수 탐색 → 경쟁력 강화
  • 고객 세분화 및 맞춤 서비스 제공
  • 알고리즘 활용한 의사결정 보조(혹은 대체)
  • 비즈니스 모델, 제품/서비스 혁신
• 빅데이터의 경영 혁신 4단계
  1. 생산성 향상
  2. 발견에 의한 문제 해결
  3. 의사결정 향상
  4. 새 고객가치 및 비즈니스 창출