빅데이터 분석 및 전략 인사이트

빅데이터의 열풍과 회의론

빅데이터에 대한 관심 및 기대

• 많은 기업들이 빅데이터를 보유하고 싶어함 → 그 속에서 새로운 가치를 창출하고자 함
• 그러나, 이것이 반드시 새로운 가치로 연결되지는 않음
• ex) 의약 기업 버텍스의 보슈아 보거 박사
  • “데이터에 기초한 의사결정은 중요하다.”
  • 버텍스 사의 빅데이터 성공사례 → 데이터의 양보다는, 데이터 분석 문화가 주요 경영 의사결정에 뿌리 깊게 자리함

빅데이터 회의론 및 원인

• 부정적 학습효과
  • 과거의 IT 솔루션 영역 → 공포 마케팅이 강력 → CRM은 반드시 도입되어야 하는 것으로 강조
  • 하지만, 막대한 비용으로 빅데이터 시스템을 구축해 두어도 어떻게 이를 통해 가치를 창출하는 지를 몰랐음
• 과대 포장
  • 기존의 분석 성공 사례가 빅데이터 성공사례로 포장되기도
  • 기존의 우수 고객, 이탈 고객 예측 분석과 같은 것들을 마치 빅데이터를 통한 분석인 것 처럼
  • 빅데이터 분석의 궁극적 목표는, 기존에 알지 못하였던 가치를 파악해 내는 일

빅데이터 분석의 핵심: ‘인사이트’

‘크기’ 보다 ‘인사이트’

• 데이터는, 그 크기보다 해당 데이터로부터 어떤 시각과 인사이트를 얻을 수 있느냐의 문제
• 데이터는 양보다 가치
• 데이터 분석이 가치 있으려면,
  1. 비즈니스의 핵심 가치에 집중
  2. 관련된 분석 평가 지표 개발
  3. 이를 기반으로 효과적으로 시장 및 고객 변화에 대응
• 일반적으로 빅데이터를 대하는 문제점은, 비용이 아니라 분석적 방법 및 성과에 대한 이해 부족

전략적 인사이트의 중요성

• 데이터 분석을 단순히 많이 한다고 경쟁 우위에 도달하진 않음
• 분석이 경쟁의 본질을 제대로 바라보지 못한다면, 쓸모없는 결과만 쏟아내는 것은 동일
• 이를 막기 위해, 아래와 같은 과정이 필요
  • 전략적인 인사이트 + 핵심적인 비즈니스 집중 + 데이터 분석 → 차별화된 전략 도출

일차원적 분석 vs 가치 기반 분석(For. 전략 도출)

일차원적 분석

• 금융서비스
  • 신용점수 산정
  • 사기 탐지
  • 가격 책정
  • 프로그램 트레이딩
  • 클레임 분석
  • 고객 수익성 분석
• 에너지
  • 트레이딩
  • 공급/수요 예측
• 병원
  • 가격 책정
  • 고객 로열티
  • 수익 관리
• 정부
  • 사기 탐지
  • 사례 관리
  • 범죄 방지
  • 수익 최적화
• 소매업
  • 판촉, 매대 관리, 수요 예측, 재고 보충, 가격 및 제조 최적화
• 제조업
  • 공급 사슬 최적화, 수요 예측, 재고 보충, 보증서 분석, 맞춤형 상품 개발, 신상품 개발
• 운송업
  • 일정 관리, 노선 배정, 수익 관리
• 헬스케어
  • 약품 거래, 예비 진단, 질병 관리
• 커뮤니케이션
  • 가격 계획 최적화, 고객 보유, 수요 예측, 생산 능력 계획, 네트워크 최적화, 고객 수익성 관리
• 서비스
  • 콜센터 직원 관리, 서비스-수익 사슬 관리
• 온라인
  • 웹 매트릭스(단종, VSCode 권장), 사이트 설계, 고객 추천
• 모든 기업
  • 성과 관리

전략 도출을 위한 가치 기반 분석

• 일차원적 분석의 한계
  • 일차원적 분석만으로도 상당한 효과를 얻을 수 있음
  • 하지만 일차원적 분석은 대부분 업계 내부의 문제에만 포커스 + 주로 부서 단위로 관리
    → 비즈니스 성공에 핵심적인 역할을 기대하긴 어려움
• 가치 분석을 위한 단계
  1. 일차원적 분석을 통해 분석 경험 쌓아나감
  2. 작은 성공 → 분석의 활용 범위를 더 넓고 전략적으로 변화시켜 나감
  3. 가치 기반 분석 단계로 나아가 전략적 인사이트를 얻어야 함
     • 가치 기반 분석 단계로 나아가기 위해, 사업 및 이에 영향을 미치는 트렌드의 큰 그림을 그려야 함
  4. 가치 기반 분석 단계까지 도달하게 되면, 분석이 곧 경쟁의 본질에 영향을 미침 → 기업의 경쟁 전략 리드
• 가치 분석의 성과
  • 사업 성과를 견인하는 요소 및 차별화를 이룰 수 있는 기회에 대한 인사이트 제공
  • 전략적 인사이트 창출에 초점 → 중요한 기회 발굴 → 주요 경영진의 지원 → 강력한 모멘텀 형성 가능

전략 인사이트 도출을 위한 필요 역량

데이터 사이언스에 대한 이해 및 역할

데이터 사이언스에 대한 이해

• 데이터 사이언스: 데이터로부터 의미있는 정보를 추출해 내는 학문
• 통계학: 정형화된 실험 대상 vs 데이터 사이언스: 정형/비정형 막론, 다양한 유형의 데이터로 실험
• In Wikipedia, “데이터 사이언스는 데이터 공학, 수학, 통계학, 컴퓨터 공학, 시각화, 해커의 사고 방식, 해당 분야의 전문 지식을 종합한 학문이다.”

데이터 사이언스의 역할

• 데이터 사이언스 vs 데이터 마이닝
  • 데이터 마이닝: 주로 분석에 포커스
  • 데이터 사이언스
    • 광의의 개념. 분석 뿐 아니라 이를 효과적으로 구현/전달하는 과정, 궁극적으로는 전략적 인사이트 도출을 위한 일련의 행위까지 모두 포함
    • 데이터 사이언스는 더 포괄적이고 총체적인 접근법 활용
    • 전략적인 통찰 추구/비즈니스 핵심 이슈에 답변/사업의 성과 견인
• 데이터 사이언티스트
  • ‘소통’이 중요한 핵심 역량
  • 비즈니스 성과를 좌우하는 핵심 요소를 정확히 겨냥할 수 있는 역량 필요 → 데이터 사이언스가 큰 힘을 발휘할 수 있는 핵심 포인트

데이터 사이언스와 데이터 사이언티스트

데이터 사이언스의 구성요소

• Analytics
  • 수학, 확률 모델, ML, 분석학, 패턴 인식 및 학습, 불확실성 모델링 등
• IT
  • 시그널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨팅 등
• 비즈니스 분석
  • 커뮤니케이션, 프리젠테이션, 스토리텔링, 시각화

데이터 사이언티스트의 요구 역량

• 요구 역량: 하드 스킬 / 소프트 스킬
  • 하드 스킬
    • 이론적 지식(빅데이터 관련): 관련 기법에 대한 이해 및 방법론
    • 분석 기술에 대한 숙련: 최적의 분석/설계 노하우 축적
  • 소프트 스킬
    • 통찰력 있는 분석: 창의적 사고, 호기심, 논리적 비판
    • 설득력 있는 전달: 스토리텔링, 시각화
    • 다분야 간 협력: 커뮤니케이션
• 가트너가 제시한 데이터 사이언티스트 요구 역량
  • 데이터 관리 → 데이터에 대한 이해
  • 분석 모델링 → 분석론에 대한 지식
  • 비즈니스 분석 → 비즈니스 요소에 초점
  • 소프트 스킬 → 커뮤니케이션 협력, 리더십, 창의력, 규율, 열정

데이터 사이언스: 과학과 인문학의 교차로

인문학: 전략과 인사이트 도출

• 기업은 경영 전략 수립을 위한 소프트 스킬이 필요함
  • 사고방식, 비즈니스 이슈에 대한 감각, 고객에 대한 공감 능력 등
• 소프트 스킬은 인문학으로부터 나옴 → 데이터 사이언티스트에게 인문학 스킬을 요구하는 이유
  • 스토리텔링, 커뮤니케이션 능력, 창의력, 직관력, 비판적 시각 등
• 공급자 중심 vs 소비자 중심
  • 공급자 중심: 기술 경쟁 → 산출물을 중시
  • 소비자 중심: 인문학적 통찰력까지 필요 → ‘창조 과정’에 주목할 필요
    • 기존 사고의 틀을 벗어나 문제를 바라보고 해결하는 능력
    • 비즈니스 핵심가치를 이해하고, 고객과 직원의 내면적 요구를 이해하는 능력
• 외부 환경에서 본 인문학의 열풍
  • 컨버전스 → 디버전스
    • 단순 세계화 → 복잡 세계화
  • 생산 → 서비스
    • 제품생산 → 서비스
  • 생산 → 시장 창조
    • 기술 경쟁 → 무형 자산의 경쟁

인문학적 사고의 특성

• 데이터 사이언티스트: 과학과 인문학의 탁월한 조합 능력 필요
  • 과학: 정량 분석
  • 인문학: 인문학적 통찰에 근거한 합리적 추론
  • 단순히 정보 활용 수준이 아닌, 사업 성과를 좌우하는 핵심 문제에 대한 답변을 할 수 있어야 됨
• ex) Apple의 스티븐 잡스
  • 늘 인문학적 요소를 중시
  • 청중을 사로잡는 프레젠테이션 → 데이터 사이언스 분야에 인문학 열풍을 주입한 시초
• 인문학적 사고: 시간에 따른 정보/통찰 비교구분
  1. 과거
     • 정보: 무슨 일이 일어났는가?
     • 통찰: 어떻게, 왜 일어났는가? (모델링, 실험설계 등)
  2. 현재
     • 정보: 무슨 일이 일어나고 있는가?
     • 통찰: 차선 행동은 무엇인가? (권고 등)
  3. 미래
     • 정보: 무슨 일이 일어날 것인가?
     • 통찰: 최악 또는 최선의 상황은 무엇인가? (예측, 최적화, 시뮬레이션 등)

빅데이터 그리고 데이터 사이언스의 미래

가치 패러다임의 변화

가치 패러다임

• 패러다임(Paradigm)
  • 어떤 한 시대 사람들의 견해/사고를 근본적으로 규정하고 있는 프레임
  • 인식의 체계, 사물에 대한 이론적인 틀/체계 의미
• 패러다임의 특성
  • 시간의 흐름에 따라, 다음 세대의 패러다임에 자리를 물려주고 떠남
    (= 패러다임 시프트)
• 가치 패러다임
  • 경제와 산업의 원천에 있는 가치에 대한 패러다임
  • 성공과 연결: 많은 신기술/상품/서비스가 그 시기의 가치 패러다임과 맞아 떨어질 때 성공

가치 패러다임의 변화

• 과거 → 현재 → 미래에 따른 가치 패러다임의 변화
  • 과거: ‘Digitalization’
    • 아날로그인 세상을 어떻게 디지털화 하는가 → 가치 창출의 원천
    • ex) 오피스 프로그램
  • 현재: ‘Connection’
    • 디지털화된 정보-세상이 서로 연결 → 이 ‘연결’이 얼마나 효과적/효율적으로 제공되느냐에 따라 성패
    • ex) 구글 검색 알고리즘/네이버 콘텐츠 등
  • 미래: ‘Agency’
    • IoT(사물인터넷)의 성숙과 함께 ‘Connection’의 숫자가 증가하고 복잡해짐
    • 핵심은, “복잡한 ‘Connection’을 얼마나 효과적이고 신뢰도 높게 관리하는가”
    • 이를 좌우하는 것은 데이터 사이언스 역량
• Datafication(데이터화)
  • 주변의 많은 곳에서 ‘디지털화(아날로그에서 디지털로)’가 점차 이뤄짐
  • ex) 사진 → 과거 필름카메라는 컴퓨터로 사진을 못옮겼음 / 이제는 디지털 카메라를 활용해 RGB값을 이용해 컴퓨터가 사진을 읽을 수 있도록 함

데이터 사이언스의 한계와 인문학

데이터 사이언스의 한계

• 정량적 데이터 분석 → 정량적 수치에 근거하더라도 모든 분석은 가정에 근거함
• 또한 가정을 놓고 분석하는 동안, 실제 외부 요인은 끊임없이 변화할 수 있음
• 데이터 분석은 100% 완벽할 수는 없음 → 하지만 정보가 뒷받침되지 않는 직관보다는 나음

데이터 사이언티스트에게 요구되는 인문학

• 능력있는 데이터 사이언티스트의 역량
  • 모델의 능력에 대해 항상 의구심을 지님
  • 가정/현실 불일치에 대해 끊임없이 고찰
  • 분석 모델이 예측 못하는 위험을 살피기 위해 현실 세계 주시
• 뛰어난 역량을 지닌 데이터 사이언티스트는
  • 빅데이터에 묻힌 잠재력을 발굴하고,
  • 새로운 기회를 발견하며,
  • 누구도 못본 창조의 밑그림을 그리는 힘을 발휘