분석 과제 발굴

분석 과제 ‘발굴’의 개념 및 ‘탐색’ 방법

분석 과제 발굴

• 모 기업이 데이터 분석 플랫폼을 구축하고, 기업경영 전략에 활용한다고 가정
• 가장 먼저 해야할 일? → “무엇을 분석해야 하는가?” → 분석 과제를 발굴하는 일
• 분석 과제 발굴
  • 해결해야 할 다양한 기업(분석의 주체)의 문제를 ‘데이터 분석 문제’로 변환하는 것 포함
• 분석 과제
  • 이해 관계자들이 이해할 수 있도록 프로젝트 수행 목적의 과제 정의서 형태로 도출

분석 과제 탐색방법

• 상향식 접근법
  • 다양한 데이터의 조합 속에서 인사이트를 찾아내는 Bottom-up 방식
  • 대규모 데이터가 생성되고, 빠르게 변화하는 현대에는 문제가 무엇인지 사전에 정의하는 것이 어려움 → 상향식 접근법 적용
  • 분석 대상을 모를때 적용
• 하향식 접근법
  • 문제가 주어졌을 때, 우리가 해결해야 할 문제가 무엇인지 찾아나가는 방식
  • 전통적인 Top-Down 수행법, 각 과정이 체계적으로 단계화되어 문제 해결하는 방식
  • 분석 대상을 알 때 적용
• 실제 분석과정에서는 혼용하여 사용하는 경우 많음

• 분석과제 발굴 방법론 개념도: 상향식 vs 하향식

  

디자인 씽킹

IDEO사의 디자인 씽킹

• 크게 문제 발견 영역/솔루션 제시 영역으로 구분

• 더블 다이아몬드 프로세스

  

  • 상향식 접근법의 발산 단계 및 하향식 접근법의 수렴 단계가 반복 수행
  • 상호 보완적으로 분석의 가치를 높이는 의사결정 방식
  • 수렴과 발산 반복 → 창의적이고 혁신적인 아이디어 도출

스탠퍼드대학 d.school의 디자인 씽킹

• 비즈니스, 기술, 그리고 인간 중심 사고가 결합 → 혁신적인 해결책 도출

• 세부 과정

  

  • 공감(Empathize) → 문제 정의(Define) → 아이디어 도출(Ideate) → 프로토타입(Prototype) → 테스트(Test) → 평가(Assess)
  • 상향식 접근법의 일종

하향식 접근법

1단계) 문제 탐색 단계

• 비즈니스 모델 탐색 기법

  • 비즈니스 모델 캔버스의 9가지 블록 → 5가지로 단순화한 탐색기법

    

  • 업무,제품,고객 단위로 문제 발굴 → 이를 관리하는 두 가지 영역(규제와 감사(Adult & Regulation) 및 지원 인프라(IT & Human Resource))에 대한 기회 추가 도출

    

• 분석 기회 발굴 범위의 확장

  • 기업 및 산업 환경 중심 → 4가지 영역에 대한 비즈니스 문제 발굴

    

  • 4가지 영역

    • 거시적 관점
      • 문제/변화가 기업에 주는 영향 탐색
      • 사회/기술/경제/환경/정치 등 다양한 방면으로
    • 경쟁자
      • 경쟁자 확대 관점
      • 기업에 위협이 될 상황 탐색: 대체제 , 경쟁자, 신규 진입자
        • 대체제: 기업의 상품 및 서비스가 대체될 수 있는 것에 대한 탐색/잠재적 위협 파악
        • 경쟁자: 주요 경쟁사의 제품 및 서비스 카탈로그 전략 분석
        • 신규 진입자: 현재는 직접적인 경쟁자는 아니나, 향후 영향력이 커질 것으로 판단되는 위협
    • 시장의 니즈
      • 시장의 니즈 탐색 관점으로 문제 탐색: 고객, 채널, 영향자들
        • 고객: 고객 기업들의 산업/경영 현황 파악
        • 채널: 상품/서비스가 전달될 수 있는 경로 파악
        • 영향자들: 해당 기업의 유사 시장에 영향을 미칠 수 있는 내용에 대한 조사
          • ex) 시장 확대에 따른 유사 업종의 기업 인수 등에 대한 파악
    • 역량
      • 역량의 재해석, 기업의 내부 및 파트너와의 네트워크를 다시금 한번 둘러봄
        • 내부 역량: 부가 가치 창출 기회 탐색(자사 소유 부동산 등)
        • 파트너와의 네트워크: 해당 기업과의 관계사/공급사 기업의 역량을 활용한 부가가치 창출 기회의 탐색
• 외부 참조 모델 기반 문제 탐색/분석 유스케이스 정의
  • 유사 동종 업계의 기업에서 기존에 수행한 문제 탐색, 분석 과제 활용 → 중요한 시사점 도출
  • 유사 동종 사례 벤치마킹을 통한 분석 기회 발굴 → (브레인스토밍과 유사효과)산업별/서비스별 분석테마 후보 그룹을 통한 가장 빠르고 쉬운 방식(Quick & Easy)
  • 분석 유스케이스 → 그렇게 발견한 문제를 세부과제로 도출하기 전, 먼저 이를 ‘분석 유스케이스’로 정의 → 향후 어떻게 풀어나갈지 그 방법과 그로 인한 효과를 명시
    • 분석 유스케이스: 분석을 적용할 때 업무흐름을 개념적으로 설명한 것
      (프로세스 혁신 수단이 되기도)

2단계) 문제 정의 단계

• 식별된 비즈니스 문제를 → 데이터 문제로 변환하여 정의하는 단계
• 관점 차이: 문제 탐색 단계 vs 문제 정의 단계
  • 문제 탐색: 단계는 무엇을/어떠한 목적으로 수행해야 하는지에 관한 관점이라면
  • 문제 정의 단계는 이를 달성하는 데 필요한 데이터 및 기법 정의
• 데이터 분석 문제의 정의: 최종 사용자(End-User) 관점
• 문제 정의 예시
  • 영업 부서, ‘최근 고객들의 불만이 높아지고 있다’는 비즈니스 문제 식별
  • 위 비즈니스 문제를, 데이터 문제로 변환
    • 고객의 불만에 영향을 끼치는 요인은 무엇?
    • 그 요인과 고객 불만율에 대한 상관 및 예측 모델 수립

3단계) 해결 방안 탐색 단계

• 앞선 2단계에서 정의된 데이터 분석 문제를 해결하기 위한 방안 모색
• 해결 방안 탐색, 동시에 해당 기업이 분석할 능력(시스템 구축, 인력 확보 등)이 갖추어 졌는지 고려

• 해결 방안 탐색 프로세스

  

4단계) 타당성 검토

• 앞선 1~3단계를 통해 분석 과제 정의 및 해결 방법 및 인력 선택을 마쳤다면, 이러한 해결 방안이 타당한 것인지 검토
• 경제적 타당성 검토 vs 기술적 타당성 검토
  • 경제적 타당성 검토
    • 분석을 위한 지출 항목(데이터, 시스템, 인력, 유지보수 등) 및 비용 분석 결과를 적용하였다면 → 이에 따라 추정되는 경제적 가치를 고려해야 함(실질적 비용 절감, 추가 매출, 수익 등)
    • 분석 수행에 따르는 경제적 가치 평가 수행(분석 수행이 과연 이익이 되는가)
  • 기술적 타당성 검토
    • 경제적 가치가 뛰어난 분석이더라도, 그 분석의 수행 가능 여부를 따져봐야 함
    • 수행 불가능한 분석 추진 역시 경제적 손실을 일으키므로

상향식 접근법

• 분석 대상을 모를 경우, 분석 과제를 발굴하기 위해 사용하는 방법
• 다양한 원천 데이터로부터 인사이트와 지식을 얻기 위한 접근 방법

• 분석 계획을 수립하고 분석단계에 들어가는 하향식 접근법과는 달리, 먼저 분석부터 시작하고 그 결과에서 가치있는 문제를 도출하는 방법

  

지도학습 및 비지도학습

• 지도학습
  • 정답이 있는 데이터를 활용하여 분석 모델을 학습시키는 것
  • 분류 vs 회귀
    • 분류: 레이블이 범주형
    • 회귀: 레이블이 연속형
  • ex) 머신러닝, 의사결정 트리, 신경망 모델, 분류 분석
• 비지도학습
  • 정답을 알려주지 않고 학습시키는 것
  • 정답이 없음 → 레이블이 없음 → 비슷한 특징을 가진 데이터끼리 군집화하여 새 데이터에 대한 결과 예측
  • 목표 자체가 정의된 특정 필드의 값을 구하는 것이 아니라, 데이터 자체의 결합/연관성/유사성 등을 중심으로 데이터 상태를 표현함
  • 일반적으로 상향식 접근법의 데이터 분석은 비지도 학습에 의해 수행
  • ex) 장바구니 분석, 기술통계, 프로파일링, 군집 분석, 주성분 분석 등

프로토타이핑 접근법(시행착오를 통한 문제 해결)

• 먼저 분석 시도 → 결과를 확인하며 점점 개선해 나감
• 문제를 먼저 정의할 수 있는 경우 하향식 접근법을 적용하지만, 데이터가 기업 내에 존재하지 않는 경우 활용
• 문제 정의 불명확 & 새로운 문제 접근 → 빅데이터 분석 환경에서는 프로토타이핑 접근법이 꽤 유용
• 프로세스
  • 가설 생성 → 디자인에 대한 실험 → 실제 환경 테스트 → 테스트 결과로부터 인사이트 도출/가설 확인
• 프로토타이핑 접근법이 필요한 경우
  • 문제 인식 수준이 낮거나 불명확할 경우
  • 필요 데이터의 존재 여부가 불확실할 경우
  • 데이터의 사용 목적 → 고정되지 않고 변화할 경우

분석 프로젝트 관리 방안

분석 프로젝트 관리 개요

• 분석가의 역할
  • 분석의 정확도 높임
  • 뿐만 아니라, 원하는 결과를 사용자가 원활히 사용할 수 있도록 하는 것
  • 데이터 영역 vs 비즈니스 영역 사이에서 조정자 역할 수행
  • 도출된 결과 → 재해석하여 지속적인 모델 정교화 작업을 반복 → 모델을 개선할 수 있도록 적절한 관리방안 수립
• 분석 과제 관리 시 고려할 5가지 속성
  • 데이터의 양
    • 데이터 양이 적다면 → 가정용 컴퓨터로도 충분히 분석 가능
    • 데이터 양이 많다면 → 분석 환경을 활용하는 것이 유리(Hadoop, Cloud 등)
  • 데이터 복잡도
    • 정형화된 데이터를 확보하지 못할경우(다양한 비정형 데이터를 분석하는 경우)
    • 초기 데이터 확보 및 통합 뿐 아니라, 해당 데이터에 잘 적용될 수 있는 모델을 고려해야 함
  • 분석의 속도
    • 분석 종류에 따라,
      • 일주일/한달 등의 기간을 두고 분석이 진행되기도 하고
      • 실시간으로 수행되어야 하는 분석(도난카드 사용, 사기탐지 등)도 있음
  • 분석 복잡도
    • 분석 모델의 정확도 - 해석력은 Trade-off 관계
    • 복잡도 높으면 → 정확도 올라감 → (모델 사용하는 직원 입장에서는)해석 어려워짐
    • 목표는, 정확도도 높고 해석도 편리한 최적의 모델을 찾는 것
  • 정확도 & 정밀도
    • 모델 구축 이후, 성능 측정도 필수적임

    • 정확도 vs 정밀도

      

      • 정확도(Accuracy): 모델과 실제값 간 차이 적음을 의미하는 값
      • 정밀도(Precision): 반복적으로 모델 사용 시 모델 값들의 편차 수준

분석 과제 관리 방안

• 분석 프로젝트는 데이터 분석의 특성을 살려 ‘프로젝트 관리 지침’을 기본 가이드로 활용
• 프로젝트 관리 지침
  • 관리 체계: 10개 주제로 그룹화
    • 통합/이해관계자/범위/자원/시간/원가/리스크/품질/조달/의사소통
• Time Boxing 기법
  • 할당된 작업이 주어진 시간동안 완수되지 못하였더라도 다음 작업으로 넘어가는 기법
  • 프로토타입 모델의 프로젝트 기획 및 관리 기법
• 능력 성숙도 통합 모델(CMMI)
  • 소프트웨어 및 시스템 공학의 역량 성숙도 파악을 위한 모델
  • 5단계의 역량 평가 과정
    1. 개인의 역량이 프로젝트 성공/실패를 나누는 주요 요인
       • 개발 프로세스는 거의 없음
    2. 일정/비용과 같은 요소가 프로세스 중심
       • 약간의 개발 프로세스 하에서 통제
    3. 2단계서 존재하지 않는 조직 관리를 위한 프로세스가 존재하는 상태
    4. (체계적인 관리하에) 프로젝트 및 산출물 등에 대한 정량적 측정
    5. 조직적으로 최적화된 프로세스 → 보유 및 지속적 개선 목표