데이터 문화(2) - 데이터 거버넌스

개요

• 정의 : 조직 내 데이터의 품질, 보안, 사용 가능성에 집중하는 데이터 관리 방안

• 목적 : 접근하기 쉽고 안전한 고품질의 데이터를 유지하는 것
  • In field : 데이터 수집, 오너십, 저장, 처리와 사용에 대한 정책, 기준, 프로세스를 정의함
  • 데이터 거버넌스를 위해서는 다양한 부서의 협업이 필요함
• 데이터 관리의 일종
  • 데이터 관리의 요소 : 데이터 처리, 저장, 보안 등
    • 각 요소는 상호 영향을 주고 받음
  • 데이터의 규모가 커질수록 데이터 관리 방법 재고의 필요성 증가

 

Framwork

• Framework : 모든 조직에 들어맞는 프레임워크는 없다
  
  • 프로그램 목표, 역할, 책임
    
    • 목표 : 데이터 품질 향상, 컴플라이언스 준수, 데이터 기반 의사결정 등
      
    • 진행 상황을 알 수 있는 지표 선정
      
      • 데이터 에러와 중복성의 감소
        
      • 비용 감소 : 높은 효율성과 Time-to-market(제품 개발 ~ 판매에 소요되는 시간) 감소
        
      • 데이터 일관성과 완전성
        
      • 데이터 리터러시 향상과 프로세스 준수
        
    • 책임
      
      • Steering Committee(주로 고위 직급) : 데이터 거버넌스 정책과 프레임 워크의 전반적인 방향 검토
        
      • Data owner : 특정 도메인의 데이터를 담당. 데이터 정확성, 품질, 일관성을 유지할 책임이 있음
        
        • 데이터 거버넌스 솔루션, 정책, 규제 등을 제안
          
      • Data steward : 특정 도메인의 데이터를 날마다 관리함
        
      • Stakeholder, business team : 기업 데이터의 소비자
  • 데이터 기준, 정책, 프로세스
    
    • 데이터 기준 : 데이터 양식, 모델, master data management(MDM), 메타데이터 등
      
    • 데이터 흐름 및 데이터가 어떻게 수집, 저장, 이동해야하는지 정의
      
    • 하드웨어, 소프트웨어 및 서비스 정의
      
    • 데이터 범위를 정의하는 경우도 있음 : 사용자와 앱이 필요한 데이터에만 접근하고, 접근하면 안 되는 데이터에는 접근하지 않도록
      
  • Auditing 과정 : 거버넌스 프로그램의 투명성과 설명가능성을 유지하기 위해 테스트, auditing, 기록 보존 단계를 규정
    
    • 정기적인 audit은 사용자들이 데이터 거버넌스 framework를 신뢰할 수 있도록 함
      
    • 거버넌스 프로그램이 새 데이터, 단계, 기술에 맞춰 변화할 수 있도록 함
      
    • 조직이 규제를 준수하도록 함
      
  • 데이터 거버넌스 툴 : 전반적인 플랫폼부터 전문적인 솔루션까지 다양함
    
    • 조직은 데이터 구조와 거버넌스 프레임워크에 따라서 tool을 선택함
      
    • Tool의 요소
      
      • 자동적인 데이터 분류 및 발견
        
      • 데이터 보호 규칙 및 role-based 접근 제어 강화
        
      • 프라이버시 및 정책 요구사항
        
      • 자동적인 메타데이터 관리, data lineage 트래킹, 데이터 카탈로그화
        
      • 비즈니스 지원
        
      • 다양한 형태의 데이터 핸들링
        
      • 트렌드, 이상치 등을 쉽게 확인할 수 있도록 시각화 기능 제공

 

효과

• 데이터 품질 향상, 데이터 사일로 감소, Compliance와 보안 정책 준수, 적절한 데이터 접근
• 조직 내 데이터의 가치 상승 : 결점이 있는 데이터를 기반으로 한 의사결정은 효과적이지 않음
  
  • 데이터 거버넌스 : robust한 end-to-end 데이터 관리 프로세스 
    → 데이터 통합성, 정확성, 완전성, 일관성을 향상시킴
    
    • 신뢰성 있는 데이터는 조직이 새로운 기회를 발견하고, 고객과 워크플로우를 더 잘 이해하도록 도움, 전반적인 비즈니스 퍼포먼스를 최적화함
  • 데이터 거버넌스의 부족 → 성과 지표의 오류 → 조직을 잘못된 방향으로 이끌 수 있음
• 혁신과 효율성 증진 : 데이터 접근이 제한되어 있을 경우, 혁신이 제한되고 전문가(subject matter experts)에 대한 의존성이 높아지며 비즈니스 프로세스가 느려진다.
  
  • 데이터 거버넌스 : 데이터 접근을 적절하게 분산, 각 부서나 개인이 필요한 데이터에만 접근할 수 있게 함
    → 팀 간 긴밀하고 효율적인 협업 & 데이터를 안전하게 유지
  • Single source of truth 제공
    
    • Single source of truth : 모든 데이터가 저장되고 관리되는 중앙화된 저장소
      
      • 조직 내 모든 구성원이 동일하고 일관성있는, 정확한 데이터로 일하도록 함
      • 여러 버전의 데이터를 사용함으로써 발생하는 비효율성과 혼란을 방지
    • 모든 구성원이 동일한 데이터로 업무 -> 의사결정 개선
      
      • 혼란과 비효율성을 감소시킬 수 있음
      • Self-service solution의 토대
  • 데이터 프라이버시, 보안, compliance 준수
    
    • 데이터 거버넌스 정책 : 민감한 데이터, 프라이버시에 대한 규제 사항을 포함
      
      • 규제 위반 : 높은 거버넌스 비용과 다른 이들의 반발
    • Data breaches, 유출, 오용을 방지할 수 있는 가드레일 제공
      
      • Data breaches : 민감 및 기밀 정보에 대해 인가되지 않은 접근이 발생하는 것
        
        • 개인 데이터(계좌번호, 건강 등) + 기업 데이터(고객 기록, 재무 정보 등)
  • AI를 위한 안전한 데이터 사용
    
    • 데이터 거버넌스 : 조직이 사용하는 모든 데이터의 원본, 민감성, lifecycle 포함
      
      • AI 거버넌스의 토대 & 다양한 기업의 리스크를 완화
    • 관련 규칙과 규제를 따름으로써 데이터를 보호하면서 AI와 ML에 고품질의 데이터를 제공
  • 더 정확한 데이터 분석 : 발전된 데이터 분석과 데이터 사이언스에 올바른 데이터는 필수적

 

Challenge

• 적절한 지원 부족 : 효과적인 데이터 거버넌스 프로그램은 경영진과 개별 기여자의 지원이 필요
  
  • C레벨 및 데이터 관리자와의 커뮤니케이션은 중요하고, 데이터 거버넌스의 우선순위가 높다
    
    • C레벨 : 데이터 거버넌스 정책이 받아들여지도록 데이터 팀에게 권한을 부여
    • 데이터 관리자 : 데이터 생산자와 소비자가 compliance를 준수하도록 함
  • 적절한 지원이 없다면 데이터 사용자는 거버넌스 정책을 인지하거나 고려하지 못할 수 있음
• 일관적이지 않은 데이터 구조 : 올바른 툴과 데이터 구조가 없다면 효과적인 데이터 거버넌스 프로그램을 적용하기 어려움
  
  • 데이터 설계자 : 적절한 데이터 모델을 개발하고 스토리지 시스템 간의 데이터 구조를 통합해야함
• 데이터 가시성과 제어
  
  • 데이터 거버넌스 : 다수의 제공자와 다수의 장소에 다양한 포맷으로 저장된 데이터를 포함함
    
    • Data lake, data lakehouse, data warehouse 등
  • 구성원이 IT의 승인을 받지 않고 클라우드에 데이터를 올리는 등의 행위로 데이터가 분산됨
    • Shadow IT : IT 부서의 승인, 감독을 받지 않고 기업 네트워크에 사용되는 소프트웨어, 하드웨어, IT 리소스
    • 데이터 흐름 및 사용 추적과 모니터링이 어려워질 수 있음
    • 데이터 거버넌스 : 데이터 원본, 사용처, 변환, dependency, ownership, 접근 권한과 책임에 대한 이해가 선행되어야 함
  • 각 이해관계자 간의 협업이 필요한 사안 : 데이터 소유자, 관리자, 데이터 사용자와 규제자 등
• 접근 요청 증가
  
  • self-service 분석과 BI의 증가로 인하여 접근 요청이 잦아짐
  • 거버넌스 팀은 속도와 접근성 간 균형을 맞춰야한다.
    
    • 프라이버시와 보안을 위해 균형 필요
  • 스트리밍 데이터 시스템과 절차 : 데이터 유출을 방지하도록 튜닝되어야함
• AI 데이터 요구사항
  
  • AI 학습과 운영에 데이터를 제공할 때는 많은 데이터 저장소와 거버넌스 툴이 부족해짐
  • AI는 표준 IT 기반 프로세스 및 기능보다 복잡함 : 능동적인 데이터 거버넌스 필요
  • AI 거버넌스 격차 : 기업의 가장 큰 위험 요소 중 하나
  • AI 리스크와 복잡성을 줄이려면 AI에 최적화된 데이터 저장소와 데이터 거버넌스 프로그램을 병합

 

Reference

• What is Data Governance? | IBM
• https://www.getguru.com/reference/single-source-of-truth
• https://www.ibm.com/think/topics/shadow-it