데이터 품질관리(2) - 데이터 민주화

• 정의 : 모든 구성원이 데이터를 쉽게 업무에 활용하고 data-informed decision을 하는 것
• 규칙
  • 구성원이 데이터 관련 질문을 편하게 할 수 있을 것
    
    • 데이터 리터러시 필수적 : 데이터 민주화의 가장 큰 병목현상(데이터 접근성) 해소 가능
      
      • 회사가 어떤 데이터를 수집하는지, 어떻게 생긴 데이터인지
        
      • 누가 어느 데이터에 접근하는지 정의할 것
        
      • 필요한 데이터 리터러시 역량은 부서의 업무에 따라 다르다
  • 모든 사람이 데이터로 일할 수 있는 tool을 제공할 것
    
    • 전문가는 각자의 tool에만 전문적이다 : 추가적인 데이터 tool에 투자해야한다
      
      • Data warehouse
        
      • BI tool
        
      • ELT tool
        
      • Reverse ETL tool
  • 데이터 민주화를 진행 중인 프로세스로 볼 것 : 조직 전체의 문화적 변동이 필요할 수도 있음
    
    • 규모가 클수록 민주화에 빨리 투자해야
      
    • 데이터 민주화는 데이터 리터러시에 의존한다 : 데이터 분야가 아닌 사람에게는 귀찮고 불편한 과정
      
    • role에 상관없이 데이터 관련 질문에 대한 답변을 쉽게 찾을 수 있어야 한다.
      
    • 얼마나 다양한 팀이 데이터로 일하는지 : 조직 내의 상식이 되어야 한다.
      
      • 누가 어떤 데이터에 접근할 수 있는지
        
      • 데이터가 어디에 있는지
        
      • 데이터 접근 권한을 신청하는 방법이나 데이터에 대한 질문은 어떻게 할 수 있는지

• 이점
  • Data challenges를 해결

data challenge	데이터 민주화
필요한 데이터에 접근할 수 없음	구성원이 데이터 관련 질문을 편하게 할 수 있을 것
데이터를 믿을 수 없음	구성원이 데이터 관련 질문을 편하게 할 수 있을 것
접근할 수 있으나 제대로 활용하는 법을 모름	구성원이 데이터 관련 질문을 편하게 할 수 있을 것
회사에서 제공하는 분석 툴은 프로덕트 팀에 맞도록 설계되지 않음	모든 사람이 데이터로 일할 수 있는 tool을 제공할 것
데이터 전문가가 너무 바빠서 날 도와줄 수 없음	조직 전체의 문화적 변동이 필요할 수도 있음

 

• 빠르고 더 나은 의사결정 : 빠르고 독립적으로 답을 찾을 수 있을 경우, 기다릴 필요 없이 데이터 기반 결정 가능
  
• 더 많은 혁신 : 실험과 새로운 아이디어를 실행해볼 수 있음
  
• 더 높은 효율성 : 데이터 팀에 대한 의존도를 줄임으로써 데이터 분석 과정의 비용을 줄일 수 있음
  
  • 그럼 데이터 팀은? 더 많은 임팩트를 가지는 분석에 집중

• Challenge
  • 데이터 신뢰성 : 데이터가 표준화되어 있지 않거나 부정확한 경우 신뢰할 수 없음
    
  • 데이터 거버넌스와 보안 : 필요한 데이터에는 접근이 가능하고, 필요하지 않은 데이터는 접근할 수 없도록 해야함
    
    • 규제 사항을 지키려면 누가 어떤 데이터에 언제, 왜 접근했는지 기록이 남아있어야함
      
  • 데이터 사일로 : 데이터 공유에 있어서 Robust한 시스템을 구축해야
    • https://lifeofsw.tistory.com/130 데이터 사일로
• 데이터 구조와 데이터 민주화
  • 데이터를 하나의 장소에 저장하고, 전문가에 의해 통제 : 전통적인 방식
    
    • 효율적인 데이터 저장 및 보안
      
    • 병목 현상 : 비-기술적인 팀이 데이터에 접근하기가 어려움
      
  • Data mesh : 조직 내에서 개별 팀이 데이터 관리를 하는 구조
    
    • 각 팀은 데이터 품질을 유지할 책임이 있으며 데이터를 사용할 수 있고 다른 팀이 접근할 수 있도록 관리해야
      
    • 접근성을 더 높일 수 있는 방법
      
  • Data fabric : Data mesh를 위해 필요한 infrastructure.
    
    • 다양한 소스의 데이터와 자동화, 메타 데이터, AI를 사용하는 환경을 연결, 통합, 관리 -> 통일된 데이터 레이어를 만든다.
      
    • 쉽게 믿을 수 있는 데이터를 찾고 사용할 수 있는 방법

• c.f) Data transparency : 데이터에 대한 신뢰를 쌓는 것
  • 데이터가 어디서 와서 어떻게 사용되고, 누가 접근했는지 알 수 있도록
• reference
  • https://amplitude.com/blog/data-democratization