Bad Data

종류

• 완전하지 않은 데이터 : 필수 정보, 필드, 특성이 없는 데이터
  
  • 편향된 분석과 부정확한 결론으로 이어짐
• 중복된 데이터 : 필요없는 정보가 반복된 데이터
  
  • 지표값 증가, 데이터 저장 비용 증가, 분석 결과 불일치로 이어짐
• 일관성이 없는 데이터 : 시스템 및 DB 간 값이 불일치하는 데이터
  
  • 혼란과 정확하지 않은 결과로 이어짐
• 오래된 데이터 : 시간이 지나 더 이상 관련이 없거나 정확하지 않은 데이터
  
  • 잘못된 결론으로 이어짐
• 정확하지 않은 데이터 : 오타, 잘못된 분류, 정확하지 않은 값 등의 오류를 포함한 데이터
  
  • 분석의 통합성을 저해함
• 유효하지 않은 데이터 : 정확한 형태, 범위, validation 규칙을 지키지 않은 데이터
  • 분석이나 운영에 대해 효율적으로 데이터를 사용하는 데에 어려움

 

숨겨진 비용

• 1-10-100 cost rule : 소프트웨어 개발의 idea. 데이터에도 적용됨
  
  • 초기 단계(데이터 입력)에서 문제를 해결하는 데에는 1$가 필요함
    
  • Test 및 개발 단계(데이터 변환)에서 문제를 해결하는 데에는 10$가 필요함
    
  • 배포 이후 단계(데이터 사용자가 사용하는 단계)에서 문제를 해결하는 데에는 100$가 필요함
    
    • 최근 연구에 따르면 72%의 데이터 품질 문제가 사용자 단계에서 발견됨

 

해결 방안

• 지속적인 모니터링, 탐지, resolution process : aka Data Observability
• 지속적인 모니터링 : robust한 시스템 구축
• 탐지 : 파이프라인 초기에 이상탐지, 데이터 Incident에 대한 alert
• Resolution : 중요한 문제가 되기 이전에 해결
• 자동화된 데이터 품질 확인 시스템 필요

 

기대 효과

• 데이터 품질 개선
• 이슈 대응 소요시간 절감

 

출처 : https://medium.com/datachecks/the-hidden-costs-of-bad-data-ef0f6a27c939