데이터 거버넌스는 데이터 가치를 점진적으로 실현하는 프로세스입니다. 특히 데이터 거버넌스란 수집, 전송, 저장과 같은 일련의 표준화된 프로세스를 통해 분산된 사용자 데이터를 형식 사양으로 변환하고, 구조가 통일된 데이터로 변환하고, 엄격한 규격의 포괄적인 데이터 통제를 수행하는 것을 말합니다. 이러한 표준화된 데이터는 추가 처리 및 분석을 통해 안내적인 비즈니스 모니터링 보고서 및 비즈니스 모니터링 모델이 되어 비즈니스 의사 결정을 지원하는 데 도움이 됩니다.
데이터 거버넌스 과정에서 프런트 엔드 비즈니스 시스템, 백 엔드 비즈니스 데이터베이스 시스템, 비즈니스 터미널에 대한 데이터 분석, 소스에서 터미널, 다시 소스로 돌아와 폐쇄 루프 네거티브 피드백 시스템을 형성합니까? 。 마찬가지로 데이터 거버넌스 과정에서도 데이터 수집, 전송, 저장 및 적용을 안내하는 표준화된 사양이 필요합니다.
데이터 거버넌스 프로세스
데이터 거버넌스 프로세스는 데이터 계획, 데이터 수집, 데이터 스토리지 관리에서 데이터 애플리케이션에 이르는 무질서한 프로세스이자 표준화 프로세스 9 를 구축하는 프로세스입니다. 각 프로세스의 특성에 따라 데이터 거버넌스 프로세스를 "이유", "채취", "저장", "사용" 이라는 네 단어로 요약할 수 있습니다.
1. 합리성: 비즈니스 프로세스를 빗질하고 데이터 자원을 계획합니다.
기업의 경우 매일 실시간 데이터가 테라바이트를 초과합니다. 사용자로부터 어떤 데이터를 수집해야 합니까? 이렇게 많은 데이터를 어디에 두었는지, 어떻게 넣었는지, 어떻게 넣었습니까? 이런 문제들은 미리 계획해야 하고, 무질서에서 질서에 이르는 과정이 필요하다. 이 프로세스에는 프런트엔드, 백엔드, 데이터 엔지니어, 데이터 분석가, 프로젝트 관리자 등의 역할을 포함한 부서 간 협력이 필요합니다.
수집: ETL 수집, 체중 제거, 탈감작, 변환, 상관 관계, 비정상적인 값 제거.
프런트엔드와 백엔드는 수집된 데이터를 데이터 부서에 전달하고, 데이터 부서는 ETL 툴을 통해 소스에서 데이터를 추출, 변환 및 타겟으로 로드하여 분산된 데이터를 중앙 집중식으로 저장합니다.
저장: 대용량 데이터의 고성능 저장 및 관리
이렇게 많은 업무 데이터가 어디에 존재합니까? 이를 위해서는 고성능 대용량 데이터 스토리지 시스템이 필요합니다. 데이터를 분류하여 해당 라이브러리에 배치하여 후속 관리 및 사용을 최대한 용이하게 합니다.
4. 용도: 실시간 조회, 보고 모니터링, 지능형 분석, 모델 예측.
데이터의 최종 목적은 비즈니스 의사 결정을 지원하는 것입니다. 이전 프로세스는 최종 쿼리, 분석 및 모니터링을 위한 토대를 마련하는 것입니다. 이 단계는 실시간 쿼리, 지표 시스템 및 보고 시스템 구축, 비즈니스 문제 분석, 예측 모델 등 표준화된 데이터를 활용할 수 있는 데이터 분석가의 집입니다.
데이터 거버넌스에는 어떤 측면이 포함됩니까?
데이터 거버넌스는 데이터 아키텍처 조직, 데이터 모델, 정책 및 제도 개발, 기술 도구, 데이터 표준, 데이터 품질, 영향 분석, 워크플로우, 모니터링 및 평가 등 지속적으로 개선되는 관리 메커니즘입니다. 기술적 관점에서 볼 때 데이터 거버넌스와 관련된 IT 기술 과제에는 메타데이터, 데이터 표준, 데이터 품질, 데이터 통합, 마스터 데이터, 데이터 자산, 데이터 교환, 수명주기 및 데이터 보안으로 구성된 솔루션 세트가 포함됩니다.
메타데이터: 엔터프라이즈 시스템 데이터 속성에 대한 정보를 수집하고 요약하여 모든 업종의 사용자가 더 나은 데이터 통찰력을 얻을 수 있도록 지원합니다.
데이터 표준: 데이터 명명, 데이터 정의, 데이터 유형, 할당 규칙 등의 일관된 정의 기준 세트를 제공합니다. 개별 시스템에 분산되어 있는 데이터의 경우 표준 평가를 통해 복잡한 데이터 환경에서 엔터프라이즈 데이터 모델의 일관성과 규범성을 유지할 수 있습니다.
데이터 품질: 다양한 유형의 데이터 품질 문제를 효과적으로 식별하고, 데이터 감독을 구축하고, 데이터 품질 관리 시스템을 형성하고, 데이터 품질 문제를 모니터링 및 폭로하며, 자세한 문제 조회 및 품질 개선 권장 사항을 제공합니다.
데이터 통합: 데이터 정리, 변환, 통합, 모델 관리 등을 수행할 수 있습니다. 문제 데이터를 해결하는 데 사용할 수 있을 뿐만 아니라 데이터 애플리케이션을 위한 신뢰할 수 있는 데이터 모델을 제공합니다.
마스터 데이터: 기업이 내부 데이터의 단일 뷰를 생성 및 유지 관리하여 데이터 품질 향상, 운영 단위의 정의 통합, 비즈니스 프로세스 간소화 및 개선, 비즈니스 대응 속도 향상 등의 이점을 제공합니다.
데이터 자산: 가치를 창출할 수 있는 모든 데이터 자원을 수집하고, 사용자에게 자산 뷰를 제공하고, 엔터프라이즈 자산을 신속하게 파악하고, 잘못된 자산을 찾아내고, 관리자에게 의사 결정 기반을 제공하고, 데이터 자산의 가치를 높입니다.
데이터 교환: 서로 다른 기관과 시스템 간에 데이터 또는 파일을 전송 및 공유하고 정보 자원 활용도를 높일 수 있습니다.
데이터 보안: 데이터 암호화, 탈민, 흐림, 계정 모니터링 등 다양한 데이터 보안 정책을 제공합니다. 을 누르고 데이터 사용 중 인증, 권한 부여, 액세스 및 감사와 같은 적절한 조치가 취해졌는지 확인합니다.
수명 주기: 데이터의 수명 주기를 관리하고, 데이터의 자동 아카이빙 및 폐기를 설정하며, 데이터의 수명 주기를 종합적으로 모니터링합니다.