데이터 구조를 지우려면 다음을 수행합니다.
각 데이터 계층에는 해당 범위가 있으므로 테이블을 보다 쉽게 찾고 이해할 수 있습니다.
편리한 데이터 혈연 추적:
-응? 간단히 말해서, 우리가 최종적으로 비즈니스에 제공하는 것은 직접 사용할 수 있는 업무 표이지만, 출처가 매우 많다. 소스 테이블에 문제가 발생하면 빠르고 정확하게 문제를 찾아 그 위험 범위를 알 수 있기를 바랍니다.
중복 개발 감소:
-응? 데이터 계층화를 표준화하고 일반적인 중간 계층 데이터를 개발하면 중복 계산을 크게 줄일 수 있습니다.
복잡한 문제 단순화:
복잡한 작업을 여러 단계로 나눕니다. 각 계층은 한 단계만 처리하고 이해하기 쉽습니다. 그리고 데이터의 정확성을 유지하기 쉽다. 데이터에 문제가 있을 경우 모든 데이터를 복구할 필요가 없습니다. 문제가 있는 단계부터 복구하기만 하면 됩니다.
원시 데이터의 예외 숨기기:
서비스의 영향을 마스킹하려면 서비스를 변경하지 않고 데이터에 다시 액세스해야 합니다.
데이터 계층화 각 기업은 비즈니스 요구 사항에 따라 서로 다른 계층으로 나눌 수 있지만, 계층화의 가장 기본적인 아이디어는 데이터 운영 계층, 데이터 웨어하우스 계층, 데이터 서비스 계층의 세 가지 계층으로 데이터를 나누는 것입니다. 이 기본 계층을 기반으로 다양한 비즈니스 요구 사항을 충족하기 위해 새로운 계층이 추가되었습니다.
데이터 운영 계층
운영 데이터 저장소는 데이터 소스의 데이터와 가장 가까운 계층입니다. 데이터 소스의 데이터는 추출, 청소, 전송, 즉 전설적인 ETL 을 거쳐 ODS 계층으로 로드됩니다. 이 계층의 데이터는 일반적으로 소스 비즈니스 시스템의 분류 방법에 따라 분류됩니다. 예를 들어 MySQL 의 테이블은 sqoop 에서 ODS 계층의 ODS 데이터 소스로 추출할 수 있습니다.
데이터 웨어하우스 계층
데이터 웨어하우스 (Data warehouse) ODS 계층에서 얻은 데이터는 주제별로 다양한 데이터 모델을 구축합니다. 예를 들어, 사람들의 여행 소비를 연구하는 데이터 세트에서 항공사의 탑승 여행 정보와 은련 시스템의 카드 기록을 결합하여 데이터 세트를 만들 수 있습니다. 여기서 우리는 네 가지 개념, 즉 차원, 사실, 색인, 세분성을 이해해야 한다.
데이터 서비스 계층/애플리케이션 계층 (ADS):
데이터 서비스를 적용합니다. 이 계층은 주로 데이터 제품 및 데이터 분석을 위한 데이터를 제공하는 데 사용됩니다. 일반적으로 ES, MySQL 등의 시스템에 저장되어 온라인 시스템에 사용되거나 Hive 또는 Druid 에 저장되어 데이터 분석 및 데이터 마이닝을 위해 사용될 수 있습니다. 예를 들어, 우리가 흔히 말하는 보고서 데이터나 크고 넓은 표는 일반적으로 여기에 있습니다.
ODS 데이터 준비 계층
기능:?
ODS 계층은 DWD 계층에 기본 원시 데이터를 제공하여 비즈니스 시스템에 미치는 영향을 줄일 수 있는 데이터 웨어하우스 준비 영역입니다.
모델링 방법 및 원리:?
비즈니스 시스템에서 증분 추출, 보존 시간은 비즈니스 요구 사항에 따라 결정되고, 주기는 테이블에 저장되고, 비즈니스 시스템 데이터 모델과 일치하며, 클리닝 변환이 필요하지 않으며, 주제별로 논리적으로 구분됩니다.
DWD 데이터 상세 수준
기능:
-응? DW 계층에 대한 자세한 소스 데이터를 제공하고, 비즈니스 시스템 상세 데이터의 장기 침전을 제공하며, 향후 분석 요구 사항의 확장을 위한 과거 데이터 지원을 제공합니다.
모델링 방법 및 원칙:
데이터 모델은 ODS 계층과 일치하므로 변환을 정리할 필요가 없습니다. 데이터 재생을 지원하기 위해 데이터 업무 날짜 필드를 늘리고, 연도, 월, 일별로 테이블을 나누고, 전날의 증분 ODS 레벨 데이터와 DWD 관련 테이블을 결합할 수 있습니다.
데이터 웨어하우스 (B/S) 데이터 요약 레벨
기능:?
DW 및 ST 계층에 대한 세밀한 데이터 제공, DWB 및 DWS； 로 드릴 다운 을 눌러 섹션을 인쇄할 수도 있습니다
DWB 는 DWD 상세 데이터에 따라 변환됩니다 (예: 차원 대 대리 키, ID 정리, 회원 등록 명확한 출처, 필드 병합, 빈 값 처리, 더러운 데이터 처리, IP 명확한 변환, 계정 잔액 정리, 자금 출처 정리 등). -응?
DWS 는 트랜잭션 소스 및 트랜잭션 유형과 같은 각 차원 ID 별로 수행되는 DWB 계층 데이터를 기반으로 한 세밀한 요약 및 집계입니다.
모델링 방법 및 원칙:
파생 사실을 늘리기 위해 수집하고 요약합니다.
다른 주제와 관련된 사실 테이블, DW 계층은 주제 도메인에 걸쳐 있을 수 있습니다.
DWB 는 낮은 세분성 요약 처리 데이터를 유지 관리하는 반면, DWS 는 높은 세분성 요약 데이터를 유지 관리합니다.
데이터 모델은 반샘플 설계, 통합 정보 등을 사용할 수 있습니다.
데이터 시장 계층
기능:
DW 도면층 데이터를 기준으로 다양한 차원 또는 차원의 조합에 따라 조회해야 하는 일부 사실 필드를 집계하여 별도의 열로 저장하는 넓은 테이블이 될 수 있습니다. -응?
특정 쿼리 및 데이터 마이닝 응용 프로그램을 충족합니다.
-응? 시장 데이터 저장소 적용
모델링 방법 및 원리:?
-응? 데이터 액세스 중 계산 최소화 (검색 최적화)
-응? 차원 모델링, 스타 모델;
-응? 하위 테이블 저장소
데이터 애플리케이션 계층 (광고 계층)
기능:
ST 레벨은 프런트 엔드 보고서, 분석 차트, KPI, 게이지, OLAP, 주제 등을 포함한 요구 사항을 사용자에게 적용하고 분석합니다. , 최종 사용자의 경우?
-응? OLAP 및 보고 모델 (예: r OLAP, MOLAP) 에 적용됩니다.
DW 계층의 거친 사실 테이블에 따라 통계를 요약 한 후.
모델링 방법 및 원리:?
이 기사에서는 주로 다중 창고 프로젝트가 계층화 된 이유를 설명합니다. 예를 들어, 하나의 요구 사항을 완성하기 위해 하나의 복잡한 SQL 문만 필요할 수 있습니다. 하지만 복잡한 SQL 문은 사후 유지 관리가 편리합니까? 문제가 있을 때 추적하기 편한가요? 이때 계층화의 이점이 드러납니다. 그건 그렇고, 알리의 창고 재고 모델이 어떤 것인지 말씀드리겠습니다. 자신을 믿어라, 노력과 땀은 언제나 보답이 있을 것이다. 저는 빅데이터 형입니다. 다음에 봐요 ~ ~ ~