ETL은 Extraction-Transformation-Loading의 약어로, 중국어 이름은 데이터 추출, 변환 및 로딩입니다.
일반적으로 비즈니스가 발전하고 확장됨에 따라 더 많은 생산 라인이 생산되고 더 많은 데이터가 생성됩니다. 수집 방법, 원본 데이터 형식, 데이터 볼륨, 저장 요구 사항 및 사용 시나리오. 이 데이터의 다른 측면에서는 큰 차이가 있습니다.
데이터 추출은 ODS 소스 데이터를 DW로 추출하는 것을 의미하며, 데이터를 가져와서 정리한 후 표시해야 합니다. 일반적으로 정리된 데이터는 mysql에 로딩해 각종 시스템에서 사용하거나, 태블로를 이용해 관련 담당자에게 직접 보여주기도 한다. 데이터 웨어하우스에는 메타데이터 관리 시스템이 필요하며, 관련 담당자는 이를 정기적으로 유지 관리해야 합니다. 데이터 웨어하우스의 메타데이터와 변경 사항이 동기화되지 않으면 메타데이터 시스템은 무용지물이 됩니다.
확장 정보
ETL에서 설명하는 프로세스에는 일반적으로 ETL 또는 ELT가 포함되며 조합하여 사용됩니다. 일반적으로 데이터 양이 많을수록, 변환 논리가 더 복잡해지고, 컴퓨팅 성능이 강력한 대상 데이터베이스일수록 대상 데이터베이스의 병렬 처리 기능을 활용하기 위해 ELT를 사용할 가능성이 높아집니다. 기업 내 흩어져 있고 지저분하며 비표준적인 데이터를 통합하여 기업의 의사결정을 위한 분석적 기반을 제공하는 것이 목적입니다. 비즈니스 인텔리전스 프로젝트에서 중요한 연결고리입니다.
참고: 바이두백과사전-ETL