1, 민첩한 데이터 마트
데이터 마트도 흔히 볼 수 있는 방안이다. 기본 데이터 제품은 분석 계층에 연결되므로 애플리케이션 계층은 기본 데이터 제품의 데이터를 직접 끌 수 있습니다. 데이터 마트의 주요 장점은 비즈니스 데이터를 간단하고 신속하게 통합하고, 민첩한 모델링을 실현하며, 데이터 처리 속도를 크게 높인다는 것입니다.
2. 기존 데이터 웨어하우스
데이터 웨어하우스는 데이터를 통합하는 동시에 비즈니스 논리를 빗질하는 데 중점을 둡니다. 데이터 웨어하우스도 SAAS 처럼 큐브에 캡슐화되어 데이터의 읽기 성능을 향상시킬 수 있지만 데이터 웨어하우스의 역할은 회사의 비즈니스 문제를 해결하는 것입니다.
3.Hadoop 분산 시스템 아키텍처
물론 Hadoop 은 대규모 분산 시스템 아키텍처에서 여전히 대체할 수 없는 중요한 위치에 서 있습니다. 야후, 페이스북, 바이두, 타오바오 등 국내외 대기업들은 처음에는 Hadoop 을 기반으로 했다.
Hadoop 에는 데이터 분석뿐만 아니라 기계 학습, 데이터 마이닝, 실시간 시스템 등 Hadoop 을 기반으로 할 수 있는 대규모 생태계가 있습니다. 기업은 Hadoop 의 대용량 데이터 처리 능력, 신뢰성, 내결함성, 오픈 소스, 저렴한 비용으로 대규모 데이터 시스템 플랫폼을 구축하고 있습니다.
4.MPP (대규모 병렬 처리) 아키텍처
빅 데이터 시대 이후 기존의 메인프레임 컴퓨팅 모델은 더 이상 수요를 충족시킬 수 없었습니다. 분산 스토리지와 분산 컴퓨팅이 왕도였습니다. 모두들 Hadoop 에 대해 잘 알고 있다.
MapReduce 프레임워크와 MPP 계산 프레임워크는 모두 이러한 배경을 기반으로 합니다.
MPP 아키텍처의 대표 제품은 Greenplum 입니다. Greenplum 의 데이터베이스 엔진은 Postgresql 을 기반으로 Interconnnect 유물을 통해 동일한 클러스터 내의 여러 Postgresql 인스턴스에 대한 효율적인 공동 작업 및 병렬 컴퓨팅을 제공합니다.
빅 데이터 엔지니어의 데이터 플랫폼 구축 방안 내용은 이렇게 많다. 중국 사회가 발전함에 따라, 빅데이터의 응용이 점점 보편화되고 있으며, 미래의 전망은 헤아릴 수 없다. 이 업계에 종사하고자 하는 사람들이 합리적으로 선택할 수 있기를 바랍니다.