첫째, 주제의 출처:
이 제목은 저자가 학습과 실천에서 알게 된 두 가지 사실에서 유래한 것으로, 자제 제목에 속한다.
첫째, 필자 20 1 1 년 7 월 XX 에서 조사한 결과, 각 업계가 데이터 급증, 업무 처리 속도 저하, 데이터 유지 관리 어려움 등의 문제에 직면해 있다는 사실을 알게 되었습니다. 이러한 과제를 해결하기 위해 많은 기업들이 빅 데이터 개발 전략을 시행하고 있습니다. 오늘날의 빅 데이터 개발 전략은 두 가지 범주로 요약 될 수 있습니다. 하나는 수직 확장입니다.
즉, 저장 용량이 크고 처리 능력이 뛰어난 장비를 사용하는 것은 비용이 많이 드는 것으로, 과거에는 많은 대기업들이 대용량 데이터를 이런 방식으로 처리하고 있었습니다. 하지만 2004 년 구글이 GFS, MapReduce, BigTable 의 기술 논문을 발표한 이후 클라우드 컴퓨팅이 부상하면서 2006 년 Apache Hadoop 프로젝트가 시작되었습니다.
2009 년 이후 클라우드 컴퓨팅과 빅 데이터가 발전함에 따라 Hadoop 은 우수한 데이터 분석 및 처리 솔루션으로 많은 IT 기업들의 관심을 받고 있습니다. 사람들은 세로로 확장되는 값비싼 비용보다 저렴한 컴퓨팅 자원을 통합하여 가로로 확장하는 것을 선호합니다. 그래서 많은 IT 회사들이 Hadoop 프레임워크를 탐색하여 대규모 데이터 환경을 구축하기 시작했습니다.
둘째, 필자는 20 13 년 4 월 XXX 실습 기간 동안 현재 대부분의 데이터 어플리케이션 환경에서 구조화되지 않은 데이터베이스 (예: 열 스토리지용 Hbase, 문서 스토리지용 MangoDB, 그래픽 데이터베이스용 Secondary) 를 사용하고 있다는 사실을 더 잘 알고 있습니다.
이러한 비정형 데이터베이스는 확장성, 높은 자원 활용도, 높은 동시성, 빠른 응답 속도 등의 특징으로 인해 대규모 데이터 애플리케이션 환경에서 널리 사용되고 있습니다. 하지만 이 앱은 프런트 엔드의 업무 처리만 해결한다. 큰 데이터를 활용하여 비즈니스 인텔리전스를 실현하기 위해서는 의사 결정 지원 시스템 및 온라인 분석 애플리케이션을 위한 데이터 환경인 데이터 웨어하우스가 필요합니다. 따라서 멘토는 저자에게 Hadoop 프레임워크를 기반으로 하는 데이터 웨어하우스 솔루션을 연구하는 이 과제를 작성하도록 안내합니다.
둘째, 연구의 목적과 의의:
오늘날, 데이터는 이미 각 업종에 침투하여 중요한 생산 요소가 되었다. 최근 몇 년 동안 역사 축적과 데이터 가속화로 모든 업종이 큰 데이터 문제에 직면해 있다. 사실 큰 데이터는 기회이자 도전이다. 대용량 데이터를 합리적으로 활용하여 대량, 고성장, 다양한 정보 자산으로 전환함으로써 기업은 의사 결정력, 통찰력 및 발견력, 프로세스 최적화력을 강화할 수 있습니다.
이에 따라 많은 IT 기업들이 빅 데이터를 중요한 발전 전략으로 삼고 있습니다. 예를 들어, 아마존과 페이스북은 이미 빅데이터 산업을 배치하고 놀라운 성과를 거두었습니다. 사실 구글, 이베이, 아마존 등 대형 인터넷 회사는 큰 데이터를 개발해야 할 뿐만 아니라 모든 규모의 기업이 큰 데이터로부터 우위를 점할 수 있는 기회를 갖게 되어 미래의 비즈니스 분석을 위한 기반을 마련하고 동료와의 경쟁에서 상당한 우위를 점할 수 있습니다.
대기업에 비해 중소기업의 빅 데이터 개발 전략은 다르다. 대기업은 풍부한 자금과 기술력에 의지하여 자신의 환경과 업무에서 출발하여 자신의 소프트웨어 플랫폼을 개발할 수 있다. 중소기업은 이런 기술력과 막대한 자본 투자가 없어 보편적이고 비교적 저렴한 솔루션을 선택하는 경향이 있다.
이 문서는 대규모 데이터 환경에서 데이터베이스의 특성을 분석하고 현재 널리 사용되고 있는 Hadoop 프레임워크와 결합하여 대규모 데이터 환경에 적합한 데이터 웨어하우스 솔루션을 제안하고 구현하기 위한 것입니다. 중소기업이 대규모 데이터 환경에서 데이터 웨어하우스 구축에 대한 참고 자료를 제공합니다. 구체적으로 다음과 같은 세 가지 의미를 갖습니다.
첫째, 현재 Oracle, SQL Server 와 같은 주요 데이터베이스에는 자체 데이터베이스 플랫폼에 해당하는 완벽한 데이터 웨어하우스 솔루션이 있습니다. MySQL 과 같은 다른 관계형 데이터베이스의 경우 데이터베이스 플랫폼에 해당하는 데이터 웨어하우스 솔루션은 없지만 많은 통합 데이터 웨어하우스 솔루션이 있습니다.
구조화되지 않은 데이터베이스의 경우 데이터 모델이 관계형 데이터베이스와 다르기 때문에 새로운 솔루션이 필요합니다. 이 문서에 제시된 Hive/Pentaho 기반 데이터 웨어하우스 구현 시나리오는 it 에 대한 참조를 제공할 수 있습니다.
둘째, 다중 소스 비정형 데이터베이스를 통합함으로써 대규모 데이터 플랫폼에서 온라인 트랜잭션 처리 및 의사 결정 지원을 제공하는 주제 중심의 통합 데이터 웨어하우스를 생성할 수 있으므로 데이터 자원을 효과적으로 활용하여 의사 결정을 관리할 수 있습니다.
다시 한 번, 큰 데이터는 큰 데이터 저장소, 큰 데이터 계산, 큰 데이터 분석 등 모든 수준의 기술적 세부 사항을 포함하는 광범위한 개념입니다. 이 논문에서 제안 된 "대규모 데이터 환경에서의 데이터웨어 하우스 솔루션 및 구현" 은 대규모 데이터 응용 기술의 생태 환경을 풍부하게하며 대규모 데이터 환경에서의 데이터 분석 및 데이터 마이닝을 지원합니다.
셋째, 국내외 연구 현황 및 발전 추세에 대한 간략한 설명:
이 문서의 주체는 기존의 관계형 데이터베이스 기반 데이터 웨어하우스와는 다른 데이터 웨어하우스입니다. 이 문서에서는 대규모 데이터 환경에서 구조화되지 않은 데이터베이스를 기반으로 하는 데이터 웨어하우스의 구축 및 구현을 주로 살펴봅니다. 따라서 대규모 데이터 환경의 데이터 웨어하우스와 데이터베이스 모두에서 설명할 필요가 있습니다.
(1) 국내외 데이터웨어 하우스 연구 현황:
빌 은문이 1990 에서' 데이터 웨어하우스' 라는 개념을 제시한 이후 데이터 웨어하우스 기술이 부상하면서 사회에 새로운 기회를 제공하고 점차 주요 기술 핫스팟이 되고 있다. 현재, 미국의 30 ~ 40% 의 회사가 이미 데이터 웨어하우스를 설립하거나 구축하고 있다. 오늘날, 데이터 모델 이론의 개선, 데이터베이스 기술, 응용 프로그램 개발 및 마이닝 기술의 지속적인 발전과 함께, 데이터 웨어하우스 기술은 지속적으로 개발 하 고 실제 응용 프로그램에서 큰 역할을 담당해 왔습니다.
데이터 웨어하우징, 온라인 분석 처리 및 데이터 마이닝 도구를 기반으로 한 의사 결정 지원 시스템이 성숙해지고 있습니다. 한편, 데이터 웨어하우스 사용의 큰 이점은 데이터 웨어하우스 기술에 대한 수요를 자극하고 데이터 웨어하우스 시장은 급속도로 성장하고 있습니다.
우리나라 기업 정보화의 시작은 비교적 늦었고, 데이터 창고 기술은 우리나라의 발전이 아직 경험을 쌓는 단계에 있다. 최근 몇 년 동안 국내 중대형 기업들은 데이터 웨어하우스 기술 사용의 중요성을 점차 인식하고 차이나 모바일, 중국 텔레콤, 중국 유니콤, 상하이 증권거래소, 중국 석유 등과 같은 자체 데이터 웨어하우스 시스템을 구축하기 시작했습니다.
그러나 전반적으로 중국의 데이터웨어 하우스 시장은 더 육성되어야하며 데이터웨어 하우스 기술은 여전히 외국과 큰 차이가 있습니다. 이를 위해 중국의 많은 과학기술자들은 데이터 창고 관련 기술에 대한 심도 있는 연구를 시작하여 외국 기술을 흡수하고 차용함으로써 국내 수요에 적합한 기술 솔루션을 제시하기 시작했다.
(2) 국내외 비 집계 데이터베이스 연구 현황:
데이터베이스 기술이 각 분야에 깊이 적용됨에 따라 구조화 데이터베이스는 점차 몇 가지 폐단을 드러내고 있다. 예를 들어, 생물학, 지리, 기후 등에서 연구에 직면한 데이터 구조는 전통적인 관계형 데이터 구조가 아닙니다. 관계형 데이터베이스를 사용하여 저장 및 표시하는 경우 자체 데이터 구조에서 관계형 데이터 구조로 강제 변환해야 합니다.
이렇게 구조화되지 않은 데이터를 처리하면 전체 라이프 사이클의 비관계형 데이터를 관리할 수 없으며 데이터 간의 관계도 완전히 표현할 수 없습니다. 이러한 맥락에서 비정형 데이터베이스가 등장했습니다. 구조화되지 않은 데이터베이스의 필드 길이는 관계형 데이터베이스에 비해 가변적이며 각 필드의 레코드는 반복 가능하거나 반복할 수 없는 하위 필드로 구성될 수 있습니다.
이렇게 하면 구조화된 데이터뿐만 아니라 텍스트, 이미지, 사운드, 비디오, 하이퍼미디어 등 구조화되지 않은 데이터도 처리할 수 있습니다. 최근 몇 년 동안, 큰 데이터의 부상으로, 구조화되지 않은 데이터베이스는 대용량 데이터 처리를 지원하는 다양한 정형 데이터에 널리 사용되고 있습니다.
현재 구조화되지 않은 데이터베이스는 메모리 데이터베이스, 열 스토리지 데이터베이스, 문서 데이터베이스, 그래픽 데이터베이스 등 다양합니다. 이 가운데 일반적인 메모리 데이터베이스는 SQLite, Redis, Altibase 등이다. 열 저장소 데이터베이스에는 Hbase, Bigtable 등이 포함됩니다. 문서 데이터베이스에는 MangoDB, CouchDB, RavenDB 등이 있습니다. 도면 데이터베이스에는 2 차 등이 포함됩니다.
최근 몇 년 동안 중국의 구조화되지 않은 데이터베이스도 어느 정도 발전해 왔으며, 그중 가장 대표적인 것은 국신베스의 iBASE 데이터베이스이다. 가까운 장래에 이런 큰 데이터가 적용됨에 따라 구조화되지 않은 데이터베이스는 크게 발전하고 광범위하게 응용될 것으로 예상된다.