0 서문
컴퓨터 응용이 심화됨에 따라 컴퓨터에는 많은 양의 데이터가 저장되고, 정보의 저장, 관리, 이용 및 유지가 점점 더 중요해지고 있으며, 및 전통적인 데이터베이스 관리 시스템이 요구 사항을 충족하는 데 어려움을 겪고 있습니다. 대용량 데이터, 이기종 데이터 통합 및 데이터 액세스 응답 속도 문제를 해결하기 위해 데이터 웨어하우스 기술을 채택하여 최종 사용자가 필요한 의사 결정 정보를 처리할 수 있는 효과적인 방법을 제공합니다.
1 데이터 웨어하우스
데이터 웨어하우스는 관리자가 의사 결정을 내릴 수 있도록 지원하는 주제 지향적이고 통합적이며 비휘발성이며 시간에 따라 변하는 데이터 컬렉션입니다. 데이터 웨어하우스는 의사결정 지원 시스템 및 온라인 분석 애플리케이션을 위한 데이터 소스 역할을 하는 구조화된 데이터 환경입니다.
현재의 데이터 웨어하우스 개발에서는 데이터를 다양한 유형의 데이터베이스에 저장할 수 있습니다. 데이터 웨어하우스는 경영 의사결정을 지원하기 위해 단일 사이트에 통합된 모델로 구성된 이기종 데이터 소스를 저장하는 것입니다. 데이터 웨어하우스 기술에는 데이터 정리, 데이터 통합, 온라인 분석 처리(OLAP) 및 데이터 마이닝(DM)이 포함됩니다. OLAP은 의사 결정자가 의사 결정 주제와 관련된 데이터에 대해 다각도 및 다단계 분석을 수행할 수 있도록 지원하는 다차원 쿼리 및 분석 도구입니다. OLAP은 상호작용성, 빠른 응답 속도, 데이터의 다차원적 뷰 제공에 중점을 두고 있는 반면, DM은 데이터에 숨겨진 패턴과 유용한 정보를 자동으로 발견하는 데 중점을 둡니다. OLAP의 분석 결과는 마이닝의 기반으로 DM에 분석 정보를 제공할 수 있으며, DM은 OLAP 분석의 깊이를 확장하고 OLAP이 발견할 수 없는 보다 복잡하고 상세한 정보를 발견할 수 있습니다. OLAP은 온라인 분석처리이고, DM은 데이터베이스와 데이터웨어하우스에 있는 데이터를 분석하여, 즉 조직의 데이터베이스에 숨겨진 패턴과 관계를 발견하는 모델을 구축하여 지식을 획득하는 방법이자 기술이다. 이 두 가지를 결합하면 데이터 정렬 및 정보 추출에 대한 기업의 요구 사항을 충족하고 기업 경영진이 의사 결정을 내리는 데 도움이 될 수 있습니다. 유럽과 미국 등 선진국에서는 데이터 웨어하우스를 기반으로 한 온라인 분석 처리 및 데이터 마이닝 애플리케이션이 금융, 보험, 증권, 통신 등 전통적인 데이터 집약적 산업에서 먼저 성공을 거두었습니다. IBM, Oracle, Teradata, Microsoft, Netezza 및 SAS와 같은 강력한 기업은 데이터 웨어하우스 솔루션을 연속적으로 출시했습니다.
최근에는 글로벌 논리 모델을 여러 물리적 위치에 적용하는 '분산 데이터 웨어하우스'가 인기를 끌고 있습니다. 데이터는 논리적으로 필드로 구분되지만 서로 다른 위치에 데이터가 중복되지는 않습니다. 이러한 분산 접근 방식은 다양한 물리적 데이터에 대한 보안 영역을 생성하거나 전 세계 다양한 시간대의 사용자에게 연중무휴 서비스를 제공할 수 있습니다. 또한, 코그니티오(Kognitio)에서 출시한 데이터 웨어하우스 호스팅 서비스가 있는데, 즉 DBMS 벤더들이 고객을 위해 데이터 웨어하우스를 개발하고 운영하는 것이다. 이는 기업 내 IT 부서에서 제공하는 데이터 웨어하우스를 사용하는 대신 호스팅 서비스를 구매하는 비즈니스 부서에서 처음 나타났습니다.
2 데이터 마이닝 기술
KDD(KnoWledge Discovery in Database)라고도 알려진 데이터 마이닝은 대규모 데이터베이스나 데이터 웨어하우스에서 숨겨진 지식을 추출하는 패턴 프로세스를 의미합니다. 포괄적이고, 알려지지 않았으며, 사소하지 않으며 잠재적인 적용 가치가 있으며 궁극적으로 사용자가 이해할 수 있습니다. 데이터베이스 연구에서 응용 가치가 큰 새로운 분야로 특정 데이터 웨어하우스 분야에 인공지능, 기계학습, 수학적 통계, 신경망 등의 기술을 적용하는 것입니다. 데이터 마이닝의 핵심 모듈 기술은 수학적 통계, 인공 지능, 기계 학습을 포함하여 수십 년 동안 개발을 경험해 왔습니다. 기술적인 관점에서 볼 때, 데이터 마이닝은 대량의 불완전하고, 시끄럽고, 모호하고, 무작위적인 실제 지식 프로세스에서 숨겨진, 알려지지 않았지만 잠재적으로 유용한 정보와 정보를 추출하는 것입니다. 상용 애플리케이션의 관점에서 볼 때, 데이터 마이닝은 새로운 비즈니스 정보 처리 기술입니다. 그 주요 특징은 상용 데이터베이스에서 대량의 비즈니스 데이터를 추출, 변환, 분석 및 모델링하고 핵심 지식을 추출하여 비즈니스 의사 결정을 지원하는 것입니다. 만들기.
기술적인 관점에서 데이터 마이닝은 다음 측면에 적용될 수 있습니다.
(1) 연관 규칙 발견은 주어진 사물 집합에서 특정 조건을 충족하는 연관 규칙을 발견하는 것입니다. 간단합니다. 일반적으로 데이터에 숨겨진 관계를 찾아내고 비즈니스 주제에 대한 지침을 제공하는 것입니다.
(2) 시퀀스 패턴 분석은 연관 규칙 발견과 유사하지만 데이터 간의 관계를 분석하는 데 중점을 둡니다. 패턴은 시간순으로 정렬됩니다. 시퀀스 패턴 탐색은 시간 관련 트랜잭션 데이터베이스에서 사용자가 지정한 최소 지원 도메인 값을 만족하는 순서화된 모든 시퀀스를 탐색하는 것입니다.
(3) 분류 분석 및 클러스터 분석 분류 규칙 마이닝은 실제로 분류 모델을 기반으로 데이터 개체의 고유성을 발견하고 이를 여러 클래스로 나누는 프로세스입니다. 클러스터링 시간은 d차원 공간의 n개의 데이터 객체를 k개의 클래스로 나누어 한 클래스에 있는 데이터 객체 간의 유사성이 다른 클래스에 있는 데이터 객체의 유사도보다 높아지도록 하는 것입니다. 군집 분석은 범주 레이블이 없는 데이터 개체 그룹의 특성을 발견하고 범주의 특성을 요약할 수 있습니다.
(4) 자동 추세 예측, 데이터 마이닝은 대규모 데이터베이스에서 잠재적인 예측 정보를 자동으로 검색할 수 있습니다. 예측을 위해 데이터 마이닝을 사용하는 대표적인 예는 타겟 마케팅입니다. 데이터 마이닝 도구는 과거 이메일 캠페인의 대량 데이터를 사용하여 향후 이메일 캠페인에 응답할 가능성이 가장 높은 고객을 식별할 수 있습니다.
3 온라인 분석(OLAP) 처리 기술
온라인 분석(OLAP)은 의사 결정을 지원하는 데이터 웨어하우스 구현에 중요한 도구입니다. 온라인 데이터 액세스 및 분석을 위한 신속한 소프트웨어 기술. 분석가, 관리자 또는 경영진이 원시 데이터를 다양한 관점에서 변환하고, 사용자가 진정으로 이해할 수 있으며, 기업의 특성을 진정으로 반영하는 정보에 빠르고 일관되게 대화형으로 접근할 수 있도록 하여 다음과 같은 A등급의 소프트웨어 기술을 제공합니다. 데이터에 대한 더 깊은 이해(OLAP 위원회에서 정의한 대로) OLAP의 특징은 다음과 같습니다. ① 신속성: 시스템은 대부분의 사용자 분석 요구 사항에 5초 이내에 응답할 수 있어야 합니다. ② 분석성: 애플리케이션과 관련된 모든 논리적 분석 및 통계적 분석을 처리할 수 있어야 합니다. OLAP의 속성입니다. 시스템은 계층적 차원과 다중 계층적 차원에 대한 완전한 지원을 포함하여 데이터에 대한 다차원적 보기와 분석을 제공해야 합니다. ④ 정보 제공: 시스템은 적시에 정보를 얻을 수 있어야 하며 대량의 정보를 관리할 수 있어야 합니다.
OLAP의 데이터 구조는 다차원적이며 현재 다음과 같은 형태로 존재합니다. ①하이퍼큐브 구조(Hypercube)는 각 차원이 서로 수직인 3차원 이상의 개체를 설명하는 것을 말합니다. 데이터 측정은 차원의 교차점에서 발생하며 데이터 공간의 각 부분은 동일한 차원 속성을 갖습니다(축소되는 하이퍼큐브 구조. 이 구조는 데이터 밀도가 더 높고 데이터 차원이 적으며 분석 차원이 추가됨). ② 멀티큐브 구조(멀티큐브) ), 즉 하이퍼큐브 구조를 하위 큐브 구조로 변경하는 것입니다. 특정 애플리케이션에 대한 차원 분할은 유연성이 뛰어나고 데이터(특히 희소 데이터)의 분석 효율성을 향상시킵니다. 분석 방법에는 슬라이싱, 다이싱, 회전, 드릴링 등이 포함됩니다.
OLAP은 다차원 데이터의 빠른 분석 중 가장 널리 사용되는 FASMI라고도 하며 시장 및 판매 분석, 전자상거래 분석, 과거 데이터를 기반으로 한 마케팅, 예산 편성, 재무 보고 및 통합, 경영 보고, 수익성, 품질 분석 등
4 요약
데이터 마이닝과 데이터 웨어하우스의 온라인 분석 기술을 활용하여 구현한 의사결정 지원 시스템은 기존 보조 의사결정 시스템의 부족한 역량을 효과적으로 보완할 수 있는 방법입니다. 중요한 실무적 의미를 갖습니다.