빅데이터 기술 및 애플리케이션

빅데이터 기술과 응용

지난 반세기 동안 컴퓨터 기술이 사회생활에 완전히 접목되면서 정보의 폭발적인 증가가 변화를 촉발하기 시작한 수준까지 축적되었습니다. . 21세기는 데이터와 정보의 발달 시대로, 모바일 인터넷, 소셜 네트워크, 전자상거래 등으로 인해 인터넷의 경계와 활용 범위가 크게 확대되고 있다. 인터넷(소셜, 검색, 전자상거래), 모바일 인터넷(Weibo), 사물 인터넷(센서, 스마트 지구), 차량 인터넷, GPS, 의료 영상, 보안 모니터링, 금융(은행, 주식 시장, 보험), 통신 (전화, SMS)가 미친듯이 데이터를 생성하고 있습니다. 2011년 5월, "클라우드 컴퓨팅과 빅 데이터의 만남"이라는 주제로 열린 EMC World 2011 컨퍼런스에서 EMC는 빅 데이터라는 개념을 처음으로 소개했습니다. 2012년 2월 New York Times의 칼럼에 따르면, 비즈니스, 경제 등 다양한 분야에서 경험과 직관보다는 데이터와 분석을 기반으로 의사결정이 이루어지는 시대가 도래했습니다. 하버드 사회학 교수 게리? 진은 "이건 혁명이다. 방대한 데이터 자원 덕분에 다양한 분야에서 정량적인 과정이 시작될 수 있게 됐다. 학계, 기업, 정부 등 모든 분야에서 이 과정이 시작될 것"이라고 말했다.

2. What 빅데이터다

빅데이터(Big Data)는 기존 데이터베이스 시스템의 처리능력을 뛰어넘는 데이터를 말한다. 데이터 크기 및 전송 속도 요구 사항이 매우 높거나 해당 구조가 원래 데이터베이스 시스템에 적합하지 않습니다. 빅데이터에서 가치를 얻으려면 이를 처리하는 다른 방법을 선택해야 합니다. 과거에는 추출하는 데 상당한 시간과 비용이 들었을 데이터에는 귀중한 패턴과 정보가 숨겨져 있습니다. 월마트나 구글과 같은 선두 기업은 빅데이터에서 정보를 채굴하기 위해 높은 비용을 지불해야 합니다. 하드웨어, 클라우드 아키텍처, 오픈 소스 소프트웨어 등 오늘날의 다양한 리소스는 빅데이터 처리를 더욱 편리하고 저렴하게 만듭니다. 차고에서 시작하는 기업도 이제 더 저렴한 가격으로 클라우드 타임을 임대할 수 있습니다. 기업 조직의 경우 빅데이터의 가치는 분석 및 활용과 2차 개발이라는 두 가지 측면에 반영됩니다. 빅데이터를 분석하면 그 안에 숨겨진 정보가 드러날 수 있습니다. 예를 들어, 소매 업계에서는 매장 판매, 지리적, 사회적 정보를 분석하여 고객에 대한 이해를 높일 수 있습니다. 빅데이터의 2차 발전은 성공한 인터넷 기업의 특기다. 예를 들어, Facebook은 대량의 사용자 정보를 결합하여 고도로 개인화된 사용자 경험을 맞춤화하고 새로운 광고 모델을 만듭니다. 빅데이터를 통해 새로운 제품과 서비스를 창출하는 이러한 비즈니스 관행은 우연이 아닙니다. Google, Yahoo, Amazon, Facebook은 모두 빅데이터 시대의 혁신가입니다.

(1) 빅데이터의 4V 특성

볼륨: 기업은 데이터 볼륨의 대규모 증가에 직면해 있습니다. 예를 들어, IDC의 최근 보고서에서는 글로벌 데이터 양이 2020년까지 50배 증가할 것으로 예측합니다. 현재 빅 데이터의 크기는 수십 테라바이트에서 페타바이트에 이르는 단일 데이터 세트로 진화하는 측정 기준입니다. 간단히 말해서 1PB의 데이터를 저장하려면 50GB 하드 드라이브가 장착된 20,000대의 PC가 필요합니다. 또한, 예상치 못한 다양한 소스로부터 데이터가 생성될 수 있습니다.

다양성: 사람들의 인터넷 검색 사용이 데이터 다양성의 주요 원인이라는 것이 일반적인 견해이며, 이 견해는 부분적으로 맞습니다. 그러나 데이터 다양성의 증가는 주로 웹 로그, 소셜 미디어, 인터넷 검색, 휴대폰 통화 기록, 센서 네트워크 등 새로운 유형의 다중 구조 데이터 및 데이터 유형에 기인합니다. 이러한 센서 중 일부는 기차, 자동차, 비행기에 설치되어 각각 데이터의 다양성을 더해줍니다.

속도: 속도는 데이터가 생성되고 이동되는 속도를 나타냅니다. 고속 네트워크 시대에는 소프트웨어 성능 최적화를 기반으로 고속 컴퓨터 프로세서와 서버를 통해 실시간 데이터 스트림을 생성하는 것이 대중화되었습니다. 기업은 데이터를 신속하게 생성하는 방법을 알아야 할 뿐만 아니라 실시간 요구 사항을 충족하기 위해 데이터를 신속하게 처리, 분석하고 사용자에게 반환하는 방법도 알아야 합니다. IMS 리서치가 데이터 생성 속도를 조사한 결과, 2020년까지 전 세계적으로 인터넷에 연결된 기기 수가 220억 대에 달할 것으로 예상됩니다.

Value(값): 관련 없는 정보가 많지만 소중합니다. 미래 트렌드와 패턴에 대한 예측 가능한 분석, 심층적이고 복잡한 분석(머신러닝, 인공지능 vs. 기존 비즈니스 인텔리전스(컨설팅, 리포팅 등))

3. 빅데이터 시대의 영향 삶과 일에 대한

빅 데이터는 경제적 영향 외에도 정치, 문화 등에 지대한 영향을 미칠 수 있습니다. 빅 데이터는 사람들이 "숫자" 관리 모델을 시작하는 데 도움이 될 수 있습니다. 현재 우리의 '빅 사회' '3대 기술, 7대 데이터, 데이터를 얻는 자가 세상을 이긴다'라는 집중적인 표현으로

'빅데이터'의 영향력이 커졌다. 사실 빅데이터의 영향력은 정보통신산업에만 국한된 것이 아니라, 데이터 분석 방식을 광범위하게 활용해 관리하고 구조조정하는 기업들이다. 최적화 운영은 본질적으로 맥도날드, KFC, 애플의 플래그십 스토어 등 데이터 분석을 기반으로 한 정확한 위치 선정을 기반으로 하는 데이터 기업이다. -마트는 데이터 마이닝을 통해 공급망을 재구성하고 최적화하며, 신흥 기업은 데이터 마이닝을 사용하여 공급망을 재구성하고 최적화합니다. Joyo, Taobao 등 전자상거래 기업은 대규모 마스터링 및 분석을 통해 사용자에게 보다 전문적이고 개인화된 서비스를 제공합니다.

개인 정보 보호 측면에서 빅 데이터에는 많은 양의 데이터가 포함되는 경우가 많습니다. 데이터는 이 문제를 심각하게 받아들여야 합니다. 예를 들어, 가장 인상적인 것 중 하나는 Tian Rui Information입니다. 과학자들은 우리가 법적 개인 정보 보호 문제를 단순히 준수해서는 안 된다고 제안합니다.

IV. 빅데이터 시대의 발전 방향과 동향

ESM 국제전자상거래정보조사에 따르면, 현황과 동향은 다음과 같다. 2013년 빅데이터 애플리케이션 중 응답자들이 가장 우려하는 빅데이터 기술은 빅데이터 분석(12.91%), 클라우드 데이터베이스(11.82%), 하둡(11.73%), 인메모리 순이었다. 데이터베이스(11.64%)와 데이터 보안(9.21%)은 더 이상 사람들의 마음속에 있는 유일한 큰 기술이 아니며, 빅데이터 분석은 빅데이터에 대한 사람들의 이해가 높아졌다는 것을 알 수 있습니다. 빅데이터 분석이 가장 관심을 끄는 기술 동향인데, 아래 그림에서 볼 수 있듯이 가장 중요한 것은 빅데이터 분석입니다. 세 가지 기능은 실시간 분석(21.32%), 풍부한 마이닝 모델(17.97%), 시각적 인터페이스(15.91%)입니다. 실시간 분석(19.88%) 불과 1년 만에 기업 내 실시간 분석에 대한 수요가 급증하면서 실시간 분석을 혁신적인 기술로 활용하는 빅데이터 벤더가 많이 생겨났습니다. 설문조사 결과를 보면 기업은 향후 1~2년 내에 빅데이터를 구축해야 하는 긴급한 필요성이 있으며, 초기 인프라 구축은 점차 빅데이터 분석 및 전반적인 빅데이터 솔루션에 대한 필요성으로 발전했다는 것을 알 수 있습니다. 동시에, 빅데이터는 인재 부족 문제에 직면해 있습니다. 기업과 대학은 기업이 이러한 '데이터 전쟁'에서 승리할 수 있도록 데이터 분야의 복합 인재를 육성하기 위해 힘을 합쳐야 합니다.

5. 빅데이터 활용

(1) 산업 확장자, 빅데이터 산업의 초석 구축

IBM: IBM 빅데이터가 제공하는 서비스 데이터 분석, 텍스트 분석, Blue Spruce(매시업 기반 협업을 위한 네트워크 플랫폼)가 포함됩니다. IBM Mashup Center의 측정, 모니터링 및 상용화 서비스(MMMS). IBM 빅 데이터 포트폴리오의 최신 제품군인 InfoSphere bigInsights는 Apache Hadoop을 기반으로 합니다.

제품 포트폴리오에는 빅 데이터 분석을 시작하기 위한 패키지형 Apache Hadoop 소프트웨어 및 서비스(코드명 bigInsights Core)가 포함됩니다.

빅시트(bigsheet)라고 불리는 이 소프트웨어의 목적은 금융, 위험 관리, 미디어 및 엔터테인먼트 및 기타 산업에 맞는 산업 솔루션입니다.

Microsoft: 2011년 1월 HP(구체적으로 HP 데이터베이스 통합 애플리케이션 사업부)와 협력하여 생산성을 향상하고 의사 결정 속도를 높일 수 있는 일련의 장치를 개발했습니다.

EMC: EMC는 뉴욕 증권 거래소와 Nasdaq을 인수했습니다. EMC의 빅 데이터 솔루션에는 40개 이상의 제품이 포함되어 있습니다.

Oracle: Oracle Big Data Appliance는 Oracle Exalogic Middleware Cloud Server, Oracle Exadata Database Machine Cloud Server 및 Oracle Exalytics Business Intelligence Cloud Server와 함께 Oracle의 가장 광범위하고 고도로 통합된 시스템 제품 포트폴리오를 구성합니다.

(2) 빅 데이터는 정부 기능의 변화를 촉진합니다

빅 데이터 기술 적용에 주목하고 다양한 장소에서 클라우드 컴퓨팅 센터의 자산을 활성화합니다. Achievement 프로젝트의 대규모 투자 산업 단지와 사물 인터넷 산업 단지는 보안 분야의 스마트 프로젝트로 전환되고, 빅 데이터 기술을 적용하여 민생 분야의 비상 대응 능력과 안전 예방 능력을 향상시킵니다. 기술은 의료, 보건, 교육 및 기타 부서와 같은 개인화된 서비스뿐만 아니라 서비스 역량 및 운영 효율성을 향상시키기 위해 적용되어 금융, 통신 등 분야의 데이터 분석 문제를 해결합니다. 그러나 저장 용량 및 컴퓨팅 파워의 한계로 인해 거래 데이터의 통계 분석에 국한됩니다. 한편, 빅데이터의 적용은 정부 기능의 변화를 촉진하는 한편, 정부 투자는 실증 효과를 창출하고 빅데이터 발전을 크게 촉진할 것입니다.

(3) '스마트시티' 구축

미국 오바마 행정부는 백악관 홈페이지에 '빅데이터 연구개발 이니셔티브'를 공개하고 '빅데이터 수집'을 제안했다. 크고 복잡한 데이터 정보를 처리하고, 지식과 통찰력을 얻고, 역량을 향상시키며, 과학 및 공학 분야의 혁신 속도를 가속화하고, 미국 국토 안보를 강화하고, 교육 및 학습 모델을 변화시킵니다." Wu Hequan, 중국 학자 공학원(Academy of Engineering)은 "스마트 시티는 지능형 컴퓨팅 기술을 사용하여 도시를 만들기 위한 핵심 기반입니다. 시설의 구성과 서비스는 더욱 지능적이고 상호 연결되며 효과적입니다. 스마트 시티 건설로 사회는 '빅 데이터'에 진입하게 될 것입니다." ”

(4) 미래는 모든 것을 변화시킬 것입니다.