빅 데이터 시대의 구체적인 발전 과정은 다음과 같습니다.
Hadoop 프로젝트는 2005 년에 탄생했다. Hadoop 은 원래 Yahoo 가 웹 검색 문제를 해결하기 위해 사용한 프로젝트였으며, 나중에 Apache Software Foundation 에 도입되어 효율성이 높기 때문에 오픈 소스 앱이 되었습니다.
Hadoop 자체는 하나의 제품이 아니라 여러 소프트웨어 제품으로 구성된 생태계로, * * * 포괄적인 기능과 유연한 대용량 데이터 분석을 제공합니다. 기술적으로 Hadoop 은 HDFS (Hadoop 분산 파일 시스템) 를 사용하는 신뢰할 수 있는 데이터 스토리지 서비스와 MapReduce 기술을 사용하는 고성능 병렬 데이터 처리 서비스의 두 가지 핵심 서비스로 구성됩니다. 이 두 서비스의 공통 목표는 정형 및 복잡한 데이터의 빠르고 안정적인 분석을 위한 기반을 제공하는 것입니다.
2008 년 말,' 빅 데이터' 는 미국의 일부 유명 컴퓨터 과학 연구자들의 인정을 받았다. 업계는 컴퓨팅 커뮤니티 컨소시엄 (Computing Community Consortium) 을 조직하고 영향력 있는 백서' 빅 데이터 컴퓨팅: 비즈니스, 과학 및 사회 분야에서 혁신적인 혁신 창출' 을 발표했습니다. 그것은 사람들의 생각을 데이터 처리 기계에 국한하지 않게 하고, 큰 데이터를 제시하는 것이 정말 중요한 것은 새로운 용도와 새로운 견해이지, 데이터 자체가 아니다. 이 기구는 최초로 빅 데이터 개념을 제시한 기관이라고 할 수 있다.
2009 년 인도 정부는 ID 관리를 위한 바이오메트릭 데이터베이스를 구축했고, 유엔 글로벌 맥박 프로젝트 (Global Pulse Project) 는 휴대폰과 소셜네트워크서비스 (SNS) 의 데이터 소스를 이용해 나선가격에서 질병 폭발까지 분석하고 예측하는 방법을 연구했다. 같은 해 미국 정부는 다양한 정부 데이터를 대중에게 제공하는 http://Data.gov 사이트를 출시하여 데이터 문을 더 열었습니다. 이 사이트에는 일부 사이트와 스마트폰 어플리케이션이 항공편에서 제품까지 특정 지역의 실업률로 리콜되는 정보를 추적할 수 있도록 44,500 개 이상의 데이터 세트가 있습니다. 이 행동은 케냐에서 영국까지 각국 정부가 잇달아 비슷한 조치를 내놓도록 격려했다.
2009 년에 유럽의 몇몇 선도적인 연구 도서관과 과학 정보 연구 기관들은 인터넷에서 과학 데이터를 쉽게 얻을 수 있도록 파트너십을 맺었다.
20 10 2 월 케네스? 쿠키는' 이코노미스트' 에 14 페이지의 빅 데이터 보고서' 데이터, 유비쿼터스 데이터' 를 발표했다. 쿡은 보고서에서 "세상에는 상상할 수 없는 디지털 정보량이 존재하고 있으며 매우 빠른 속도로 성장하고 있다" 고 언급했다. 경제계에서 과학계, 정부 부처에서 예술 분야에 이르기까지 이런 방대한 정보의 영향을 여러 방면에서 이미 느끼고 있다. 과학자와 컴퓨터 엔지니어들은 이런 현상을 위해' 빅 데이터' 라는 새로운 단어를 만들었다. 따라서 커커는 빅 데이터 시대의 추세를 가장 먼저 본 데이터 과학자 중 한 명이 되었습니다.
20 1 1 년 2 월, IBM 의 왓슨 수퍼컴퓨터는 초당 4TB (약 2 억 페이지) 의 데이터를 스캔하여 미국의 유명 문답텔레비전 프로그램' Jeopardy' 에서 두 명의 인간 선수를 물리치고 우승을 차지했다. 나중에 뉴욕타임즈는 이 순간을' 빅 데이터 컴퓨팅의 승리' 로 보았다. 같은 해 5 월 맥킨지 & amp；; Company) Kensi Global Institute (MGI) 는 "빅 데이터: 혁신, 경쟁 및 생산성의 다음 새로운 분야" 라는 보고서를 발표하면서 빅 데이터가 주목받기 시작했습니다. 전문 기관이 빅 데이터에 대한 전방위적인 소개와 전망을 한 것은 이번이 처음이다. 보고서에 따르면 빅 데이터는 오늘날 모든 산업 및 비즈니스 기능 분야에 침투하여 중요한 생산 요소가 되고 있습니다. 대량의 데이터에 대한 발굴과 응용은 새로운 생산성 증가와 소비자 잉여의 도래를 예고하고 있다. 보고서는 또한' 빅 데이터' 가 데이터 생산과 수집의 능력과 속도가 크게 향상되면서 점점 더 많은 사람, 장치, 센서가 디지털 네트워크를 통해 연결됨에 따라 데이터 생성, 전송, 공유 및 액세스 능력도 완전히 바뀌었다고 언급했다.
2011/KLOC-0
20 12 12 스위스 다보스에서 열린 세계경제포럼에서 빅데이터는 주제 중 하나이다. 회의에서 발표된' 대데이터, 대영향' 보고서는 데이터가 화폐나 금처럼 새로운 경제자산 범주가 되었다고 밝혔다.
20 12 년 3 월, 미국 오바마 정부는 백악관 홈페이지에' 빅 데이터 연구 및 개발 이니셔티브' 를 발표했는데, 이는 빅 데이터가 시대의 중요한 특징이 되었다는 것을 상징한다. 20 12 년 3 월 22 일 오바마 정부는 빅 데이터 분야에 2 억 달러를 투자한다고 발표했다. 이는 빅 데이터 기술이 상업행동에서 국가 과학기술 전략의 분수령으로 부상한 것이다. 다음날 전화 회의에서 정부는 데이터를' 미래의 새로운 석유' 로 정의했고, 빅 데이터 기술 분야의 경쟁은 국가 안보와 미래에 관한 것이다. 그는 또한 국가 차원의 경쟁력이 한 국가가 소유한 데이터의 규모, 활동, 해석 및 적용 능력에 부분적으로 반영될 것이라고 밝혔다. 국가 디지털 주권은 데이터의 소유와 통제를 반영한다. 디지털 주권은 변방, 해방, 공방에 이어 또 다른 대국의 게임 공간이 될 것이다.
20 12 년 4 월, 미국 소프트웨어 회사인 Splunk 는 19 년 6 월 나스닥에 성공적으로 상장되어 최초의 대형 데이터 처리 회사가 되었습니다. 미국 경제가 계속 부진하면서 주식시장이 계속 진동하는 배경을 감안할 때, 스플랑크의 첫날의 뛰어난 거래 성과는 특히 대단했고, 첫날 상승폭은 두 배 이상이었다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 스포츠명언) Splunk 는 2003 년에 설립된 대규모 데이터 모니터링 및 분석 서비스를 제공하는 최고의 소프트웨어 공급업체입니다. Splunk 의 성공적인 출시로 자본 시장의 빅 데이터에 대한 관심이 높아지고 IT 공급업체가 빅 데이터 레이아웃을 가속화할 수 있게 되었습니다. 20 12 년 7 월, 유엔은 뉴욕에서 빅데이터 정무백서를 발표하여 각국 정부가 어떻게 빅데이터를 이용하여 국민을 더 잘 서비스하고 보호할 수 있는지를 요약했다. 이 백서는 데이터 생태계에서 개인, 공공 및 민간 부문의 역할, 동기 및 요구 사항을 설명합니다. 예를 들어, 개인이 가격에 대한 관심과 더 나은 서비스에 대한 열망을 통해 데이터와 크라우드 소싱 정보를 제공하고 개인 정보 및 탈퇴권을 요구합니다. 서비스를 개선하고 복지를 높이기 위해 공공부문은 통계, 설비 정보, 건강지표, 세금, 소비정보 등을 제공한다. , 그리고 프라이버시와 인출권을 요구한다. 민간 부문은 고객 인식 및 예측 추세를 높이기 위해 요약 데이터, 소비 및 사용 정보를 제공하고 민감한 데이터의 소유권 및 비즈니스 모델에 더 많은 관심을 기울이고 있습니다. 백서에 따르면, 사람들은 이제 오래된 데이터와 새로운 데이터 등 대량의 데이터 자원을 활용하여 사회 인구에 대한 전례 없는 실시간 분석을 할 수 있습니다. 유엔은 아일랜드와 미국 소셜네트워크서비스 (SNS) 활동의 증가를 실업률 상승의 초기 조짐으로 꼽았다. 정부가 보유한 데이터 자원을 합리적으로 분석할 수 있다면' 수치와 동기화' 하고 신속하게 대응할 수 있을 것이라는 것이다. 지난 7 월 알리바바 그룹은 큰 데이터 가치를 발굴하기 위해 경영진에' 최고 데이터 책임자' 직위를 설립하고' 데이터 공유 플랫폼' 전략을 전면적으로 추진하고 대형 데이터 공유 플랫폼인' 폴리석탑' 을 내놓으며 티몰, 타오바오 플랫폼의 전기상, 전기업체에 데이터 클라우드 서비스를 제공했다. 이후 알리바바 이사회 의장은 마윈 20 12 인터넷 상대회에서 20 13 1 부터 플랫폼, 금융, 데이터 3 대 업무를 변화시키고 개조할 것이라고 발표했다. 마윈 강조: "만약 우리가 데이터 예측 플랫폼을 가지고 있다면, 기업에 GPS 와 레이더를 설치하는 것과 같다면, 당신은 바다로 나갈 자신이 더 있을 것입니다." 이에 따라 알리바바 그룹은 방대한 양의 데이터를 공유하고 발굴함으로써 국가와 중소기업에 가치를 제공하기를 희망하고 있다. 국내 기업이 빅 데이터를 기업 관리 수준으로 끌어올리는 첫 번째 중대 이정표다. 알리바바바 역시 데이터를 통해 기업 데이터화 운영을 제안한 최초의 기업이다.
20 14 년 4 월 세계경제포럼은' 빅데이터의 수익과 위험' 이라는 제목의 글로벌 정보기술 보고서 (13 판) 를 발표했다. 이 보고서에 따르면 다양한 정보와 통신 기술의 정책은 앞으로 몇 년 안에 더욱 중요해질 것이다. 다음으로, 우리는 데이터 기밀 유지 및 네트워크 제어 등의 문제를 적극적으로 논의할 것이다. 글로벌 빅 데이터 산업이 활발해지고 기술 진화와 응용 혁신이 가속화됨에 따라 각국 정부는 경제 발전 촉진, 공공 서비스 개선, 인민 복지 증진, 국가 안보 유지에 큰 데이터의 중요성을 점차 인식하고 있다. 5 월 백악관은 20 14 년 글로벌' 빅 데이터' 백서에 대한 연구 보고서인' 빅 데이터: 기회 포착, 가치 보호' 를 발표했다. 보고서는 특히 시장과 기존 제도가 이러한 진보를 지원하지 않는 다른 측면에서 데이터를 활용하여 사회적 진보를 촉진하도록 장려합니다. 동시에 미국인의 개인 정보 보호, 공정성 보장 또는 차별 방지에 대한 확고한 신념을 보호하기 위해서는 적절한 틀, 구조 및 연구가 필요합니다. 20 14 년,' 빅 데이터' 가 그해 정부 업무 보고서에 처음 등장했다. 보고서는 신흥 산업을 위한 혁신 플랫폼을 구축하고, 빅 데이터 등에서 선진을 따라잡고, 미래 산업 발전을 이끌어야 한다고 지적했다. "빅 데이터" 는 즉시 중국의 핫 단어가 되었다.
20 15 년, 국무부는' 대데이터 발전 추진 행동 방안' 을 공식 발행했다. "방안" 은 앞으로 5 년에서 10 년까지의 정밀 거버넌스, 다방면 협력의 새로운 사회 거버넌스 모델 구축, 경제적이고 안전하고 효율적인 운영을 위한 새로운 메커니즘 구축, 사람 중심의 민생 서비스 시스템 구축, 공개 혁신 대중창업, 만중혁신 등을 분명히 제시했다. 이 국가 전략에서 빅데이터가 본격적으로 부상하고 있음을 상징한다.
20 16 년, 빅데이터' 13차 5개년 계획' 계획이 발표될 예정이며, 계획은 이미 전문가 상담을 거쳐 집중적으로 수정을 논의한다. 계획에는 산업 R&D, 제조업, 산업 체인의 모든 부분에서 큰 데이터의 응용을 촉진하는 내용이 포함됩니다. 서비스업이 큰 데이터를 이용하여 브랜드, 정밀 마케팅 및 맞춤형 서비스를 만들 수 있도록 지원합니다.
대용량 데이터 기술:
1.Hadoop
해돔은 2005 년에 태어났습니다. 그것은 원래 야후가 인터넷 검색 문제를 해결하기 위해 사용했던 프로젝트였다. 이후 효율이 높아 아파치 소프트웨어 재단에 도입되어 오픈 소스 앱이 되었다. Hadoop 자체는 하나의 제품이 아니라 여러 소프트웨어 제품으로 구성된 생태계로, * * * 포괄적인 기능과 유연한 대용량 데이터 분석을 제공합니다. 기술적으로 Hadoop 은 HDFS (Hadoop 분산 파일 시스템) 를 사용하는 신뢰할 수 있는 데이터 스토리지 서비스와 MapReduce 기술을 사용하는 고성능 병렬 데이터 처리 서비스의 두 가지 핵심 서비스로 구성됩니다.
2. 비축
Hive 는 HDFS 에 저장된 데이터를 분석하고 관리하는 Hadoop 파일 시스템 기반 데이터 웨어하우스 스키마입니다. 페이스북에서 매일 생성되는 대량의 신흥 소셜 네트워크 데이터의 관리 및 기계 학습 요구를 충족하기 위해 개발되었다. 그 후, 다른 회사들은 인터넷 비행이나 아마존과 같은 Apache Hive 를 사용하고 개발하기 시작했다.
3. 폭풍:
Storm 은 주로 Clojure 프로그래밍 언어로 작성된 분산 컴퓨팅 프레임워크입니다. 이 마케팅 정보업체는 원래 Nathan Marz 와 그의 팀이 BackType 에서 창립하여 20 1 1 년 Twitter 에 인수되었다. 이후 트위터는 이 프로젝트를 오픈소스로 GitHub 플랫폼으로 밀었다. 마지막으로 Storm 은 아파치 인큐베이터 프로그램에 가입하여 20 14 년 9 월 아파치의 최상위 프로젝트 중 하나로 정식 자리잡았습니다.