빅 데이터의 개념과 의미
"빅 데이터" 라는 개념은 이미 존재합니다. 1980 유명한 미래학자 앨빈? 토플러는' 제 3 의 물결' 이라는 책에서 빅데이터를' 제 3 의 파도의 화채악장' 이라고 열정적으로 칭찬했다. 하지만 최근 몇 년 사이에' 빅 데이터' 는' 클라우드 컴퓨팅',' 사물인터넷' 과 함께 인터넷 정보기술 업계의 인기 있는 단어가 되었다. 2008 년 구글 설립 10 주년을 맞아 유명한' 네이처' 잡지는 향후 빅 데이터 처리와 관련된 일련의 기술적 문제와 과제에 대해 특집호를 발간해' 빅 데이터' 라는 개념을 제시했다. 20 1 1 년 5 월, EMC World 20 1 1 컨퍼런스에서 EMC 도 그래서 많은 사람들은 20 1 1 이 큰 데이터 원년이라고 생각합니다.
이후 많은 전문가와 기관들이 큰 데이터에 대한 이해를 다른 각도에서 제시했다. 물론 빅 데이터 자체는 추상성이 강하기 때문에 국제적으로 통일적으로 공인된 정의는 없다. 위키피디아에 따르면 빅데이터는 기존 데이터베이스 시스템이나 데이터베이스 관리 도구의 처리 능력, 처리 시간이 고객이 용인할 수 있는 시간을 초과하는 대규모의 복잡한 데이터 세트입니다. 세계 1 위의 엔터프라이즈 데이터 통합 소프트웨어 업체인 Informatica 는 대용량 데이터와 복잡한 데이터 유형을 포함한 대규모 데이터가 기존 데이터베이스 시스템의 관리 및 처리 능력을 능가한다고 주장합니다. 아마존 네트워크 서비스 (AWS) 와 빅 데이터 과학자 JohnRauser 는 간단한 정의를 언급했습니다. 빅 데이터는 컴퓨터 처리 능력을 초과하는 방대한 데이터입니다. 바이두 검색은 "큰 데이터" 는 기존 데이터베이스 도구로 캡처, 관리 및 처리할 수 없는 매우 크고 데이터 범주가 큰 데이터 세트입니다. 인터넷 주간지는' 빅 데이터' 라는 개념이 대량의 데이터 (TB) 와 대량의 데이터를 처리하는 기술, 이른바' 4 개의 V' 와 같은 간단한 개념보다 사람들이 대규모 데이터를 바탕으로 할 수 있는 일, 소규모 데이터를 기반으로 할 수 없는 일을 포괄하는 것으로 정의된다. 즉, 빅데이터는 전례 없는 방식으로 방대한 데이터를 분석하여 가치 있는 제품과 서비스 또는 심오한 통찰력을 얻어 결국 변화의 힘을 형성할 수 있게 해 줍니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성공명언)
위의 다른 정의에 따르면 큰 데이터에는 최소한 두 가지 측면이 포함되어야 한다고 생각합니다. 하나는 크고 다른 하나는 기존 도구로 처리할 수 없습니다. 따라서 큰 데이터는 어떻게 정의하느냐가 아니라, 가장 중요한 것은 어떻게 사용하는가이다. 그것은 데이터의 규모를 강조할 뿐만 아니라 대량의 데이터로부터 귀중한 정보와 지식을 신속하게 얻을 수 있는 능력을 강조한다.
큰 데이터의 4V 특성
일반적으로 큰 데이터에는 "4V" 라고 불리는 양, 변수, 속도, 값의 네 가지 일반적인 특징이 있습니다.
1. 규모. 대용량 데이터의 특징은 먼저 과거 GB, TB 에서 PB, EB 에 이르는 "대용량" 에 반영됩니다. 정보기술이 급속히 발전하면서 데이터가 폭발적으로 증가하기 시작했다. 소셜네트워크 (웨이보, 트위터, 페이스북), 모바일 네트워크, 각종 스마트 단말기 등. 데이터의 원천이 되었습니다. 타오바오는 거의 4 억 명의 회원이 약 20TB 의 일일 상품 거래 데이터를 생성합니다. 페이스북은 약 6543 억 8 천만 명의 사용자가 하루에 300TB 이상의 로그 데이터를 생성합니다. 지능형 알고리즘, 강력한 데이터 처리 플랫폼 및 새로운 데이터 처리 기술이 절실히 필요합니다.
2. 다양성. 광범위한 데이터 소스가 빅 데이터 형식의 다양성을 결정합니다. 빅 데이터는 크게 세 가지 범주로 나눌 수 있습니다. 하나는 금융 시스템 데이터, 정보 관리 시스템 데이터, 의료 시스템 데이터 등과 같은 구조화된 데이터입니다. , 데이터 간의 인과 관계가 강한 것이 특징이다. 둘째, 비디오, 사진, 오디오 등과 같은 구조화되지 않은 데이터입니다. , 데이터 사이에 인과 관계가 없다는 것이 특징입니다. 셋째, HTML 문서, 메일, 웹 페이지 등과 같은 반정형 데이터입니다. , 데이터 간의 인과 관계가 약하다는 것이 특징입니다.
3. 고속. 아카이브, 방송, 신문 등 전통적인 데이터 전달체와는 달리, 대용량 데이터의 교환과 전파는 인터넷과 클라우드 컴퓨팅을 통해 이루어지며, 기존 미디어의 정보 교환 및 전파보다 훨씬 빠릅니다. 큰 데이터와 대량 데이터의 중요한 차이점은 큰 데이터의 데이터 크기가 더 크다는 것 외에도 큰 데이터의 처리 속도에 대한 응답 속도가 더 엄격하다는 것입니다. 배치 분석 대신 실시간 분석을 통해 데이터 입력, 처리, 폐기가 즉각적이며 지연이 거의 없습니다. 데이터의 증가 속도와 처리 속도는 빅데이터 고속의 중요한 구현이다.
4. 가치. 이것은 또한 빅데이터의 핵심 특징이다. 현실 세계에서 생성되는 데이터 중 가치 있는 데이터의 비율은 매우 작다. 기존의 작은 데이터와 비교해, 큰 데이터의 가장 큰 가치는 기계 학습 방법, 인공 지능 방법, 또는 데이터 마이닝 방법의 심층 분석을 통해, 관련 없는 데이터의 큰 숫자에서 귀중 한 데이터를 발굴 하는 것입니다, 새로운 규칙과 새로운 지식을 발견 하 고 농업, 금융, 의료 및 기타 분야에 적용, 결국 사회 지배 구조 개선, 생산성 향상, 과학 연구 촉진
빅 데이터의 6 가지 주요 개발 동향
빅 데이터는 아직 개발의 초기 단계에 있지만, 여전히 많은 어려움과 도전이 있지만, 우리는 시간이 지남에 따라 빅 데이터의 미래 발전 전망이 매우 인상적이라고 믿습니다.
1. 데이터는 기하급수적으로 증가할 것입니다.
최근 몇 년 동안 소셜 네트워킹, 모바일 인터넷, 전자 상거래, 인터넷 및 클라우드 컴퓨팅이 부상하면서 오디오, 비디오, 이미지, 로그 등의 데이터가 기하급수적으로 증가했습니다. 관련 자료에 따르면 20 1 1 년, 글로벌 데이터 규모는 1.8ZB 로 575 억 대의 32GB 아이패드를 가득 채울 수 있으며, 이 아이패드는 중국에 만리장성 두 개를 건설할 수 있다. 2020 년까지 전 세계 데이터는 40ZB 에 이를 것입니다. 블루레이 디스크에 모두 저장되면 이 디스크들의 무게는 424 척의 니미즈 항모와 맞먹는다. 미국 인터넷 데이터 센터에 따르면 인터넷상의 데이터는 매년 50% 씩 증가하여 2 년마다 두 배로 증가할 것이라고 합니다. 현재 세계 데이터의 90% 이상이 최근 몇 년 사이에 생산되고 있다.
데이터는 가장 귀중한 자원이 될 것입니다.
빅 데이터 시대에 데이터는 토지, 노동력, 자본에 이어 새로운 요소가 되어 미래 기업의 핵심 경쟁력을 형성했다. 월스트리트저널은' 빅 데이터, 대영향' 이라는 제목의 보고서에서 데이터가 돈이나 금과 같은 새로운 자산 범주가 되었다고 발표했습니다. IBM CEO 인 로예란은 "데이터는 모든 업종에서 승부를 결정하는 근본 요인이 될 것이며, 최종 데이터는 인류의 중요한 천연자원이 될 것" 이라고 말했다. 빅 데이터 응용 프로그램이 지속적으로 발전함에 따라 빅 데이터가 기관 및 기업의 중요한 자산 및 경쟁의 초점이 될 것이라고 믿을만한 이유가 있습니다. 구글, 애플, 아마존, 알리바바, 텐센트 등 인터넷 거물들은 큰 데이터의 힘을 이용해 더 큰 상업적 성공을 거두고 있으며, 계속해서 큰 데이터를 통해 경쟁력을 높일 것이다.
빅 데이터 및 전통적인 산업 지능형 통합
빅 데이터의 수집, 정리, 분석 및 마이닝을 통해 도시 거버넌스 문제를 발견하고 경제 운영 추세를 파악할 수 있을 뿐만 아니라 정밀 설계 및 정밀 생산 모델을 구동하여 서비스 산업의 정밀 부가가치를 유도하고 상호 작용 창조 산업의 새로운 형태를 만들 수 있습니다. 맥도날드, 켄터키, 애플 등 플래그십 스토어의 위치는 모두 데이터 분석의 정확한 위치에 기반을 두고 있다. 바이두, 알리, 텐센트는 방대한 데이터에 대한 파악 및 분석을 통해 사용자에게 보다 전문적이고 개인화된 서비스를 제공합니다. 스마트 도시 건설이 심화됨에 따라, 빅데이터는 스마트 도시에서 점점 더 중요한 역할을 할 것이다. 도시 디지털화에서 스마트 도시로, 핵심은 디지털 정보의 지능형 처리를 실현하는 것이다. 그 핵심은 빅 데이터 처리 기술의 도입이며, 빅 데이터는 스마트 도시의 핵심 스마트 엔진이 될 것이다. 스마트 금융, 스마트 보안, 스마트 의료, 스마트 교육, 스마트 교통, 스마트 시티 관리 등. 빅 데이터와 전통 산업이 융합되는 중요한 분야입니다.
4. 데이터는 점점 더 개방될 것이다.
빅 데이터는 인류의 * * * 같은 자원 * * * 같은 재산이며, 데이터 공개 공유는 돌이킬 수 없는 역사적 추세이다. 세계 각국 정부와 기업들이 오픈 데이터의 사회적 성과와 상업적 가치를 점점 더 인식하고 있는 가운데, 전 세계는 곧 데이터 개방의 물결을 일으킬 것입니다. 사실, 빅 데이터의 개발은 전 세계, 전 인류의 협력이 필요하고, 프라이빗 빅 데이터를 공공 빅 데이터로 바꾸고, 결국 프라이빗, 기업 소유, 업계의 모든 빅 데이터의 글로벌 융합을 실현해야 무가치한' 데이터 아일랜드' 가 형성되지 않는다. 더 큰 관련 데이터가 더 가치있을수록 더 개방적입니다. 특히 공기업과 인터넷 회사들의 공개 데이터는 점점 더 많아질 것이다. 현재 미국 유럽 등 선진국과 지역의 정부는 정부와 공공사업 수치에서 이미 표율을 보이고 있다. 한편, 중국시 정부는 데이터 공개와 향유를 추진하는 데 앞장 선다. 한편, 다양한 대형 데이터 서비스 거래 플랫폼의 구축을 추진하여 데이터 사용자에게 풍부한 데이터 소스와 애플리케이션을 제공할 예정입니다.
빅 데이터 보안은 점점 더 많은 관심을 받게 될 것입니다.
경제사회에서 빅데이터가 점점 더 광범위하게 적용됨에 따라 빅데이터의 보안은 더 많은 관심을 받게 될 것입니다. 빅 데이터 시대에 우리는 데이터 마이닝, 데이터 분석 등 데이터 기술을 이용하여 귀중한 정보를 얻는 한편,' 해커' 도 이러한 빅 데이터 기술을 이용하여 더 많은 유용한 정보를 최대한 수집하고 관심 있는 목표에 대해 더욱' 정확한' 공격을 개시할 수 있다. 최근 몇 년 동안 개인 프라이버시, 상업 정보, 심지어 국가 기밀이 유출되는 경우가 종종 발생했다. 이에 대해 미국과 유럽 등 선진국들은 모두 관련 법규를 제정하고 보완해 정보 보안을 보호하고 프라이버시 유출을 방지했다. 가까운 장래에 다른 나라들도 신속히 뒤따르면서 자국 정부, 기업, 심지어 주민들의 데이터 안전을 더욱 잘 보호할 것으로 예상된다.
빅 데이터 인재는 매우 인기가 있습니다.
빅 데이터가 지속적으로 발전하고 널리 보급됨에 따라 빅 데이터 분석가, 데이터 관리 전문가, 빅 데이터 알고리즘 엔지니어, 데이터 제품 관리자 등 경험 많은 데이터 분석가가 있습니다. 사회 전체의 희소자원과 각종 기관의 인재가 될 것이다. 국제 유명 컨설팅 회사인 Gartner 에 따르면 20 15 년 전 세계 빅 데이터 인재에 대한 수요는 440 만 명에 이를 것으로 예상되며 인재 시장은 3 분의 1 의 수요만 충족시킬 수 있을 것으로 전망된다. 맥킨지는 미국에서 2065,438+08 년까지 44 만 ~ 49 만 명의 심도 데이터 분석 인재가 필요하다고 예측했다. 격차는 654,38+04-654,380,900 명이다. 이에 따라 미국은 미국 국립과학재단 (National Science Foundation) 을 통해 연구형 대학에 학제 간 학위 프로그램을 설립하고 차세대 데이터 과학자와 엔지니어를 양성하기 위한 준비를 장려하고, 교육기금을 설립하여 대학생 관련 기술 교육을 지원하고, 각 학과의 연구원들을 모아 큰 데이터가 교육과 학습을 어떻게 바꿀 수 있는지 함께 검토하도록 독려했다. 영국, 호주, 프랑스 등도 빅데이터 인재 양성에 대해 비슷한 특별한 조치를 취했다. IBM 과 같은 기업들도 대학과의 빅 데이터 분야에서의 협력을 본격적으로 추진하여 비즈니스 지식과 분석 능력을 모두 갖춘 복합적인 데이터 인재를 양성하기 시작했다. (오봉: 국가정보원)