중국 개발 포털 뉴스 차세대 정보 기술의 급속한 발전과 심층적인 적용으로 인해 데이터의 양과 규모가 점점 더 늘어나고 있습니다. 중요한 자원을 놓고 다양한 국가 및 지역과 경쟁합니다. 데이터의 주도권과 우위를 차지하는 사람이 미래를 이길 것입니다. 오바마 행정부는 데이터를 '미래의 새로운 석유'로 정의하며, 국가가 소유한 데이터를 해석하고 적용하는 규모와 활동, 능력이 포괄적인 국력의 중요한 부분이 될 것이라고 믿습니다. 육상전력, 해상전력 다음으로 중요한 전력으로, 공군력과 함께 국가의 또 다른 핵심전력이 됩니다. 그 이후로 새로운 개념인 빅데이터가 전 세계적으로 인기를 얻었습니다.
빅데이터의 개념과 의미
'빅데이터'라는 개념은 1980년부터 유명한 미래학자 앨빈 토플러(Alvin Toffler)가 『제3의 물결』에서 썼습니다. " 한 책에서는 빅데이터를 '제3의 물결의 카덴차'라고 극찬하기도 했습니다. 그러나 최근 들어 '클라우드 컴퓨팅', '사물인터넷'과 함께 '빅데이터'가 인터넷 정보기술 산업에서 대중적인 용어로 자리잡은 것은 아니다. 2008년, 구글 창립 10주년을 맞아 유명 매거진 '네이처(Nature)'는 '빅데이터'라는 개념을 중심으로 미래 빅데이터 처리와 관련된 일련의 기술적 이슈와 과제를 논의하는 특집호를 발행했다. 제안했다. 2011년 5월 '클라우드 컴퓨팅과 빅 데이터의 만남'이라는 주제로 열린 EMC World 2011 컨퍼런스에서 EMC도 빅 데이터라는 개념을 내놓았습니다. 그래서 많은 사람들은 2011년이 빅데이터 원년이라고 믿고 있다.
이후 많은 전문가와 기관에서는 빅데이터에 대한 이해를 다양한 관점에서 제안해왔습니다. 물론 빅데이터 자체의 강력한 추상화로 인해 현재 국제적으로 인정받는 정의는 없습니다. 위키피디아는 빅데이터란 현재 존재하는 데이터베이스 시스템이나 데이터베이스 관리 도구의 처리 능력을 뛰어넘는 대규모의 복잡한 데이터 세트이며, 처리 시간도 고객이 감당할 수 있는 시간을 초과한다고 믿습니다. 세계 1위의 기업 데이터 통합 소프트웨어 제공업체인 Informatica는 빅데이터에 대규모 데이터와 복잡한 데이터 유형이 포함되어 있으며 그 규모가 기존 데이터베이스 시스템의 관리 및 처리 능력을 뛰어넘는다고 믿습니다. Amazon Web Services(AWS)와 빅 데이터 과학자인 John Rauser는 간단한 정의를 언급했습니다. 빅 데이터는 컴퓨터의 처리 능력을 초과하는 엄청난 양의 데이터입니다. Baidu Search의 정의는 다음과 같습니다. "빅 데이터"는 볼륨 및 데이터 범주가 매우 큰 데이터 세트이며 이러한 데이터 세트의 콘텐츠는 기존 데이터베이스 도구를 사용하여 캡처, 관리 및 처리할 수 없습니다. Internet Weekly는 이를 다음과 같이 정의하고 있다. '빅데이터'라는 개념은 대용량 데이터(TB)와 대용량 데이터를 처리하는 기술을 훨씬 넘어서, 소위 '4V'와 같은 단순한 개념을 의미한다. 하지만 대규모 데이터에 대한 사람들의 경험을 다루면 소규모 데이터를 기반으로 달성할 수 없는 일을 소규모 데이터를 기반으로 할 수 있습니다. 즉, 빅데이터를 통해 우리는 전례 없는 방식으로 막대한 양의 데이터를 분석하고, 큰 가치를 지닌 제품과 서비스, 즉 심오한 통찰력을 얻을 수 있으며, 이는 궁극적으로 변화의 힘을 형성하게 됩니다.
위의 다양한 정의를 바탕으로 빅데이터에는 최소한 다음 두 가지 측면이 포함되어야 한다고 생각합니다. 첫째, 그 양이 엄청나다는 점, 둘째, 기존 도구로는 처리할 수 없다는 점입니다. 따라서 빅데이터는 어떻게 정의하느냐가 아니라 어떻게 활용하느냐가 가장 중요하다. 데이터의 규모뿐만 아니라, 방대한 데이터에서 가치 있는 정보와 지식을 빠르게 얻을 수 있는 능력도 강조합니다.
빅데이터 4V 특성
일반적으로 빅데이터는 주로 볼륨(Volume), 다양성(Varity), 속도(Velocity)의 4가지 대표적인 특성을 갖고 있다고 여겨집니다. 값(Value), 소위 "4V"입니다.
1. 규모. 빅데이터의 특성은 먼저 '대량'에 반영되며, 저장 단위는 과거의 GB부터 TB, PB, EB까지 다양하다. 정보기술의 급속한 발전으로 인해 데이터는 폭발적으로 증가하기 시작했습니다. 소셜 네트워크(웨이보, 트위터, 페이스북), 모바일 네트워크, 각종 스마트 단말기 등이 모두 데이터 소스가 됐다. Taobao의 약 4억 명의 회원은 매일 약 20TB의 상품 거래 데이터를 생성하며, Facebook의 약 10억 명의 사용자는 매일 300TB 이상의 로그 데이터를 생성합니다. 이러한 대규모 데이터를 실시간으로 집계, 분석, 예측 및 처리하려면 지능형 알고리즘, 강력한 데이터 처리 플랫폼 및 새로운 데이터 처리 기술이 절실히 필요합니다.
2． 다양성.
광범위한 데이터 소스가 빅데이터 형식의 다양성을 결정합니다. 빅데이터는 크게 세 가지 범주로 나눌 수 있습니다. 하나는 금융 시스템 데이터, 정보 관리 시스템 데이터, 의료 시스템 데이터 등과 같은 정형 데이터로, 데이터 간 강한 인과 관계가 특징인 다른 하나는 비정형 데이터입니다. 비디오, 사진, 오디오 등은 데이터 간의 인과관계가 없는 것이 특징이며, 셋째, HTML 문서, 이메일, 웹페이지 등과 같은 반구조화된 데이터는 데이터 간의 인과관계가 약한 것이 특징입니다.
3. 고속. 기록 보관소, 방송, 신문 등 기존 데이터 매체와 달리 빅데이터의 교환 및 보급은 인터넷, 클라우드 컴퓨팅 및 기타 방법을 통해 실현되며 이는 기존 미디어의 정보 교환 및 보급보다 훨씬 빠릅니다. 빅데이터와 대용량 데이터의 중요한 차이점은 빅데이터의 데이터 규모가 더 크다는 점 외에도 빅데이터는 데이터 처리의 응답 속도에 대한 요구 사항이 더 엄격하다는 것입니다. 일괄 분석이 아닌 실시간 분석으로 데이터 입력, 처리, 폐기가 거의 지연 없이 즉시 수행됩니다. 데이터의 증가율과 처리 속도는 빅데이터의 빠른 속도를 보여주는 중요한 표현입니다.
4. 가치. 이는 빅데이터의 핵심 기능이기도 하다. 현실 세계에서 생성되는 데이터 중 가치 있는 데이터가 차지하는 비중은 매우 작습니다. 기존의 스몰데이터와 비교할 때, 빅데이터의 가장 큰 가치는 다양한 유형의 관련 없는 대량의 데이터로부터 미래의 트렌드와 패턴 예측 분석을 위한 가치 있는 데이터를 추출하고, 머신러닝 기법과 인공지능 기법을 통해 심층적인 분석을 하는 데 있습니다. 데이터 마이닝 방법은 새로운 규칙과 새로운 지식을 발견하고 이를 농업, 금융, 의료 등 다양한 분야에 적용함으로써 궁극적으로 사회 거버넌스 개선, 생산 효율성 증대, 과학 연구 활성화 등의 효과를 얻을 수 있습니다.
빅데이터의 6대 발전 동향
빅데이터는 아직 초기 단계에 있고 여전히 많은 어려움과 과제가 있지만, 시간이 지날수록 향후 발전 전망은 밝아질 것이라고 믿습니다. 빅데이터는 매우 유망하다.
1. 데이터는 기하급수적으로 증가할 것입니다
최근에는 소셜 네트워크, 모바일 인터넷, 전자상거래, 인터넷 및 클라우드 컴퓨팅의 발전으로 오디오, 비디오, 이미지, 로그 등 다양한 유형의 데이터가 발생합니다. . 기하급수적인 속도로 성장하고 있습니다. 관련 자료에 따르면 2011년 글로벌 데이터 규모는 1.8ZB로 32GB 아이패드 575억대를 채울 수 있는 것으로 나타났다. 2020년까지 글로벌 데이터는 40ZB에 도달할 것입니다. 이 데이터를 모두 Blu-ray 디스크에 저장했다면 이 디스크의 무게는 USS Nimitz 항공모함 424대에 해당합니다. 미국 인터넷 데이터 센터는 인터넷상의 데이터가 매년 50%씩 증가하고 2년마다 두 배씩 증가할 것이라고 지적합니다. 현재 전 세계 데이터의 90% 이상이 최근 몇 년간 생성된 것입니다.
2． 데이터는 가장 귀중한 자원이 될 것이다
빅데이터 시대에 데이터는 토지, 노동, 자본에 이어 새로운 요소가 되어 기업 미래 발전의 핵심 경쟁력을 구성하고 있다. 월스트리트 저널은 '빅 데이터, 빅 임팩트(Big Data, Big Impact)'라는 보고서를 통해 데이터가 화폐나 금과 마찬가지로 새로운 자산군이 되었다고 홍보했습니다. IBM CEO 로메티는 “데이터는 모든 산업의 성패를 결정하는 근본적인 요소가 될 것이며, 결국 데이터는 인류에게 꼭 필요한 천연자원이 될 것”이라고 믿고 있다. 데이터는 기관과 기업의 중요한 자산이자 경쟁의 초점이 되었습니다. Google, Apple, Amazon, Alibaba, Tencent와 같은 거대 인터넷 기업은 더 큰 상업적 성공을 달성하기 위해 빅데이터의 힘을 활용하고 있으며 앞으로도 계속해서 사용할 것입니다. 빅데이터로 경쟁력을 높일 수 있습니다.
3. 빅데이터와 전통산업의 지능적 통합
빅데이터를 수집, 분류, 분석, 마이닝함으로써 도시 거버넌스 문제를 발견하고 경제 운영 동향을 파악할 수 있을 뿐만 아니라 정밀한 설계와 정밀한 생산 모델을 구동할 수 있습니다. , 이를 선도하는 정밀고부가가치 서비스산업은 새로운 형태의 인터랙티브 창조산업을 창출합니다. 맥도날드, KFC, 애플 등 플래그십 매장의 위치는 데이터 분석을 바탕으로 정확한 위치 선정을 바탕으로 이루어집니다. 바이두, 알리바바, 텐센트 등은 방대한 양의 데이터를 마스터링하고 분석하여 사용자에게 보다 전문적이고 개인화된 서비스를 제공합니다. 스마트시티 건설이 계속 심화됨에 따라 스마트시티에서 빅데이터의 역할이 점점 더 중요해질 것입니다. 도시 디지털화부터 스마트 시티까지, 핵심은 디지털 정보의 지능적 처리를 달성하는 것입니다. 그 핵심은 빅데이터 처리 기술이 스마트 시티의 핵심 지능 엔진이 될 것이라는 점입니다.
스마트 금융, 스마트 보안, 스마트 의료, 스마트 교육, 스마트 교통, 스마트 도시 관리 등은 모두 빅데이터와 전통 산업의 통합을 위한 중요한 영역입니다.
4. 데이터는 점점 더 개방화될 것입니다.
빅데이터는 인류의 가장 보편적인 자원이자 가장 보편적인 부입니다. 데이터의 개방성과 공유는 되돌릴 수 없는 역사적 추세입니다. 전 세계 정부와 기업이 오픈 데이터가 가져오는 사회적 혜택과 상업적 가치에 대한 인식이 지속적으로 높아짐에 따라 머지않아 전 세계적으로 데이터 개방의 물결이 일게 될 것입니다. 실제로 빅데이터의 발전에는 전 세계와 인류 전체의 협력이 필요하며, 민간 빅데이터를 공공 빅데이터로 전환하고 궁극적으로 민간, 기업 소유, 산업 소유 빅데이터의 글로벌 통합을 실현하는 것이 필요합니다. 쓸모없는 "데이터 섬"의 형성. 빅데이터는 관련성이 높을수록 가치가 높고, 개방성이 높을수록 가치가 높습니다. 특히, 공공기관이나 인터넷 기업의 데이터 공개가 점점 더 많아질 것입니다. 현재 미국, 유럽 등 선진국과 지역의 정부는 정부 및 공공 부문 데이터 측면에서 모범을 보이고 있습니다. 한편, 중국 정부는 데이터의 개방성과 공유를 촉진하는 한편, 데이터 사용자에게 풍부한 데이터 소스와 데이터를 제공하기 위해 다양한 빅데이터 서비스 거래 플랫폼 구축도 추진할 예정이다. 응용 프로그램.
5． 빅데이터 보안에 대한 관심은 더욱 커질 것이다
빅데이터가 경제, 사회 전반에서 활용도가 높아지면서 빅데이터 보안에 대한 관심도 더욱 높아질 것이다. 빅데이터 시대에 우리는 데이터 마이닝, 데이터 분석 등의 빅데이터 기술을 활용하여 귀중한 정보를 획득하지만, '해커'도 이러한 빅데이터 기술을 활용하여 보다 유용한 정보를 최대한 수집하고 대상에 더 많은 공격을 가할 수 있습니다. "정확한" 공격. 최근에는 개인정보 유출, 기업 업무 정보, 심지어 국가기밀 유출도 빈번하게 발생하고 있습니다. 이에 미국, 유럽 등 선진국에서는 정보보안을 보호하고 개인정보 유출을 방지하기 위해 관련 법규를 제정하고 개선해 왔습니다. 가까운 미래에 다른 국가에서도 정부, 기업, 심지어 주민의 데이터 보안을 더 잘 보호하기 위해 신속하게 이를 따를 것으로 예상됩니다.
6. 빅 데이터 인재에 대한 수요가 높아질 것입니다.
빅 데이터 분석가, 데이터 관리 전문가, 빅 데이터 알고리즘 엔지니어, 데이터 제품 관리자 등 빅 데이터가 지속적으로 개발되고 적용 범위가 점점 더 넓어짐에 따라 빅 데이터 인재에 대한 수요가 높아질 것입니다. 데이터 분석가 풍부한 경험을 갖춘 인재는 사회 전체의 희소 자원이자 다양한 기관이 경쟁하는 인재가 될 것입니다. 국제적으로 유명한 컨설팅 회사인 Gartner에 따르면 2015년에 전 세계적으로 빅데이터 인재에 대한 수요가 440만 명에 이를 것으로 예상되지만, 인재 시장은 수요의 3분의 1에 불과합니다. 맥킨지 앤 컴퍼니(McKinsey & Company)는 2018년까지 미국에서 심층적인 데이터 분석 인재가 44만~49만 명, 격차는 14만~19만 명에 이를 것으로 예측하고 있다. 이에 미국은 국립과학재단(National Science Foundation)을 통해 연구대학이 차세대 데이터 과학자 및 엔지니어 양성을 준비할 수 있도록 학제간 학위 프로그램을 구축하도록 장려하고, 대학생을 대상으로 관련 기술 훈련을 지원하기 위한 훈련 기금을 마련하고 있다. 다양한 분야의 연구를 소집하여 빅데이터가 교육과 학습을 어떻게 변화시키고 있는지 논의했습니다. 영국, 호주, 프랑스 등 국가에서도 마찬가지로 빅데이터 인재 양성을 위한 특별 조치를 마련했습니다. IBM 등 기업들도 빅데이터 분야에서 대학과의 협력을 포괄적으로 추진하기 시작했고, 기업 발전에 필요한 비즈니스 지식과 분석 능력을 모두 이해하는 복합 데이터 인재 양성에 힘쓰고 있다. (우펑: 국가정보센터)