빅 데이터 도전과 기회가 공존한다. 앞으로 몇 년 동안 빅데이터의 발전은 지난 몇 년간의 예상 확장 단계와 투기단계를 이성 발전 단계와 착지 적용 단계로 전환시킬 것이다. 앞으로 몇 년 동안 큰 데이터는 점차 이성적 발전기에 들어설 것이다. 빅 데이터의 미래 발전에는 아직 많은 도전이 있지만 전망은 여전히 낙관적이다. -응?
빅 데이터 개발의 과제
현재 빅 데이터 개발은 여전히 7 가지 주요 과제를 포함하여 많은 과제에 직면 해 있습니다. 사업부는 빅 데이터에 대한 명확한 수요가 없으므로 데이터 자산이 점차 손실되고 있습니다. 기업 내 고립된 데이터가 심각하여 데이터 가치 마이닝이 부족합니다. 데이터 가용성이 낮고 데이터 품질이 좋지 않아 데이터를 사용할 수 없습니다. 데이터 관련 관리 기술 및 아키텍처가 낙후되어 대용량 데이터 처리 능력이 부족합니다. 데이터 보안 기능 및 예방 인식 부족으로 데이터 유출 빅 데이터 인재 부족, 빅 데이터 작업은 수행하기가 어렵습니다. 큰 데이터가 개방될수록 더 가치가 있다. 빅 데이터 관련 정책 및 규정의 부재로 인해 데이터 개방과 프라이버시의 균형이 맞지 않고 더 잘 개방되기 어렵습니다.
과제 1: 사업부에 명확한 대용량 데이터 요구 사항이 없습니다.
많은 기업 업무 부문은 큰 데이터를 이해하지 못하고, 큰 데이터의 응용 장면과 가치를 이해하지 못하기 때문에 큰 데이터의 정확한 수요를 제시하기 어렵다. 사업부의 수요가 불분명하고 대형 데이터 부서가 비영리부문이기 때문에 기업 의사결정권자들은 비용이 상대적으로 높다는 우려로 인해 많은 기업들이 대형 데이터 부서를 건설할 때 망설이거나 많은 기업들이 관망하는 상태에 처해 있다. 기업의 대데이터 방향 발전에 근본적으로 영향을 미치고, 자신의 데이터 자산에 대한 기업의 축적과 발굴을 방해하기도 한다. (윌리엄 셰익스피어, 윈스턴, 데이터명언) (윌리엄 셰익스피어, 윈스턴, 데이터명언) (윌리엄 셰익스피어, 데이터명언) 심지어 데이터가 장면을 적용하지 않았기 때문에 귀중한 역사적 데이터가 많이 삭제되어 기업 데이터 자산이 손실되었습니다. 따라서 빅 데이터 실무자와 전문가가 함께 노력하여 빅 데이터 애플리케이션 시나리오를 홍보하고 공유하여 더 많은 비즈니스 사람들이 빅 데이터의 가치를 이해할 수 있도록 해야 합니다.
과제 2: 기업 내 심각한 데이터 섬
기업이 빅 데이터를 시작하는 가장 큰 과제는 데이터 조각화다. 많은 기업, 특히 대기업에서는 데이터가 서로 다른 부서에 분산되어 있는 경우가 많으며, 이러한 데이터는 서로 다른 데이터 웨어하우스에 존재하며, 부서마다 데이터 기술이 다를 수 있으며, 이로 인해 자체 데이터를 액세스할 수 없게 됩니다. 이 데이터들을 뚫지 않으면, 큰 데이터의 가치는 발굴하기 어렵다. 대용량 데이터는 고객 및 비즈니스 이해의 이점을 활용하기 위해 서로 다른 데이터의 상관 관계 및 통합이 필요합니다. 서로 다른 부서의 데이터를 통해 기술과 도구를 공유할 수 있어야 기업 빅데이터의 가치를 더 잘 발휘할 수 있습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성공명언)
과제 3: 낮은 데이터 가용성, 낮은 데이터 품질.
많은 중대형 기업들도 시시각각 대량의 데이터를 생산하고 있지만, 많은 기업들이 빅 데이터의 사전 처리 단계에 대한 중시가 부족해 데이터 처리가 불규칙하게 되고 있다. 큰 데이터의 사전 처리 단계에서는 데이터를 추출하고, 데이터를 처리하기 쉬운 데이터 유형으로 변환하고, 데이터를 청소하고, 소음을 제거하고, 유효한 데이터를 추출해야 합니다. 심지어 많은 기업들이 데이터를보고할 때 많은 불규칙하고 불합리한 상황이 있습니다. 위의 원인으로 인해 가용성이 떨어지고, 데이터 품질이 떨어지고, 기업 데이터가 정확하지 않다. 큰 데이터의 의미는 대규모 데이터 정보를 수집하는 것뿐만 아니라 수집한 데이터를 사전 처리하여 데이터 분석가와 데이터 마이닝자가 고가용성의 큰 데이터에서 귀중한 정보를 추출할 수 있도록 하는 것입니다. Sybase 데이터에 따르면 고품질의 데이터 애플리케이션은 기업의 업무 성과를 크게 향상시킬 수 있으며, 데이터 가용성은 10%, 기업의 성과는 최소한 10% 까지 높일 수 있습니다.
과제 4: 데이터 관련 관리 기술 및 아키텍처
기술 아키텍처의 문제점은 다음과 같습니다. (1) 기존 데이터베이스 구축은 테라바이트급 데이터를 처리할 수 없으며 빠르게 증가하는 데이터는 기존 데이터베이스의 관리 기능을 능가합니다. 분산 데이터 웨어하우스를 구축하고 많은 수의 서버를 쉽게 확장하는 방법은 많은 기존 기업이 직면하고 있는 과제가 되고 있습니다. (2) 많은 기업들이 기존 데이터베이스 기술을 채택하고 있으며, 설계 초기에는 데이터 범주의 다양성, 특히 정형 데이터, 반정형 데이터 및 비정형 데이터의 호환성을 고려하지 않았습니다. (3) 기존 기업의 데이터베이스는 데이터 처리 시간에 대한 요구가 높지 않으며, 이러한 데이터의 통계 결과는 종종 1 ~ 2 일 뒤처져 집계된다. 그러나 큰 데이터는 실시간으로 데이터를 처리하고 분 또는 초 단위의 계산을 해야 한다. 기존 데이터베이스 설계자는 실시간 데이터 처리 기능이 부족합니다. (4) 대량의 데이터는 훌륭한 네트워크 아키텍처와 강력한 데이터 센터가 필요하며, 데이터 센터의 운영 및 유지 관리도 도전이 될 것입니다. 데이터 안정성을 보장하고 높은 동시성을 지원하는 동시에 서버의 낮은 로드를 줄이는 방법은 대규모 데이터 센터 운영 및 유지 관리의 핵심 과제가되었습니다.
과제 5: 데이터 보안
사이버 생활은 범죄자들이 사람의 정보를 더 쉽게 얻을 수 있게 하고, 쉽게 추적되고 예방하기 어려운 범죄 수단도 더 많아지며, 더욱 교묘한 사기가 있을 수 있다. 사용자의 정보 보안을 보장하는 방법은 빅 데이터 시대에 매우 중요한 문제가 되었습니다. 인터넷 데이터가 갈수록 많아지면서 해커 범죄의 동기는 그 어느 때보다 강렬하다. 일부 유명 사이트 비밀번호 유출, 시스템 취약점으로 인해 사용자 데이터 도난 등 개인의 민감한 정보가 유출되어 대형 데이터 네트워크 보안 구축을 강화하고 있습니다. 또한 대용량 데이터가 늘어남에 따라 데이터 스토리지에 대한 물리적 보안 요구 사항이 높아짐에 따라 데이터의 다중 복제본 및 재해 복구 메커니즘에 대한 요구 사항도 높아지고 있습니다. 현재 많은 전통 기업의 데이터 보안이 우려되고 있다.
과제 6: 빅 데이터 인재 부족
빅데이터 건설의 모든 과정은 전문가가 완성해야 한다. 따라서 대규모 데이터 기술, 관리 및 대규모 데이터 애플리케이션 경험을 갖춘 대규모 데이터 구축 전문 팀을 육성하고 구축해야 합니다. 현재 빅 데이터 관련 인재의 부족은 빅 데이터 시장의 발전을 방해할 수 있다. Gartner 의 예측에 따르면 20 15 년까지 전 세계적으로 440 만 개의 빅 데이터와 관련된 일자리가 창출되고 25% 의 조직이 CDO 직을 설립할 것으로 전망된다. 빅 데이터 관련 게시물은 수학 통계 데이터 분석 기계 학습 자연어 처리를 종합적으로 통제할 수 있는 복합적인 인재가 필요하다. 향후 빅 데이터에는 약 654.38+0 만 명의 인재 격차가 발생할 것으로 예상되며, 빅 데이터에서 하이엔드 인재는 데이터 개발 엔지니어, 빅 데이터 분석가, 데이터 설계자, 빅 데이터 백그라운드 개발 엔지니어, 알고리즘 엔지니어 등 다양한 방향에서 가장 인기 있는 인재가 될 것입니다. 그래서 고교와 기업이 함께 노력하여 키우고 발굴해야 한다. 현재 가장 큰 문제는 많은 고교들이 큰 데이터가 부족하고, 큰 데이터가 있는 기업은 학교와 연합하여 인재를 양성해야 한다는 것이다.
과제 7: 데이터 공개와 개인 정보 보호 간의 균형
빅 데이터 애플리케이션이 점점 더 중요해지고 있는 오늘날 데이터 자원의 개방과 공유는 데이터 전쟁에서 우위를 유지하는 열쇠가 되고 있습니다. 상업 데이터와 개인 데이터의 응용은 관련 업계의 발전을 촉진할 뿐만 아니라 우리 생활에 큰 편리를 가져다 준다. 정부, 기업, 산업 정보 시스템 건설에 대한 통일 계획과 표준이 부족하여 많은' 정보 섬' 이 형성되고, 행정 독점과 상업적 이익에 의해 제한되고, 데이터 개방도가 낮아 데이터 활용에 큰 장애가 되고 있다. 우리나라의 데이터 자원 개방과 공유를 제한하는 또 다른 중요한 요소는 정책 법규가 불완전하고, 대데이터 발굴에 상응하는 입법이 부족하다는 것이다. * * * 남용을 즐기고 방지하는 것은 불가능하다. 따라서 건전한 데이터 공유 생태계를 구축하는 것은 중국 국가 데이터 발전의 큰 발전이다. 동시에 개방과 프라이버시의 균형을 맞추는 방법도 빅 데이터 개방 과정에서 가장 큰 문제다. 어떻게 하면 데이터를 충분히 개방하고, 응용하고, 즐기면서 시민과 기업의 프라이버시를 효과적으로 보호하고, 점차 프라이버시 입법을 강화하는 것은 빅데이터 시대의 큰 도전이 될 것이다.
빅 데이터의 발전 추세
빅데이터는 아직 초기 단계에 있고 도전도 많지만 앞으로의 발전은 낙관적이다. 빅 데이터의 발전은 8 가지 주요 추세를 보이고 있습니다. 데이터 자원은 가장 가치 있는 자산이 될 것입니다. 큰 데이터는 더 많은 전통 산업의 기업 관리에 착지한다. 빅 데이터와 기존 비즈니스 인텔리전스가 융합됨에 따라 업계 맞춤형 솔루션이 등장합니다. 데이터가 점점 더 개방되고 데이터 공유 연합이 나타납니다. 빅 데이터 보안이 점점 더 중요해지고 있으며, 빅 데이터 보안 시장이 점점 더 중요해질 것입니다. 빅데이터는 스마트 도시의 발전을 촉진하는 스마트 도시의 엔진이다. 빅데이터는 새로운 일자리와 그에 상응하는 전공을 낳는다. 빅데이터는 여러 방면에서 우리의 생활을 개선하고 있다.
추세 1: 데이터 자원이 가장 가치 있는 자산이 됩니다.
빅데이터 응용이 발전함에 따라 빅데이터의 가치가 충분히 드러날 수 있다. 빅데이터는 이미 기업과 사회 차원에서 중요한 전략적 자원이 되었다. 데이터는 새로운 전략제고점이 되어 모두가 빼앗는 새로운 초점이 되었다. 월스트리트저널은' 빅 데이터, 대영향' 이라는 제목의 보고서에서 데이터가 돈이나 금과 같은 새로운 자산 범주가 되었다고 발표했습니다. 구글, 페이스북, 아마존, 텐센트, 바이두, 알리바바, 360 등은 큰 데이터를 이용해 더 큰 상업적 성공을 거두고 있으며, 금융과 통신사도 큰 데이터를 이용해 경쟁력을 높이고 있다. 우리는 빅데이터가 계속해서 기관과 기업의 자산이 되어 경쟁력을 높이는 강력한 무기가 될 것이라고 믿을 만한 이유가 있다.
추세 2: 더 전통적인 산업에서 큰 데이터가 관리됩니다.
한 신기술은 종종 소수의 업종에 적용되어 좋은 효과를 거두며, 다른 업종에 강한 시범 작용을 한다. 현재 빅 데이터는 대형 인터넷 회사에서 잘 활용되고 있으며, 다른 업계, 특히 통신, 금융의 빅 데이터도 점차 다양한 애플리케이션 시나리오에서 효과를 거두고 있습니다. 따라서 우리는 큰 데이터가 데이터로부터 새로운 가치를 창출하는 도구로서 많은 업종의 기업에 적용되고 광범위한 사회적 가치를 가져올 것이라고 믿을 만한 이유가 있습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성공명언) 빅데이터는 기업이 고객의 요구와 잠재 요구를 더 잘 이해하고 충족시킬 수 있도록 지원하며, 비즈니스 운영의 지능형 모니터링, 엔터프라이즈 운영 세분화, 고객 수명주기 관리, 정교한 마케팅, 비즈니스 분석 및 전략 분석에 더 잘 적용될 수 있도록 지원합니다. 기업관리에는 예술과 과학이 모두 있다. 빅데이터는 기업의 과학적 관리를 촉진하는 데 더욱 큰 역할을 하고, 빅데이터를 포용하는 기업이 지능적인 기업 관리를 실현할 수 있게 해 줄 것으로 믿는다. (윌리엄 셰익스피어, 윈스턴, 과학명언)
트렌드 3: 빅 데이터와 기존 비즈니스 인텔리전스의 융합으로 업계 맞춤형 솔루션이 등장합니다.
전통적인 비즈니스 인텔리전스 분야의 사람들은 빅 데이터를 새로운 데이터 소스로 간주하고, 빅 데이터 실무자들은 전통적인 비즈니스 인텔리전스가 해당 분야에서 소량의 데이터를 처리하는 한 가지 방법일 뿐이라고 생각합니다. 빅 데이터 사용자는 기업 내 비즈니스 데이터를 수집, 처리 및 분석할 뿐만 아니라 인터넷상의 웹 브라우징, 웨이보, 위챗 등 구조화되지 않은 데이터를 도입하는 포괄적인 솔루션을 원합니다. 또한 모바일 장치의 위치 정보와 결합하여 기업이 포괄적이고 완벽한 데이터 가치 개발 플랫폼을 형성할 수 있도록 하고자 합니다. 결국, 빅 데이터 또는 비즈니스 인텔리전스, 목적은 분석을 제공 하는 것입니다, 데이터의 포괄적인 통합은 새로운 비즈니스 기회를 찾는 데 도움이 됩니다. 이것이 빅 데이터 비즈니스 인텔리전스입니다. 동시에, 업종의 차이로 인해 각 업종에 적합한 대형 데이터 비즈니스 인텔리전스 분석 시스템을 개발하기 어렵다. 따라서 일부 대규모 산업 시장에서는 대규모 데이터 서비스 상회가 대규모 데이터 서비스를 위한 보다 맞춤형 비즈니스 인텔리전스 솔루션을 제공합니다. Dell 은 통신, 금융, 소매 등의 업계에서 더 많은 대용량 데이터 비즈니스 인텔리전스 맞춤형 솔루션을 제공할 것으로 믿습니다.
추세 4: 데이터가 점점 개방되고 데이터 공유 연합이 나타납니다.
관련된 큰 데이터가 더 가치있을수록 개방된다. 특히 공기업과 인터넷 회사들의 공개 데이터는 점점 더 많아질 것이다. 미국, 영국, 호주 등 국가의 정부가 정부와 공공사업 데이터에 공을 들인 것을 볼 수 있다. 국내 일부 도시와 부문도 점차 데이터를 개방하고 있다. 베이징시가 20 12 에서 정부 데이터 자원망 시운전을 시작한다면 20 13 년 말 정식으로 개통된다. 상하이는 20 12 에서 지리적 위치, 교통, 경제 통계, 자격 등을 포함하는 정부 데이터 자원 공개 파일럿을 시작했습니다. 20 14 년, 구이저우성도 데이터 개방에 동참했고, 10 년, 구이저우는 정식으로 클라우드에 올랐다. 다른 업종에 있어서, 네가 즐기는 데이터가 많을수록, 그것은 더욱 가치가 있다. 모든 병원이 더 많은 질병 특성과 효능 정보를 얻고 싶다면, 전국적, 전세계적인 의료 정보를 누려야 플랫폼을 통해 분석하고 더 많은 가치를 얻을 수 있다. 우리는 데이터가 공유 추세를 보이고, 다른 분야의 데이터 연합이 나타날 것이라고 믿는다.
추세 5: 빅 데이터 보안이 점점 더 중요해지고 있으며 빅 데이터 보안 시장이 점점 더 중요해질 것입니다.
데이터의 가치가 점점 더 중요해짐에 따라, 큰 데이터의 보안과 안정성도 점차 중시될 것이다. 인터넷과 디지털 생활도 범죄자들이 타인의 정보를 더 쉽게 얻을 수 있게 해 주고, 더 많은 수법과 범죄 수단을 갖게 해 준다. 따라서 빅 데이터 시대에는 데이터 자체를 보호하든, 데이터로부터 진화한 일부 정보의 보안을 위해서든, 빅 데이터 분석 요구 사항이 높은 기업에게 매우 중요합니다. 빅 데이터 보안은 빅 데이터 서비스에 해당합니다. 기존 보안에 비해 빅 데이터 보안의 가장 큰 차이점은 보안 공급업체가 보안 문제에 대해 생각할 때 먼저 비즈니스를 분석하고 빅 데이터 비즈니스가 직면 한 위협을 파악한 다음 타겟 솔루션을 제안해야한다는 것입니다. 예를 들어, 데이터 저장 시나리오의 경우 현재 많은 기업들이 Hadoop 기술과 같은 오픈 소스 소프트웨어를 사용하여 큰 데이터 문제를 해결하고 있습니다. 오픈 소스성으로 인해 보안 문제도 두드러진다. 따라서 시장에는 다양한 대용량 데이터 보안 문제에 대한 전문 서비스를 제공하는 보다 전문적인 보안 공급업체가 필요합니다.
추세 6: 빅데이터는 스마트시티의 발전을 촉진하는 스마트시티의 엔진이다.
빅 데이터가 발전함에 따라 빅 데이터는 스마트 시티에서 점점 더 중요한 역할을 할 것입니다. 인구가 도시에 모여 교통, 의료, 건축 등에 대한 압력으로 인해 도시가 더 합리적으로 자원을 배치하고 분배해야 하기 때문에, 스마트 도시는 변화된 도시를 다스리는 가장 좋은 해결책이다. 스마트 시티는 사물과 사물, 사물과 사람 사이의 상호 연결 능력, 종합적인 인식력, 정보 활용 능력을 통해 사물인터넷, 모바일 인터넷, 클라우드 컴퓨팅과 같은 차세대 정보 기술을 통해 효율적인 정부 관리, 편리한 민생 서비스, 지속 가능한 산업 발전을 실현하는 것입니다. 이전 디지털 도시 개념에 비해 스마트 도시의 가장 큰 차이점은 인식 계층에서 얻은 정보를 지능적으로 처리하는 것입니다. 도시 디지털화에서 도시 지능화에 이르기까지 디지털 정보의 지능형 처리가 관건이며, 핵심은 대형 데이터 처리 기술의 도입이다. 빅 데이터는 스마트 시티의 핵심 스마트 엔진이다. 스마트 보안, 스마트 교통, 스마트 의료, 스마트 시티 관리는 모두 큰 데이터를 기반으로 한 스마트 시티 애플리케이션 분야입니다.
트렌드 7: 빅데이터는 새로운 일자리와 해당 전공을 탄생시킬 것이다.
새로운 산업의 출현은 필연적으로 새로운 일자리 수요가 있을 것이며, 빅데이터의 출현은 빅데이터 분석가, 데이터 관리 전문가, 빅데이터 알고리즘 엔지니어, 데이터 제품 관리자 등과 같은 새로운 일자리를 창출할 것이다. 숙련된 데이터 분석가는 희소한 자원이 되고 데이터 중심 작업은 폭발적으로 증가할 것입니다. 시장 수요가 왕성하기 때문에 고교는 점차 빅데이터 관련 전공을 개설하여 해당 전문가를 양성할 것이다. 기업들도 고교와 긴밀하게 협력하여 그들이 함께 빅데이터 인재를 양성하도록 도울 것이다. 예를 들어, 20 14 년, IBM 은 대규모 데이터 분야에서 대학과 협력, 강력한 R&D 팀 및 비즈니스 파트너 도입, 업계를 위한 생산, 연구, 연구 및 연구, "빅 데이터 플랫폼" 및 "빅 데이터 분석" 혁신 협력 촉진
추세 8: 빅데이터는 여러모로 우리의 삶을 개선하고 있다.
빅데이터는 기업과 정부뿐만 아니라 우리 생활에도 쓰인다. 건강: 우리는 스마트 팔찌 모니터링을 사용하여 수면 패턴을 추적하고 수면의 질을 이해할 수 있습니다. 우리는 스마트 혈압계, 스마트 심박수계를 사용하여 집 노인의 외지 건강 상태를 원격으로 모니터링하여 외지에 있는 농민공들을 더욱 안심시킬 수 있다. 여행 방면에서 스마트 탐색의 GPS 데이터를 이용하여 교통 상황을 파악하고 혼잡상황에 따라 실시간으로 노선을 조정할 수 있다. 가정 생활 방면에서 큰 데이터는 스마트하우스의 핵심이 되고, 스마트가전제품은 의인화 지능을 실현할 것이다. 제품은 센서와 제어 칩을 통해 정보를 캡처하고 처리할 수 있으며, 주거 공간 환경 및 사용자 요구에 따라 자동으로 제어를 설정할 수 있으며, 심지어 삶의 질을 최적화하기 위한 권장안을 제시할 수도 있습니다. 예를 들어, 우리의 냉장고는 매일 아침 우리에게 그날의 식단을 제시할 것이다.
변쇼가 공유해 준 빅 데이터 시대의 7 대 도전과 8 대 트렌드입니다. 더 많은 정보는 전 세계 아이비리그가 더 많은 건품을 공유하는 것에 집중할 수 있다.