현재 빅 데이터 개발은 여전히 7 가지 주요 과제를 포함하여 많은 과제에 직면 해 있습니다. 사업부는 빅 데이터에 대한 명확한 수요가 없으므로 데이터 자산이 점차 손실되고 있습니다. 기업 내 고립된 데이터가 심각하여 데이터 가치 마이닝이 부족합니다. 데이터 가용성이 낮고 데이터 품질이 좋지 않아 데이터를 사용할 수 없습니다. 데이터 관련 관리 기술 및 아키텍처가 낙후되어 대용량 데이터 처리 능력이 부족합니다. 데이터 보안 기능 및 예방 인식 부족으로 데이터 유출 빅 데이터 인재 부족, 빅 데이터 작업은 수행하기가 어렵습니다. 큰 데이터가 개방될수록 더 가치가 있다. 빅 데이터 관련 정책 및 규정의 부재로 인해 데이터 개방과 프라이버시의 균형이 맞지 않고 더 잘 개방되기 어렵습니다.
과제 1: 사업부에 명확한 대용량 데이터 요구 사항이 없습니다.
많은 기업 업무 부문은 큰 데이터를 이해하지 못하고, 큰 데이터의 응용 장면과 가치를 이해하지 못하기 때문에 큰 데이터의 정확한 수요를 제시하기 어렵다. 사업부의 수요가 불분명하고 대형 데이터 부서가 비영리부문이기 때문에 기업 의사결정권자들은 비용이 상대적으로 높다는 우려로 인해 많은 기업들이 대형 데이터 부서를 건설할 때 망설이거나 많은 기업들이 관망하는 상태에 처해 있다. 기업의 대데이터 방향 발전에 근본적으로 영향을 미치고, 자신의 데이터 자산에 대한 기업의 축적과 발굴을 방해하기도 한다. (윌리엄 셰익스피어, 윈스턴, 데이터명언) (윌리엄 셰익스피어, 윈스턴, 데이터명언) (윌리엄 셰익스피어, 데이터명언) 심지어 데이터가 장면을 적용하지 않았기 때문에 귀중한 역사적 데이터가 많이 삭제되어 기업 데이터 자산이 손실되었습니다. 따라서 빅 데이터 실무자와 전문가가 함께 노력하여 빅 데이터 애플리케이션 시나리오를 홍보하고 공유하여 더 많은 비즈니스 사람들이 빅 데이터의 가치를 이해할 수 있도록 해야 합니다.
과제 2: 기업 내 심각한 데이터 섬
기업이 빅 데이터를 시작하는 가장 큰 과제는 데이터 조각화다. 많은 기업, 특히 대기업에서는 데이터가 서로 다른 부서에 분산되어 있는 경우가 많으며, 이러한 데이터는 서로 다른 데이터 웨어하우스에 존재하며, 부서마다 데이터 기술이 다를 수 있으며, 이로 인해 자체 데이터를 액세스할 수 없게 됩니다. 이 데이터들을 뚫지 않으면, 큰 데이터의 가치는 발굴하기 어렵다. 대용량 데이터는 고객 및 비즈니스 이해의 이점을 활용하기 위해 서로 다른 데이터의 상관 관계 및 통합이 필요합니다. 서로 다른 부서의 데이터를 통해 기술과 도구를 공유할 수 있어야 기업 빅데이터의 가치를 더 잘 발휘할 수 있습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성공명언)
과제 3: 낮은 데이터 가용성, 낮은 데이터 품질.
많은 중대형 기업들도 시시각각 대량의 데이터를 생산하고 있지만, 많은 기업들이 빅 데이터의 사전 처리 단계에 대한 중시가 부족해 데이터 처리가 불규칙하게 되고 있다. 큰 데이터의 사전 처리 단계에서는 데이터를 추출하고, 데이터를 처리하기 쉬운 데이터 유형으로 변환하고, 데이터를 청소하고, 소음을 제거하고, 유효한 데이터를 추출해야 합니다. 심지어 많은 기업들이 데이터를보고할 때 많은 불규칙하고 불합리한 상황이 있습니다. 위의 원인으로 인해 가용성이 떨어지고, 데이터 품질이 떨어지고, 기업 데이터가 정확하지 않다. 큰 데이터의 의미는 대규모 데이터 정보를 수집하는 것뿐만 아니라 수집한 데이터를 사전 처리하여 데이터 분석가와 데이터 마이닝자가 고가용성의 큰 데이터에서 귀중한 정보를 추출할 수 있도록 하는 것입니다. Sybase 데이터에 따르면 고품질의 데이터 애플리케이션은 기업의 업무 성과를 크게 향상시킬 수 있으며, 데이터 가용성은 10%, 기업의 성과는 최소한 10% 까지 높일 수 있습니다.
과제 4: 데이터 관련 관리 기술 및 아키텍처
기술 아키텍처의 문제점은 다음과 같습니다. (1) 기존 데이터베이스 구축은 테라바이트급 데이터를 처리할 수 없으며 빠르게 증가하는 데이터는 기존 데이터베이스의 관리 기능을 능가합니다. 분산 데이터 웨어하우스를 구축하고 많은 수의 서버를 쉽게 확장하는 방법은 많은 기존 기업이 직면하고 있는 과제가 되고 있습니다. (2) 많은 기업들이 기존 데이터베이스 기술을 채택하고 있으며, 설계 초기에는 데이터 범주의 다양성, 특히 정형 데이터, 반정형 데이터 및 비정형 데이터의 호환성을 고려하지 않았습니다. (3) 기존 기업의 데이터베이스는 데이터 처리 시간에 대한 요구가 높지 않으며, 이러한 데이터의 통계 결과는 종종 1 ~ 2 일 뒤처져 집계된다. 그러나 큰 데이터는 실시간으로 데이터를 처리하고 분 또는 초 단위의 계산을 해야 한다. 기존 데이터베이스 설계자는 실시간 데이터 처리 기능이 부족합니다. (4) 대량의 데이터는 훌륭한 네트워크 아키텍처와 강력한 데이터 센터가 필요하며, 데이터 센터의 운영 및 유지 관리도 도전이 될 것입니다. 데이터 안정성을 보장하고 높은 동시성을 지원하는 동시에 서버의 낮은 로드를 줄이는 방법은 대규모 데이터 센터 운영 및 유지 관리의 핵심 과제가되었습니다.
과제 5: 데이터 보안
사이버 생활은 범죄자들이 사람의 정보를 더 쉽게 얻을 수 있게 하고, 쉽게 추적되고 예방하기 어려운 범죄 수단도 더 많아지며, 더욱 교묘한 사기가 있을 수 있다. 사용자의 정보 보안을 보장하는 방법은 빅 데이터 시대에 매우 중요한 문제가 되었습니다. 인터넷 데이터가 갈수록 많아지면서 해커 범죄의 동기는 그 어느 때보다 강렬하다. 일부 유명 사이트 비밀번호 유출, 시스템 취약점으로 인해 사용자 데이터 도난 등 개인의 민감한 정보가 유출되어 대형 데이터 네트워크 보안 구축을 강화하고 있습니다. 또한 대용량 데이터가 늘어남에 따라 데이터 스토리지에 대한 물리적 보안 요구 사항이 높아짐에 따라 데이터의 다중 복제본 및 재해 복구 메커니즘에 대한 요구 사항도 높아지고 있습니다. 현재 많은 전통 기업의 데이터 보안이 우려되고 있다.
과제 6: 빅 데이터 인재 부족
빅데이터 건설의 모든 과정은 전문가가 완성해야 한다. 따라서 대규모 데이터 기술, 관리 및 대규모 데이터 애플리케이션 경험을 갖춘 대규모 데이터 구축 전문 팀을 육성하고 구축해야 합니다. 현재 빅 데이터 관련 인재의 부족은 빅 데이터 시장의 발전을 방해할 수 있다. Gartner 의 예측에 따르면 20 15 년까지 전 세계적으로 440 만 개의 빅 데이터와 관련된 일자리가 창출되고 25% 의 조직이 CDO 직을 설립할 것으로 전망된다. 빅 데이터 관련 게시물은 수학 통계 데이터 분석 기계 학습 자연어 처리를 종합적으로 통제할 수 있는 복합적인 인재가 필요하다. 향후 빅 데이터에는 약 654.38+0 만 명의 인재 격차가 발생할 것으로 예상되며, 빅 데이터에서 하이엔드 인재는 데이터 개발 엔지니어, 빅 데이터 분석가, 데이터 설계자, 빅 데이터 백그라운드 개발 엔지니어, 알고리즘 엔지니어 등 다양한 방향에서 가장 인기 있는 인재가 될 것입니다. 그래서 고교와 기업이 함께 노력하여 키우고 발굴해야 한다. 현재 가장 큰 문제는 많은 고교들이 큰 데이터가 부족하고, 큰 데이터가 있는 기업은 학교와 연합하여 인재를 양성해야 한다는 것이다.
과제 7: 데이터 공개와 개인 정보 보호 간의 균형
빅 데이터 애플리케이션이 점점 더 중요해지고 있는 오늘날 데이터 자원의 개방과 공유는 데이터 전쟁에서 우위를 유지하는 열쇠가 되고 있습니다. 상업 데이터와 개인 데이터의 응용은 관련 업계의 발전을 촉진할 뿐만 아니라 우리 생활에 큰 편리를 가져다 준다. 정부, 기업, 산업 정보 시스템 건설에 대한 통일 계획과 표준이 부족하여 많은' 정보 섬' 이 형성되고, 행정 독점과 상업적 이익에 의해 제한되고, 데이터 개방도가 낮아 데이터 활용에 큰 장애가 되고 있다. 우리나라의 데이터 자원 개방과 공유를 제한하는 또 다른 중요한 요소는 정책 법규가 불완전하고, 대데이터 발굴에 상응하는 입법이 부족하다는 것이다. * * * 남용을 즐기고 방지하는 것은 불가능하다. 따라서 건전한 데이터 공유 생태계를 구축하는 것은 중국 국가 데이터 발전의 큰 발전이다. 동시에 개방과 프라이버시의 균형을 맞추는 방법도 빅 데이터 개방 과정에서 가장 큰 문제다. 어떻게 하면 데이터를 충분히 개방하고, 응용하고, 즐기면서 시민과 기업의 프라이버시를 효과적으로 보호하고, 점차 프라이버시 입법을 강화하는 것은 빅데이터 시대의 큰 도전이 될 것이다.