풍부한 데이터 소스는 빅 데이터 산업 발전의 전제이다. 우리나라 디지털 데이터 자원의 총량은 미국과 유럽보다 훨씬 낮으며, 신설 데이터량은 미국의 7%, 유럽의 12% 에 불과하며, 그 중 정부와 제조업의 데이터 자원 축적은 외국보다 훨씬 뒤처져 있다. 제한된 데이터 자원의 경우 표준화가 낮고 정확도가 낮으며 무결성이 낮고 활용 가치가 낮은 경우가 여전히 있어 데이터 가치를 크게 낮출 수 있습니다.
빅데이터 시대에는 분석과 예측의 정확성을 높이기 위해 보다 포괄적인 데이터가 필요하므로 보다 편리하고 저렴하며 자동화된 데이터 생산 도구가 필요합니다. 인터넷에서 사용하는 브라우저가 의도하지 않게 개인 정보와 데이터를 기록하는 것 외에도 휴대폰, 스마트 시계, 스마트 팔찌 등 다양한 착용 가능한 장비도 항상 데이터를 생성하고 있습니다. 심지어 우리 집의 라우터, 텔레비전, 에어컨, 냉장고, 정수기, 청정기 등도 있습니다. 점점 더 스마트해지고, 네트워킹 기능을 갖추게 됩니다. 이 가전제품들은 우리를 더 잘 서비스하는 동시에 대량의 데이터를 생산하고 있다. 심지어 우리가 쇼핑을 갔을 때, 상가의 와이파이, 통신업체의 3G 네트워크, 유비쿼터스 카메라와 전자눈, 백화점의 셀프 스크린, 은행의 ATM, 주유소, 편의점 곳곳에 있는 브러시가 모두 데이터를 생성하고 있었다.
과제 2: 데이터 마이닝 분석 모델 구축
빅 데이터 시대에 들어서면서 사람들은 빅 데이터에 대해 이야기하고 있습니다. 이것은 새로운 추세로 진화 한 것 같습니다. 데이터는 그 어느 때보다 우리 생활의 모든 구석에 뿌리를 두고 있다. 우리는 데이터로 문제를 해결하고, 복지를 개선하고, 새로운 경제 번영을 촉진하려고 노력한다. 사람들은 빅데이터에 대한 높은 기대와 빅 데이터 분석 기술에 대한 각별한 낙관을 나타냈다. (윌리엄 셰익스피어, 빅데이터, 빅 데이터, 빅 데이터, 빅 데이터, 빅 데이터, 빅 데이터) 그러나 빅 데이터 분석에 관해서는 사람들이 마법의 가치를 떠들썩하게 하고 있지만, 실제 응용된 모델과 방법은 거의 없다. 이러한 딜레마의 원인은 크게 두 가지입니다. 하나는 여전히 큰 데이터 분석 가치 논리에 대한 심도 있는 통찰력이 부족하다는 것입니다. 둘째, 빅 데이터 분석의 일부 중요한 요소 또는 기술은 아직 성숙하지 않습니다. 빅 데이터 시대 데이터의 대량 증가, 이런 빅 데이터 분석 논리의 부족, 빅 데이터 기술의 발전은 우리가 빅 데이터 시대에 직면한 도전이다.
큰 데이터의 크기는 일반적으로 그 방대한 데이터 규모를 가리키는 것으로 여겨진다. 데이터 기록, 수집 및 전송에 대한 인간의 기술 혁명과 함께 데이터 수집의 편리성과 저비용으로 인해 원래 고비용 방식으로 얻은 데이터가 제한된 작은 데이터가 인간의 태도나 행동을 묘사하여 거대하고 방대한 패킷이 되었습니다. 이것은 사실 일방적인 이해이다. 사실, 빅 데이터 시대 이전에는 이미 방대한 데이터 세트가 있었지만, 차원이 단일하여 사람이나 사회의 유기적 활동 상태에서 벗어났기 때문에 진실을 분석하고 이해하는 가치는 극히 제한적이었다. 큰 데이터의 진정한 가치는 크기가 아니라 포괄성, 즉 다각, 다층적 정보가 공간 차원에서 겹치고 재현되는 것입니다. 시간 차원에서 사람이나 사회 유기체의 활동과 관련된 정보를 지속적으로 제시하다.
과제 3: 데이터 공개와 개인 정보 보호 간의 균형
데이터 응용 프로그램의 전제는 데이터가 열려 있다는 것입니다. 이것은 이미 * * * 학습입니다. 일부 전문가들은 중국 인구 세계 1 위를 차지했지만 20 10 년 동안 중국이 새로 저장한 데이터는 250PB 로 일본의 60%, 북미의 7% 에 불과하다고 지적했다. 현재, 우리나라의 일부 부서와 기관은 대량의 데이터를 가지고 있지만, 관련 부서에 제공하는 것보다 자기가 사용하지 않는 것이 낫다. 이로 인해 정보가 불완전하거나 중복 투입된다. 20 12 년 동안 중국의 데이터 스토리지 용량은 64EB 에 달했으며, 이 중 55% 는 어느 정도의 보호가 필요했지만 현재 데이터의 절반도 안 되는 데이터만 보호되고 있습니다.
개방성과 프라이버시의 균형을 맞추는 방법도 큰 문제다. 어떤 기술이든 양날의 검이고, 큰 데이터도 예외는 아니다. 어떻게 하면 데이터를 충분히 개방하고, 응용하고, 즐기면서 시민과 기업의 프라이버시를 효과적으로 보호하고, 점차 프라이버시 입법을 강화하는 것은 빅데이터 시대의 큰 도전이 될 것이다.
과제 4: 빅 데이터 관리 및 의사 결정
빅데이터의 기술적 과제는 분명하지만, 이로 인한 의사 결정 과제는 더욱 까다롭다. 빅 데이터의 핵심은 조직의 의사 결정 방법 및 의사 결정에 직접적인 영향을 미친다는 것입니다. 정보가 제한되어 있고, 취득비용이 높고, 디지털화되지 않은 시대에, 조직에서 중대한 결정을 내리는 사람들은 대개 가중치가 높은 사람들이거나, 고가의 전문 기술, 이력서가 우수한 외부 싱크탱크이다. 그러나 오늘날의 비즈니스 세계에서 임원들은 여전히 데이터보다 개인적인 경험과 직관에 더 의존하고 있습니다.
빅 데이터 개발의 근본 목적은 데이터 분석을 기반으로 사람들이 보다 현명한 결정을 내리고 기업과 사회의 운영을 최적화할 수 있도록 돕는 것입니다. 하버드 상업평론' 에 따르면 빅데이터는 본질적으로' 관리혁명' 이라고 한다. 빅데이터 시대의 결정은 경험에만 의존해서는 안 되고, 진정으로' 데이터로 말하기' 해야 한다. 따라서 큰 데이터는 실제로 역할을 할 수 있습니다. 더 깊은 수준에서, 우리는 우리의 관리 모델을 개선해야 하고, 우리는 빅데이터 기술 도구의 관리 방법과 아키텍처에 적응해야 한다. 이것은 아마도 우리가 극복하기 가장 어려운 장애물일 것이다.
과제 5: 빅 데이터 인재 격차
Hadoop 이 대표하는 큰 데이터가 코끼리라면 기업은 그것을 길들일 수 있는 조련사가 있어야 한다. 많은 회사들이 이런 빅 데이터 기술을 열정적으로 포옹할 때 빅 데이터 기술에 정통한 관계자들도 큰 격차가 되었다.
빅데이터 건설의 모든 과정은 전문가가 완성해야 한다. 따라서 지휘, 기술, 관리를 아는 대규모 데이터 건설 전문 팀을 양성하고 만들어야 한다.