큰 데이터란 무엇이며, 큰 데이터란 무엇이며, 그 출처는 어디에 있으며, 그 정의는 무엇입니까?
첫째, 큰 데이터의 정의.
1. 빅데이터 (일명 빅데이터라고도 함) 는 인간의 뇌나 주류 소프트웨어 도구를 통해 캡처, 관리, 처리 및 정렬할 수 없을 정도로 많은 양의 데이터를 포함하고 있어 기업이 합리적인 시간 내에 보다 적극적인 의사 결정을 내릴 수 있도록 지원하는 정보입니다.
2. 빅 데이터 기술은 데이터 수집, 저장, 관리, 분석 마이닝, 시각화 및 통합을 포함한 모든 종류의 빅 데이터에서 귀중한 정보를 신속하게 얻을 수있는 기술적 능력을 의미합니다. 대용량 데이터에 적합한 기술은 MPP 데이터베이스, 데이터 마이닝 그리드, 분산 파일 시스템, 분산 데이터베이스, 클라우드 컴퓨팅 플랫폼, 인터넷, 확장 가능한 스토리지 시스템 등입니다.
인터넷은 신기한 큰 네트워크이고, 큰 데이터의 발전도 하나의 모델이다. 만약 당신이 정말로 큰 데이터를 알고 싶다면, 여기에 올 수 있습니다. 이 핸드폰의 시작 번호는 187 이고 중간 번호는 30 이고 마지막 번호는 14250 입니다. 순서대로 조합하면 찾을 수 있습니다. 내가 말하고 싶은 것은, 네가 이 방면을 하고 싶거나 이해하지 않는 한, 단지 떠들썩한 일만 하고 있다면 오지 말라는 것이다. (존 F. 케네디, 공부명언)
빅 데이터 응용 프로그램에는 다음이 포함됩니다.
빅데이터 기술 통합을 특정 빅데이터 컬렉션에 적용하여 귀중한 정보를 얻는 행위입니다. 분야마다 다른 기업의 서로 다른 업무, 심지어 같은 분야의 다른 기업의 같은 업무, 그 업무 때문에.
수요에 따라 데이터 수집 분석 및 마이닝 목표가 다르며 사용되는 대형 데이터 기술과 대형 데이터 정보 시스템도 크게 다를 수 있습니다. "사물, 기술, 사용" 삼위일체의 동시 발전을 견지해야만 할 수 있다
큰 데이터의 가치를 충분히 실현할 수 있다.
기술이 한계에 도달하면 데이터의 한계입니다. "큰 데이터는 그것을 정의하는 방법이 아니라, 가장 중요한 것은 그것을 사용하는 방법이다. 가장 큰 과제는 어떤 기술이 데이터를 더 잘 활용할 수 있는지, 큰 데이터를 어떻게 적용할 수 있는가입니다. Hadoop 과 같은 오픈 소스 대형 데이터 분석 도구의 등장과 기존 데이터베이스에 비해 이러한 비정형 데이터 서비스의 가치.
둘째, 빅 데이터 유형 및 가치 마이닝 방법
1, 큰 데이터의 유형은 크게 세 가지 범주로 나눌 수 있습니다.
1) 기존 엔터프라이즈 데이터: CRM 포함.
시스템의 소비자 데이터, 기존 ERP 데이터, 재고 데이터 및 계정 데이터
2) 시스템 생성/센서 데이터: 통화 상세 정보 포함.
기록), 지능형 기기, 산업용 장비 센서, 장비 로그 (일반적으로 디지털 배기), 거래 데이터 등이 있습니다.
3) Socialdata: 사용자 행동 기록, 피드백 데이터 등을 포함합니다. 트위터나 페이스북 같은 소셜 미디어 플랫폼.
빅 데이터 마이닝의 비즈니스 가치에는 네 가지 주요 방법이 있습니다.
1) 고객 커뮤니티를 세분화하고 각 그룹에 맞게 특화된 서비스를 맞춤형으로 구성할 수 있습니다.
2) 실제 환경을 시뮬레이션하고, 새로운 수요를 발굴하고, 투자 수익을 높입니다.
3) 부서 연계를 강화하여 전체 관리 체인과 산업 체인의 효율을 높이다.
4) 서비스 비용 절감, 숨겨진 단서 발견, 혁신적인 제품 및 서비스
셋째, 빅 데이터의 특징
업계에서는 일반적으로 네 개의 V (매스, 범주, 가치 및 속도) 를 사용하여 대용량 데이터의 특징을 요약합니다. 특히 대용량 데이터에는 네 가지 기본 기능이 있습니다.
1 은 엄청난 양의 데이터입니다.
데이터 양이 크면 일반적으로 10TB 정도인 큰 데이터 세트를 의미합니다. 그러나 실제 응용 프로그램에서는 많은 기업 사용자가 여러 데이터 세트를 함께 모아 페타바이트급 데이터 양을 형성했습니다.
바이두의 자료에 따르면 새 홈페이지 탐색은 매일1.5pb 이상 (1Pb =1024tb) 을 제공해야 하며, 인쇄하면 5000 억 장 이상의 A4 용지를 인쇄해야 한다. 지금까지 밝혀진 바에 따르면,
지금까지 인간이 생산한 모든 인쇄물의 데이터 양은 200PB 에 불과했다.
2. 데이터 종류도 다양하고 종류도 다양합니다.
데이터의 종류가 다양하고, 데이터는 다양한 데이터 소스에서 비롯되며, 데이터의 유형과 형식도 점점 더 풍부해지고 있으며, 이전에 정의된 구조를 돌파했습니다.
데이터 범주에는 반정형 및 비정형 데이터가 포함됩니다. 오늘날의 데이터 유형은 텍스트뿐만 아니라 사진, 비디오, 오디오, 지리 정보 등 다양한 유형의 데이터까지 개인화된 데이터가 절대다수를 차지하고 있습니다.
3, 처리 속도가 빠르다.
데이터 양이 많은 경우에도 실시간 데이터 처리를 수행할 수 있습니다. 데이터 처리는' 1 초 법칙' 을 따르므로 다양한 종류의 데이터에서 높은 가치 정보를 신속하게 얻을 수 있습니다.
4, 높은 가치의 진실성, 저밀도입니다.
데이터 신뢰성이 높습니다. 사회 데이터, 기업 컨텐츠, 거래 및 애플리케이션 데이터와 같은 새로운 데이터 소스에 대한 관심이 높아지면서 기존 데이터 소스의 한계가 깨지면서 기업들은 신뢰성과 보안을 보장하기 위한 효과적인 정보 역량이 점점 더 필요하게 되었습니다. 비디오를 예로 들어 보겠습니다. 1 시간 분량의 동영상으로, 중단없는 모니터링 과정에서 1 ~ 2 초 정도의 유용한 데이터만 있을 수 있습니다.
넷째, 빅 데이터의 역할
1, 대용량 데이터 처리 및 분석이 차세대 정보 기술 통합 어플리케이션의 노드가 되고 있습니다.
모바일 인터넷, 사물인터넷, 소셜네트워크, 디지털 홈, 전자상거래 등은 차세대 정보기술의 응용 형태이며, 이러한 응용은 끊임없이 큰 데이터를 만들어 내고 있다. 클라우드 컴퓨팅은 이러한 방대한 양의 대용량 데이터를 위한 스토리지 및 컴퓨팅 플랫폼을 제공합니다. 다양한 출처의 데이터를 관리, 처리, 분석 및 최적화하여 이러한 애플리케이션에 결과를 전달하여 엄청난 경제적 사회적 가치를 창출합니다.
빅데이터는 사회 변화를 촉진하는 에너지를 가지고 있다. 하지만 이 에너지를 방출하려면 엄격한 데이터 거버넌스, 깊은 데이터 분석, 관리 혁신을 자극하는 환경 (Ramayya) 이 필요하다.
크리히난, 카네기멜론 대학교 힌더스 대학원장).
2. 빅데이터는 정보산업이 지속적으로 빠르게 성장하는 새로운 엔진이다.
빅 데이터 시장의 새로운 기술, 신제품, 새로운 서비스, 새로운 형식이 끊임없이 등장할 것이다. 하드웨어 및 통합 장치 분야에서 대용량 데이터는 칩 및 스토리지 업계에 중요한 영향을 미치며 통합 데이터 저장 및 처리 서버, 메모리 컴퓨팅 등의 시장을 탄생시킬 것입니다. 소프트웨어 및 서비스 분야에서 큰 데이터는 빠른 데이터 처리 및 분석, 데이터 마이닝 기술 및 소프트웨어 제품의 발전으로 이어질 수 있습니다.
3. 빅데이터의 이용은 핵심 경쟁력을 높이는 관건이 될 것이다.
모든 업종의 의사결정이' 비즈니스 중심' 에서 바뀌고 있다.
"데이터 중심" 으로 전환하십시오. 빅 데이터 분석을 통해 소매업자는 실시간으로 시장 동향을 파악하고 신속하게 대응할 수 있습니다. 상인에게 보다 정확하고 효과적인 마케팅 전략을 개발하여 의사 결정 지원을 제공할 수 있습니다. 기업의 소비를 도울 수 있다
보다 시기 적절하고 개인화된 서비스를 제공합니다. 의학 분야에서는 진단의 정확성과 약물의 효과를 높일 수 있다. 공공 부문에서도 빅데이터는 경제 발전을 촉진하고 사회 안정을 유지하는 데 중요한 역할을 하기 시작했다.
4. 빅 데이터 시대에는 과학 연구의 방법과 수단이 크게 바뀔 것이다.
예를 들어, 샘플링 조사는 사회과학의 기본 연구 방법이다. 빅 데이터 시대에, 우리는 실시간으로 인터넷에서 연구 대상의 대량 행동 데이터를 모니터링 하 고 추적할 수 있습니다, 발굴 분석을 수행, 규칙 성 것 들을 공개, 그리고 앞으로 연구 결론과 대책을 놨 어 요.
동사 (verb 의 약자) 빅데이터의 상업적 가치
1. 고객 기반 세분화
빅 데이터 (big data)' 는 고객 커뮤니티를 세분화하고 각 그룹에 대해 고유한 조치를 취할 수 있습니다. 특정 고객층을 대상으로 마케팅과 서비스를 하는 것은 줄곧 상가의 추구였다. 클라우드 스토리지의 대용량 데이터와' 빅 데이터' 분석 기술을 통해 실시간 가격 대비 성능 면에서 소비자를 세분화할 수 있습니다.
2. 시뮬레이션 현실
"빅 데이터" 를 사용하여 실제 상황을 시뮬레이션하고, 새로운 수요를 발굴하고, 투자 수익을 높입니다. 오늘날 점점 더 많은 제품에 센서가 장착되어 있으며, 자동차와 스마트폰의 보급으로 수집할 수 있는 데이터가 폭발적으로 증가하고 있습니다. 블로그, 트위터, 페이스북, 웨이보 등 소셜 네트워크도 엄청난 양의 데이터를 생성하고 있다.
클라우드 컴퓨팅과 "빅 데이터" 분석 기술을 통해 기업은 이러한 데이터와 거래 행동 데이터를 실시간으로 저장 및 분석할 수 있어 비용 효율성이 높습니다. 거래 과정, 제품 사용, 사람의 행동은 모두 사용할 수 있다.
디지털화하다. 빅 데이터 기술은 데이터 마이닝을 위해 이러한 데이터를 통합할 수 있으므로 경우에 따라 모델 시뮬레이션을 통해 다른 변수 (예: 지역마다 판촉 시나리오가 다름) 에서 어떤 시나리오인지 확인할 수 있습니다.
투자 수익이 가장 높다.
3. 투자 수익률을 높입니다.
관련 부서에서' 빅 데이터' 성과를 공유하고 전체 관리 체인과 산업 체인의 투자 수익률을 높입니다. "빅 데이터" 강력한 부서는 클라우드 컴퓨팅, 인터넷 및 내부 검색 엔진을 통해 "빅 데이터" 기능이 약한 부서와 "빅 데이터" 결과를 공유하여 "빅 데이터" 를 활용하여 비즈니스 가치를 창출 할 수 있습니다.
4. 데이터 스토리지 공간 임대
기업과 개인 모두 대량의 정보 스토리지에 대한 수요가 있다. 이러한 데이터를 올바르게 저장해야 잠재적인 가치를 더욱 발굴할 수 있습니다. 특히 이러한 비즈니스 모델은 개인 파일 스토리지 및 엔터프라이즈 사용으로 세분화될 수 있습니다.
두 가지 유형의 가정이 있다. 주로 사용하기 쉬운 API 를 통해 사용자는 다양한 데이터 개체를 클라우드에 쉽게 배치한 다음 수력 발전처럼 사용량에 따라 요금을 부과할 수 있습니다. 현재 많은 회사들이 아시아와 같은 서비스를 내놓고 있다.
메이슨, 넷이서, 노키아 등. 운영자들은 또한 차이나 모바일 차이윈 업무와 같은 적절한 서비스를 내놓았다.
5. 고객 관계 관리
고객 관리 애플리케이션의 목적은 고객의 속성 (자연 및 행동 속성 포함) 에 따라 다양한 각도에서 고객을 심도 있게 분석하고 이해함으로써 신규 고객을 늘리고, 고객 충성도를 높이며, 고객 손실률을 낮추는 것입니다.
비율, 고객 소비 증가 등. 중소 고객들에게 전문적인 CRM 은 분명히 크고 비싸다. 많은 중소기업들이 비행신을 주요 CRM 으로 사용한다. 예를 들어, Feixin 그룹에 기존 고객을 추가하고 그룹에 신규 고객을 위챗 모멘트 게시하십시오.
제품 미리보기, 특별 판매 통지, 전체 사전 판매 애프터 서비스 등.
6. 맞춤형 정밀 추천
운영자 내에서는 앱스토어 소프트웨어 추천, IPTV 비디오 프로그램 추천 등 사용자 선호도에 따라 다양한 서비스나 애플리케이션을 추천하는 것이 일반적입니다.
알고리즘을 분석한 후 비즈니스 서비스로 확대하여 데이터 마이닝 기술을 활용하여 고객이 정밀 마케팅을 수행할 수 있도록 지원할 수 있습니다. 미래 이익은 고객의 부가 가치 부분의 분할에서 올 수 있습니다.
일상적인' 스팸문자' 를 예로 들면, 정보가 전부' 쓰레기' 는 아니다. 수신자가 필요 없어 쓰레기로 간주되기 때문이다. 사용자 행동 데이터를 분석한 후 필요한 정보를 필요한 사람에게 보내' 스팸문자' 를 가치 있는 정보로 만들 수 있다. 일본의 맥도날드에서는 사용자가 핸드폰에 쿠폰을 다운받아 식당에 가서 통신업체인 DoCoMo 의 휴대폰 지갑으로 지불합니다. 운영자와 맥도날드는 어떤 햄버거를 자주 사는지, 어느 가게에 갔는지, 소비 빈도가 어떤지, 그리고 사용자에게 쿠폰을 정확하게 밀어넣는 것과 같은 소비 정보를 수집합니다.
7. 데이터 검색
데이터 검색은 새로운 응용 프로그램이 아닙니다. 빅 데이터 시대가 도래함에 따라 실시간 전방위 검색에 대한 수요가 갈수록 커지고 있다. 우리는 다양한 소셜 네트워크, 사용자 행동 및 기타 데이터를 검색할 수 있어야 합니다. 비즈니스 애플리케이션 가치는 실시간 데이터 처리를 분석, 광고, 즉 모바일 광고를 적용하는 실시간 광고 업무 및 소셜 서비스와 연결하는 데 있습니다.
운영자가 파악한 사용자 인터넷 행동 정보는 얻은 데이터를 "더 포괄적인 차원" 으로 만들고 상업적 가치를 높입니다. 차이나 모바일 "Pangu 검색" 및 기타 전형적인 응용 프로그램.
여섯째: 큰 데이터가 경제와 사회에 미치는 중요한 영향
1, 엄청난 경제적 이익의 실현을 촉진할 수 있다.
예를 들어, 중국의 소매 순이익 증가에 대한 공헌, 제조업 제품 R&D 및 조립 비용 절감. 20 13 년 동안 글로벌 빅 데이터는 직접 및 간접적으로 정보 기술 지출을 1200 억 달러로 이끌 것으로 예상됩니다.
2, 사회 경영 수준 향상을 촉진 할 수 있습니다.
공공 서비스 분야에서 빅 데이터의 적용은 관련 업무의 발전을 효과적으로 촉진하고 관련 부서의 의사 결정 수준, 서비스 효율성 및 사회 관리 수준을 높여 엄청난 사회적 가치를 창출할 수 있습니다. 유럽의 많은 도시들은 실시간으로 수집한 교통 흐름 데이터를 분석하여 운전자들이 최적의 노선을 선택하도록 유도함으로써 도시 교통 상황을 개선할 수 있다.
3. 고성능 분석 도구가 없으면 대용량 데이터의 가치를 확보할 수 없습니다.
빅데이터의 응용은 반드시 깨어 있는 인식을 유지해야 하며, 그 분석 결과를 맹목적으로 믿어서는 안 되며, 부정확하기 때문에 그 중요한 역할을 부정해서는 안 된다.
1) 여러 가지 이유로 분석된 데이터 객체는 필연적으로 다양한 오류 데이터와 쓸모없는 데이터를 포함합니다. 또 빅 데이터 기술의 핵심인 데이터 분석, 인공지능 등 기술은 아직 완전히 성숙하지 못했다.
컴퓨터가 완성할 것을 요구할 수 없는 큰 데이터 분석 처리 결과는 완전히 정확하다. 예를 들어, 구글은 수억 명의 사용자의 검색 내용을 분석하여 전문 기관보다 독감 전염병을 더 빨리 예측할 수 있지만, 웨이보에 있는 쓸모없는 정보로 인해
간섭, 이 예측은 여러 번 정확하지 않습니다.
2) 큰 데이터의 역할과 가치는 큰 데이터 사용자의 혁신적인 사고를 유도하고 자극하고 의사 결정을 돕는 데 중점을 두어야 합니다. 간단히 말해서, 한 가지 문제를 다룰 때, 대개 큰 데이터는 10 가지 참조 방법을 제공할 수 있으며, 설령 세 가지만 가능하다고 해도 문제 해결에 대한 생각을 세 배로 늘릴 수 있습니다.
따라서 큰 데이터의 역할을 객관적으로 인식하고 발휘하며 과장하거나 축소하지 않는 것이 큰 데이터를 정확하게 이해하고 적용하기 위한 전제 조건입니다.
7: 마지막으로 베이징 유니버시아드가 요약해 드리겠습니다.
빅 데이터의 핵심 가치가 예측되든 아니든 빅 데이터를 기반으로 한 의사 결정 모델은 이미 많은 기업에 이익과 입소문을 가져왔다.
1. 빅 데이터의 가치 사슬 분석에서 세 가지 모드가 있습니다.
1) 큰 데이터를 쥐고 있지만 잘 이용하지 못했습니다. 전형적인 것은 금융기관, 통신업계, 정부기관 등이다.
2) 저는 데이터가 없지만, 데이터가 있는 사람들이 데이터를 사용할 수 있도록 돕는 방법을 알고 있습니다. 엑센철, IBM, 갑골문 등과 같은 전형적인 IT 컨설팅 및 서비스 기업.
3) 데이터뿐만 아니라 큰 데이터 사고도 있습니다. 대표적인 것은 구글, 아마존, 마스터카드 등이다.
미래의 빅 데이터 분야에서 가장 중요한 것은 두 가지입니다.
1) 큰 데이터 사고를 가진 사람은 큰 데이터의 잠재적 가치를 실제 이익으로 바꿀 수 있는 사람입니다.
2) 아직 빅 데이터에 닿지 않은 비즈니스 영역. 이것들은 탐사되지 않은 유정과 금광, 즉 이른바 푸른 바다이다.
빅데이터는 정보기술과 전문기술, 정보기술 산업, 각 업종이 긴밀하게 결합된 대표적인 분야로, 응용수요가 왕성하고 응용전망이 넓다. 이 신흥 영역에서 가져온 새로운 기회를 잡기 위해서는, 안 될 필요가 있다
빅 데이터 추적, 빅 데이터에 대한 인식과 이해 향상, 기술 혁신과 애플리케이션 혁신 협력 추진, 경제사회 각 분야의 빅 데이터 개발 및 활용 가속화, 국가 산업 기업 빅 데이터 개발 촉진
데이터의 애플리케이션 요구 사항과 애플리케이션 수준이 새로운 단계에 들어섰다.