대용량 데이터, 즉 대용량 데이터, 대용량 데이터, 대용량 데이터는 인력으로 합리적인 시간 내에 가로막고 관리할 수 없는 엄청난 양의 데이터를 의미합니다. 인터넷 업계의' 빅 데이터' 는 인터넷 회사가 일상적인 운영에서 생성되고 축적되는 사용자 네트워크 행동 데이터를 말합니다. 이 데이터의 규모는 너무 커서 G 나 T 로 측정할 수 없다.
페이스북
중국의 빅 데이터
빅 데이터의 특징:
특히 대용량 데이터에는 네 가지 기본 기능이 있습니다.
첫째, 데이터의 양이 엄청납니다. 바이두 데이터에 따르면, 그 새로운 첫 페이지 네비게이션은 매일 제공해야 할 데이터 비율을 보여준다.
1, 5PB( 1PB= 1024TB), 5000 억 장 이상의 A4 용지를 인쇄합니다. 지금까지 인간이 생산한 모든 인쇄물의 데이터 양은 200PB 에 불과하다는 것이 증명되었다.
역사를 연출하는 데는 133 일만 소요됩니다.
둘째, 데이터 유형은 다양합니다. 오늘날의 데이터 유형은 텍스트뿐만 아니라
사진, 비디오, 오디오, 지리적 위치 정보 등 유형의 데이터가 더 많으며 개인화된 데이터가 절대다수를 차지합니다.
셋째, 처리 속도가 빠르다.
데이터 처리는' 1 초 법칙' 을 따르므로 다양한 종류의 데이터에서 높은 가치 정보를 신속하게 얻을 수 있습니다. 넷째, 가치 밀도가 낮다. 비디오를 예로 들어 보겠습니다. 1 시간 분량의 동영상으로, 중단없는 모니터링 과정에서 1 ~ 2 초 정도의 유용한 데이터만 있을 수 있습니다.
유용한 데이터는 1/3600 뿐입니다. 빅 데이터 시대의 도래, 준비 됐니?
빅 데이터 시대가 다가오고 있습니다.
세계적인 유명 컨설팅 회사인 맥킨지가 가장 먼저' 빅 데이터' 시대를 제시했다. 맥킨지는 "데이터는 오늘날 모든 업종 및 비즈니스 기능 분야에 침투하여 중요한 생산 요소가 되었다" 고 말했다. 대량 데이터의 발굴과 응용은 새로운 생산성 증가와 소비자 잉여의 도래를 예고하고 있다. "
20XX 년, bigdata 라는 단어는 점점 더 많이 언급되었다. 사람들은 정보 폭발 시대에 생성된 방대한 데이터를 설명하고 정의하며, 관련 기술 발전과 혁신에 이름을 붙입니다. 뉴욕타임즈 월스트리트저널 칼럼의 표지에 올라 미국 백악관 뉴스에 진출해 국내 일부 인터넷 주제의 강연 살롱에 등장했으며 곽진증권, 국태군안, 은하증권의 민감한 후각에 의해 투자 추천 보고서에 기재되기도 했다. (윌리엄 셰익스피어, Northern Exposure, Northern Exposure (미국 TV 드라마), 스포츠명언)
2. 데이터가 급속히 팽창하면서 기업의 미래 발전을 결정한다. 많은 기업들이 폭발적인 데이터 증가로 인한 숨겨진 위험을 인식하지 못할 수도 있지만, 시간이 지남에 따라 기업들은 데이터의 중요성을 점점 더 인식하고 있습니다. 뉴욕타임즈가 20XX 년 2 월 한 칼럼 문장 에서 말했듯이' 빅 데이터' 시대가 도래했다. 비즈니스, 경제 및 기타 분야에서 의사 결정은 경험과 직관이 아닌 데이터와 분석을 기반으로 합니다. 하버드 대학의 사회학 교수인 게리 킹은 "이것은 혁명이다. 방대한 데이터 자원은 이미 각 분야의 정량화 과정을 시작했고, 모든 분야, 학술, 상업, 정부가 이 과정을 시작할 것이다. "
대용량 데이터 애플리케이션 사례:
1, 의료 산업
캐나다 토론토에 있는 한 병원에서는 초당 3,000 명이 넘는 조산아의 데이터 수치가 있다. 이 수치에 대한 분석을 통해 병원은 어떤 조산아에 문제가 있는지 미리 알 수 있으며, 조산아의 사망을 막기 위한 목표 조치를 취할 수 있다.
2. 스마트 그리드는 에너지 산업에서 현재 유럽에서 단말기를 실현하였다. 이른바 스마트 전기 계량기이다. 독일에서는 태양 에너지 사용을 장려하기 위해 집에 태양 에너지를 설치할 것이다. 전기를 너에게 파는 것 외에, 너의 태양열은 여분의 전기가 있어서 다시 살 수 있다. 전력망을 통해 5 분 또는 10 분마다 데이터를 수집하면 수집된 데이터를 사용하여 고객의 전기 사용 습관을 예측하여 향후 2 ~ 3 개월 동안 전체 전력망에 필요한 전기의 양을 추정할 수 있습니다. 이 예측을 통해 발전이나 전력 공급 업체에서 일정량의 전기를 구매할 수 있다. 전기는 선물과 비슷하기 때문에 미리 사면 좀 싸고 현물을 사면 좀 비싸요. 이런 예측을 통해 구매 비용을 낮출 수 있다.
3. 통신업계
통신 사업자는 수많은 고객 데이터를 통해 다양한 사용자 행동과 추세를 분석하여 수요가 있는 기업에 판매할 수 있습니다. 이것은 완전히 새로운 정보 경제이다. 차이나 모바일 (WHO) 는 빅데이터 분석을 통해 기업 운영의 전체 업무에 대한 목표 모니터링, 경보 및 추적을 수행합니다. 시스템은 시장 변화를 자동으로 포착한 후 가장 빠른 방법으로 지정된 책임자에게 푸시하여 시장 상황을 최대한 빨리 이해하고 자신의 경험과 함께 야간 흐름 패키지를 옮길 수 있도록 합니다.
4. 소매업
소매업체는 또한 고객의 점포 내 걷기와 상품과의 상호 작용을 감시한다. 이들은 이 데이터를 거래 기록과 결합하여 어떤 상품을 판매하는지, 상품을 어떻게 배치하는지, 언제 판매가격을 조정할 것인지에 대한 조언을 제공합니다. 이 방법은 한 소매업체가 17% 의 재고를 줄이는 데 도움이 되었으며, 시장 점유율을 유지하면서 자사 브랜드의 높은 이익률 상품의 비율을 높였습니다.
빅 데이터 3 분 연설 패러다임 (2)
큰 데이터를 말하는 이상 큰 데이터의 정의를 먼저 이해해야 한다. 큰 데이터란 무엇입니까? 미래에 한 사람이 현재 전 세계의 컴퓨팅 능력보다 더 많은 컴퓨터 장비를 가지고 있다면, 한 사람이 현재 전 세계 데이터보다 더 많은 데이터를 생성하고, 심지어 당신의 애완견도 현재 전 세계 데이터보다 더 많은 정보를 생성한다고 상상해 보십시오. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 컴퓨터명언) 세상에 무슨 일이 일어날까요? 그럼 먼저 홈페이지에서 제시한 큰 데이터의 정의를 살펴봅시다.
사업에 유용한 데이터를 내보낼 수 있습니다. 빅데이터 업무에 대한 목적이 있는 정의: "빅데이터를 이용하여 경제와 사회 문제를 해결하다. 상업의 부가가치를 높이다. 또는 지원 사업 "큰 데이터는 그 크기뿐만 아니라 데이터가 무엇으로 구성되어 있는지, 큰 데이터를 어떻게 사용하는지도 포함한다. 이는 현행 제도와는 다르다. 판매된 데이터 기반 관리 도구나 지금까지 데이터를 처리하고 있는 애플리케이션을 사용하여 복잡한 데이터 세트를 처리하는 것은 매우 어렵습니다.
중국 두 개 더 보세요.
그렇다면 큰 데이터란 무엇일까요? 사실 많은 데이터입니다. 대량의 정보를 데이터로 저장한 다음, 데이터가 너무 커서 쉽게 사용할 수 없을 때까지 계속 축적합니다. 빅데이터는 신기한 것이 아니다. 영화' 무궁무진' 에서 제기된 질문처럼 인간은 보통 뇌의 20% 만 사용한다. 만약 그들의 나머지 80% 의 뇌 잠재력이 자극된다면, 세상은 어떻게 될까요? 기업, 산업, 국가 관리에서 일반적으로 20% 미만의 데이터만 효과적으로 활용됩니다 (이하). 데이터의 나머지 80% 의 가치가 자극된다면 세계는 어떻게 될까요? 특히, 새로운 대량 데이터 무어의 법칙과 함께, 데이터가 폭발 하 고 데이터가 더 효율적으로 적용 됩니다. 세상은 어떻게 될까요? 당신의 상상력으로 생각하라. (서양속담, 생각속담)
그렇다면 큰 데이터는 어떻게 형성될까요?
과거에는 거래 시스템 및 비즈니스 시스템에서 생성된 데이터를 데이터 웨어하우스를 통해 분석하고 시연하는 데 주력했습니다. 사실 단말기, 특히 개인들은 구매 목록, 인터넷 브라우징 역사, 사진, 웨이보 등 다양한 조립 라인 작업을 하고 있습니다. 하지만 우리는 그들에게 주의를 기울이지 않았습니다. 빅 데이터 시대에, 우리는 이러한 대량의 데이터에 더 많은 관심을 기울이고, 그것을 분석하고 가치를 찾기를 희망했다. 따라서 빅 데이터는 실제로 시스템, 터미널, 개인 등에서 발생합니다. 예전에는 있었지만 써본 적이 없어요. 이것이 빅 데이터 형성의 이유와 의미입니다. 더 많은 데이터는 차폐되거나 사용되지 않으면 가치가 없다. 중국 항공편은 모두 늦었는데, 미국 항공편의 제시간에 비하면. 그 중에서도 미국 공관기구의 우수 사례 중 하나가 긍정적인 역할을 했다. 또한 미국은 지난 한 해 동안 각 항공사, 각 항공편의 지연률 및 평균 지연시간을 발표해 고객이 항공권을 구매할 때 자연스럽게 정시율이 높은 항공편을 선택할 수 있도록 함으로써 항공사를 시장 수단을 통해 정시율을 높이기 위해 노력할 것입니다. 이런 간단한 방법은 어떤 관리 수단 (예: 중국 정부의 거시적 통제 수단) 보다 더 직접적이고 효과적이다.
먼저 이 인쇄 교재를 말하고 두 가지 예를 들었다. 후쿠시마 원전과 편의점의 장점에 큰 데이터를 사용했다. 예를 들어, 슈퍼마켓은 많은 물건을 사고, 그 후에 사는 사람들은 그다지 쌓이지 않는다. 설령 가격을 낮춰도 반드시 팔 수 있는 것은 아니다. 적자를 초래할 수 있다. (존 F. 케네디, 돈명언) 그리고 편의점은 주변 생활을 하는 사람에 따라 선택의 여지가 있는 상품을 구매한다. 직장인 아파트 근처에서 패스트푸드를 많이 먹고 노인이나 중년층이 많은 곳에서 일용품을 많이 먹는다. 후쿠시마 원자력 발전소의 경우 원자력 발전소 모니터링 정보를 제때에 수집하고 분석하면 문제가 발견되고 유출될 가능성이 있어 문제를 해결하고 손실을 피할 수 있다. 이는 앞으로 발생할 수 있는 사고를 예측하여 효과적으로 피하기 위한 것이다. 또 다른 예로, 천문학자들은 천체의 운행 궤적을 연구하여 더 많은 행성을 발견했다. 이 데이터를 함께 수집하는 것은 큰 데이터입니다. 이 데이터를 분석하여 앞으로 행성이 지구에 충돌할 가능성이 있다는 것을 계산할 수 있다. 그런 다음이 파괴적인 타격을 없애기 위해 필요한 조치를 취하십시오. 어떻게 현재를 인식할 수 있을까요? 예를 들어, 의학적으로는 의료 장비를 통해 세포를 관찰한 다음, 다른 검사에 근거하여 세포가 암세포인지 아닌지를 추론한다. 우리가 판단의 근거를 데이터로 바꾸고, 컴퓨터를 입력하고, 암세포를 주는 것과 같은 학습 능력을 준다면, 그는 그 세포들의 특징을 기억할 것이고, 시간이 지남에 따라 그의 정확도는 점점 높아질 것이다. 의학에서의 역할이 빠를수록 두드러진다. 이것은 그의 응용에 대한 간단한 이해이다. 이후 조비는 이 방면의 내용을 좀 더 심도 있게 이야기할 것이다.
그럼, 빅데이터가 우리에게 좋은가요? 그렇지 않아요. 그 의학적 예처럼. 개발된 기계는 암세포를 진단하는 직원을 실직시킬 수 있다. 1980 년대 공장이 점차 자동화되는 것처럼 근로자들은 실직하게 된다
매우 진지하다. 만약 네가 말이라면, 너는 분명히 산업 혁명을 좋아하지 않을 것이다.
다음으로, 빅 데이터가 직면 한 문제에 대해 이야기 해 봅시다. 즉, 이 빅 데이터를 잘 활용하고 사람들에게 봉사하며 우리에게 이익을주는 방법입니다. LSST 를 예로 들어 보겠습니다. 다국적 합작으로 개발한 광역 천문 망원경입니다. 지금은 칠레의 한 산에 있습니다. 20XX 년에 건설을 시작했고, 20XX 년 찰스 시몬과 빌 게이츠는 각각 LSST 프로젝트에 20XX 달러와 65,438+00 만 달러를 기부했다. LSST 프로젝트는 여전히 National Science Foundation 에서 거의 4 억 달러를 찾고 있다. 。 3 일마다 하루 종일 촬영할 수 있습니다. 20XX 년에는 슈퍼디지털카메라를 장착해 32 억 픽셀에 달하는 사진을 찍을 예정이다. 이런 사진을 표시하려면 1500 HDTV 화면이 필요합니다. LSST 의 카메라는 매년 20 만 장 이상의 사진을 찍는데, 이는 연구원의 분석 능력을 뛰어넘는다. 이 데이터를 잘 활용하면 막대한 부가 될 것이지만, 아직 효과적인 해결책은 없다. 분석할 인력도 없고, 직접 분석할 장비도 없습니다. 그래서이 데이터 더미는 쓸모없는 데이터이며 쓸모가 없습니다. 그래서 빅데이터는 잠재력이 큰 과학이다. 다음으로, TED 강연의 비디오를 보여드리겠습니다.
강연자는 케네스 쿡예이다. 월스트리트저널 (아시아판) 과 트리뷴 국제 파이오니아를 위해 일하고 있습니다. 그는 미국 외교관계위원회 위원이자 미국 케이블 뉴스망, BBC, NPR 의 정기 상업 및 기술 평론가 중 한 명이다. 그는 큰 데이터에 대해 깊은 연구를 하고 있다. 그가 큰 데이터를 어떻게 평가했는지 들어보세요. 이 강연을 보고 조비는 큰 데이터에 대한 더 깊은 이해를 가져다 달라고 부탁했다.