한 과학기술회사가' 빅 데이터' 라는 개념을 정확하게 정의했다면 구글일 것이다. 검색연구회사 콤스크에 따르면 2065.438+02 년 3 월 구글이 처리한 검색어 수는 6543.8+02 억 2 천만 명에 달했다.
구글은 검색 결과에 나타나는 인터넷 연결뿐만 아니라 모든 사람이 키워드를 검색하는 행위도 저장합니다. 그것은 사람들의 검색 행동의 시간, 내용 및 방식을 정확하게 기록할 수 있다. 이러한 데이터를 통해 구글은 광고 순위를 최적화하고 검색 트래픽을 수익 모델로 변환할 수 있습니다. 구글은 사람들의 검색 행동을 추적할 수 있을 뿐만 아니라, 검색자가 다음에 무엇을 할 것인지 예측할 수 있다. 즉, 구글은 당신이 무엇을 찾고 있는지 깨닫기 전에 당신의 의도를 예측할 수 있습니다. 대량의 인간-기계 데이터를 캡처, 저장 및 분석한 다음 이러한 데이터를 기반으로 예측할 수 있는 기능을 "빅 데이터" 라고 합니다.
20 12: 빅 데이터 교차로?
왜 큰 데이터가 갑자기 이렇게 불붙는가? 뉴욕타임즈는 왜 20 12 를' 빅 데이터의 교차로' 로 정의합니까?
빅 데이터가 주류 대중의 시야에 들어선 것은 세 가지 주요 트렌드의 합력에서 비롯된다.
첫째, 많은 고급 소비재 회사들이 빅데이터의 응용을 강화했다. 페이스북, 거대한 소셜네트워크서비스, 큰 데이터를 사용하여 사용자가 자신의 네트워크에서 하는 행동을 추적하고, 자신의 네트워크에서 친구를 식별하여 새로운 친구를 추천하는 조언을 해준다. 사용자의 친한 친구가 많을수록 그들과 페이스북 사이의 점도가 높아진다. 더 많은 친구는 사용자가 더 많은 사진을 공유하고, 더 많은 상태 업데이트를 게시하고, 더 많은 게임을 한다는 것을 의미한다.
상업 사이트 LinkdIn 은 큰 데이터를 이용하여 구직자와 채용 직위 사이에 관계를 맺었다. LinkdIn 을 사용하면 헤드헌터는 더 이상 낯선 전화를 하지 않고 잠재 직원에게 운에 맡기는 대신 간단한 검색을 통해 잠재 직원을 찾아 연락할 수 있다. 마찬가지로 구직자는 웹사이트에서 다른 사람에게 연락함으로써 자연스럽게 잠재적 고용주에게 자신을 판매할 수 있다.
둘째, 이들 두 회사는 모두 20 12 초 출시되었다. 페이스북은 나스닥에 상장되고, LinkedIn 은 뉴욕증권거래소에 상장된다. 이 두 회사는 구글과 마찬가지로 표면적으로는 소비재 회사이지만, 본질은 빅데이터 회사이다. 이 두 회사 외에도 Splunk 는 20 12 에 상장을 마쳤습니다. 중대형 기업이 운영 지능을 제공할 수 있도록 도와주는 대형 데이터 기업입니다. 이 회사들의 공개 상장은 월가의 빅 데이터에 대한 흥미를 증가시켰다. 이런 관심은 실리콘 밸리의 벤처 투자자들이 빅데이터 회사에 잇달아 투자하기 시작한 전례 없는 성황을 가져왔다. (윌리엄 셰익스피어, 실리콘, 실리콘, 실리콘, 실리콘, 실리콘, 실리콘, 실리콘, 실리콘) 빅데이터는 다음 창업 물결로 이어질 것이며, 이 물결은 앞으로 몇 년 동안 실리콘 밸리가 월가를 대체할 것으로 예상된다.
셋째, 아마존, 페이스북, LinkedIn 등 데이터 중심 소비재의 활발한 사용자들은 생활과 오락을 위한 것이 아니라 직장에서 거창한 데이터 사용 경험을 얻을 수 있을 것으로 기대하고 있다. 이용자들은 인터넷 소매상 아마존이 책 읽기, 영화 추천, 상품 구매를 추천할 수 있기 때문에 왜 그들의 회사가 비슷한 일을 할 수 없는지 궁금했다.
예를 들어, 렌터카 회사는 고객의 과거 렌터카 정보와 기존의 사용 가능한 차량 재고를 보유하고 있기 때문에, 왜 이들 회사는 다른 렌터카에게 적합한 차량을 더 현명하게 제공할 수 없습니까? 회사는 또한 신기술을 통해 특정 시장의 상황, 회의 활동 정보 및 시장 공급과 수요에 영향을 줄 수 있는 기타 사건과 같은 공공 정보를 활용할 수 있습니다. 내부 공급망 데이터와 외부 시장 데이터를 결합하면 어떤 차량을 사용할 수 있는지, 언제 사용할 수 있는지 더 정확하게 예측할 수 있습니다.
마찬가지로 소매업자는 외부 공개 데이터와 내부 데이터를 결합하고 이 혼합 데이터를 제품 가격 및 시장 레이아웃에 사용할 수 있어야 합니다. 동시에, 우리는 또한 현물 공급 능력과 소비자 쇼핑 습관에 영향을 미치는 많은 요소들을 고려할 수 있는데, 그중에는 어느 두 제품을 함께 넣으면 더 잘 팔리는 것을 포함하여 소매상이 소비자의 평균 구매량을 늘리고 더 높은 이윤을 얻을 수 있도록 할 수 있다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 상품명언)
구글의 행동
구글의 규모와 범위는 대부분의 다른 회사들보다 큰 데이터를 더 많이 적용할 수 있는 방법을 제공한다. 구글의 장점 중 하나는 소프트웨어 엔지니어 대군을 보유하고 있어 구글이 처음부터 빅 데이터 기술을 구축할 수 있다는 점이다.
구글의 또 다른 장점은 기반 시설이다. 구글 검색 엔진 자체는 수천 대의 서버를 원활하게 연결할 수 있도록 설계되었습니다. 더 많은 처리 또는 스토리지 요구 사항이 있거나 서버가 충돌하는 경우 구글 엔지니어는 더 많은 서버를 추가하여 쉽게 처리할 수 있습니다.
구글 소프트웨어 기술의 설계도 같은 인프라 개념을 고수한다. MapReduce(Google 에서 개발한 프로그래밍 도구) 는 대규모 데이터 세트의 병렬 작업에 사용됩니다. 번역자주) 와 구글 파일 시스템이 대표적인 예입니다. 연결지는 20 12 초여름에 이 두 소프트웨어 시스템이 "구글이 검색 색인을 만드는 방식을 개조했다" 고 보도했다.
현재 많은 기업들이 MapReduce 와 Google 파일 시스템의 오픈 소스 파생물인 Hadoop 을 사용하고 있습니다. Hadoop 을 사용하면 여러 컴퓨터에 거대한 데이터 세트를 분산하여 처리할 수 있습니다. 다른 회사들이 Hadoop 을 처음 사용하기 시작했을 때 구글은 수년 동안 빅 데이터 기술에 깊이 경작해 왔으며, 이로 인해 업계 내에서 큰 우위를 점하게 되었습니다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 성공명언)
현재 구글은 데이터 처리 분야를 더 개방하여 더 많은 제 3 자와 공유하고 있다. 구글은 최근 인터넷 서비스인 BigQuery 를 출시했다. 이 서비스를 통해 사용자는 큰 데이터 세트에 대한 대화식 분석을 수행할 수 있습니다. 구글의 현재 상황에 따르면,' 초대형' 은 수십억 줄의 데이터이다. BigQuery 는 명령에 따라 클라우드에서 실행되는 데이터 분석입니다.
또한 구글은 구글 웹사이트에서 검색해 인터넷을 통해 생성되는 기계 데이터를 대량으로 보유하고 있다. (윌리엄 셰익스피어, 구글, 구글, 구글, 구글, 구글, 구글, 구글, 구글) 사용자가 입력하는 모든 검색 요청은 구글에게 그가 무엇을 찾고 있는지 알려주고, 인간의 모든 행동은 인터넷에 흔적을 남기며, 구글은 이미 경로를 포착하고 분석하기에 좋은 점을 차지하고 있다.
그뿐 아니라 구글은 검색 외에 데이터를 더 많이 얻을 수 있는 방법이 있다. 회사는 구글 분석 등의 제품을 설치해 방문자의 웹 사이트 발자국을 추적하는데, 구글도 이 자료를 얻을 수 있다. 이 사이트는 구글 광고연맹을 이용해 구글 광고고객 네트워크의 광고를 홈페이지에 전시하기 때문에 구글은 자신의 홈페이지에 있는 광고의 전시 효과뿐만 아니라 다른 광고 발표 사이트의 전시 효과도 한눈에 파악할 수 있다.
이러한 모든 데이터를 하나로 묶은 결과 기업은 최고의 기술뿐 아니라 최고의 정보에도 혜택을 볼 수 있습니다. 정보기술 방면에서 많은 기업들이 비용이 많이 든다고 할 수 있다. 하지만 정보기술의 구성 요소 중 하나인 정보 분야에서는 구글이 막대한 투자를 하고 큰 성공을 거두었지만 이에 필적할 수 있는 기업은 거의 없다.
아마존은 걸음걸이가 빡빡하다.
구글만이 큰 데이터를 홍보하는 대형 기술 회사는 아니다. 인터넷 소매상인 아마존은 구글의 가장 큰 위협이 될 수 있는 급진적인 행동을 취했다.
아마존의 20 15 년 매출이 1000 억 달러를 넘어 곧 월마트를 제치고 세계 최대 소매상이 될 것으로 분석가들은 예측했다. 구글과 마찬가지로 아마존도 방대한 양의 데이터를 처리해야 하지만, 데이터를 처리할 때는 더 강한 전자상거래 경향이 있다. 소비자들이 아마존 웹사이트에서 보고 싶은 TV 프로그램이나 사고 싶은 제품을 검색할 때마다 아마존은 소비자에 대한 이해가 늘어난다. 검색과 제품 구매 행동에 따라 아마존은 다음에 어떤 제품을 추천해야 하는지 알 수 있다. 아마존의 영리함은 그 이상입니다. 웹 사이트에서 새로운 디자인을 지속적으로 테스트하여 전환율이 가장 높은 방안을 찾아냅니다.
아마존의 한 페이지라고 생각하세요? 방금 무슨 일이 있었나요? 만약 네가 이렇게 생각한다면, 너는 다시 생각해야 한다. 전체 웹 사이트의 레이아웃, 글꼴 크기, 색상, 버튼 등의 모든 디자인은 실제로 여러 차례 세심한 테스트를 거친 후 가장 좋은 결과입니다.
데이터 지향 접근 방식은 이러한 영역에만 국한되지 않습니다. 한 전직 직원에 따르면 아마존의 기업문화는 냉랭한 데이터 지향형 문화라고 한다. 데이터는 무엇이 유효한지, 무엇이 유효하지 않은지, 새로운 상업 투자 프로젝트에는 반드시 데이터 지원이 있어야 한다는 것을 보여준다. 데이터에 대한 장기적인 집중으로 아마존은 더 낮은 가격으로 더 나은 서비스를 제공할 수 있게 되었다. 소비자들은 구글 등 검색 엔진을 완전히 뛰어넘어 아마존으로 직접 가는 경우가 많다. 상품을 검색하고 구매하다.
소비자 통제권을 쟁탈하는 전쟁 연기가 여전히 만연하고 있다. 애플, 아마존, 구글, 마이크로소프트 등 4 대 공인된 거물들은 인터넷뿐만 아니라 모바일 분야에서도 싸우고 있다. 소비자가 휴대전화, 태블릿 등 모바일 장치에 소비하는 시간이 많아지면서 컴퓨터 앞에 앉아 있는 시간이 줄어들고 소비자의 손에 닿을 수 있는 모바일 장치를 접할 수 있는 기업이 소비자 행동 정보를 판매하고 얻는 데 더욱 유리할 것으로 보인다. 기업들이 소비자 집단과 개인에 대해 더 많이 알수록 콘텐츠, 광고, 제품을 더 잘 디자인할 수 있다.
신흥 기술 회사의 인프라에서 소비자 콘텐츠를 지원하는 모바일 장치에 이르기까지 아마존의 촉수가 더 넓은 분야에 닿았다는 것은 믿기지 않습니다. 아마존은 몇 년 전 다른 사람에게 서버와 스토리지 인프라를 개방하는 가치를 예견했다. AWS (Amazon Network Services) 는 아마존의 유명한 공용 클라우드 서비스 공급업체로, 신생 기업과 노판 기업에 확장 가능한 컴퓨팅 리소스를 제공합니다. AWS 는 설립된 지 얼마 되지 않았지만 일부 분석가들은 연간 매출이 6543.8 달러+0 억 5 천만 달러를 넘어선 것으로 추정하고 있습니다.
AWS 가 제공하는 컴퓨팅 자원은 기업이 대규모 데이터 작업을 수행할 수 있는 길을 열어줍니다. 물론 기업들은 프라이빗 클라우드 형태로 인프라 건설에 계속 투자할 수 있으며, 많은 기업들이 그렇게 할 것입니다. 하지만 기업이 추가 자원을 사용하고자 한다면,
아마존 공용 클라우드에 있는 여러 대의 서버를 쉽고 빠르게 사용할 수 있는 확장 가능한 컴퓨팅 리소스입니다. 오늘날 아마존은 자신의 웹사이트와 킨들 등 새로운 모바일 장치뿐만 아니라 수천 개의 인기 사이트를 지원하는 인프라를 통해 트렌드를 이끌고 눈길을 끌고 있다.
AWS 의 결과, 대규모 데이터 분석에서는 더 이상 기업이 IT 에 고정 비용을 투자할 필요가 없습니다. 이제 데이터 가져오기 및 분석 데이터를 클라우드에서 쉽고 빠르게 수행할 수 있습니다. 즉, 기업은 과거에 데이터를 저장할 수 없었기 때문에 데이터를 포기해야 했지만, 지금은 전례 없는 데이터를 수집하고 분석할 수 있는 능력이 있습니다.
정보 이점 실현
AWS 등 서비스와 Hadoop 등 오픈소스 기술의 결합으로 기업들은 수년 전 정보기술이 세계에 묘사한 열매를 맛볼 수 있게 됐다.
수십 년 동안 소위' 정보기술' 에 대한 관심은 줄곧' 기술' 부분에 집중되었다. Cio 의 임무는 서버, 스토리지 및 네트워크를 구입하고 관리하는 것입니다. 오늘날 정보를 분석 및 저장하고 정보를 기반으로 예측할 수 있는 능력은 기업의 경쟁 우위의 원천이 되고 있습니다.
정보기술이 막 등장했을 때, 정보기술을 일찍 응용한 기업은 더 빨리 발전할 수 있고, 다른 사람을 능가할 수 있다. Microsoft 는 1990 년대에 세계에서 가장 널리 사용되는 운영 체제를 개발했을 뿐만 아니라 당시 이메일을 회사 내부의 표준 커뮤니케이션 메커니즘으로 사용했기 때문에 자신의 위망을 구축했습니다.
많은 기업들이 여전히 이메일 채택을 망설이고 있지만, 이메일은 실제로 마이크로소프트가 채용, 제품 결정, 시장 전략 등을 논의하는 메커니즘이 되었습니다. 현재 대량의 이메일 교류는 이미 흔한 일이었지만, 당시 이러한 조치는 Microsoft 가 이메일을 이용하지 않은 다른 회사보다 속도와 공동 작업에 더 유리하게 작용했습니다. 큰 데이터를 포용하고 조직 간에 민주적으로 데이터를 사용하는 것은 기업에 비슷한 이점을 가져다 줄 것이다. 구글이나 페이스북 같은 회사들은' 데이터 민주주의' 의 혜택을 받는다.
구글, 페이스북 및 기타 회사는 자사 회사와 관련된 모든 분석가, 관리자 및 임원에게 내부 데이터 분석 플랫폼을 개방함으로써 조직의 모든 구성원이 비즈니스 관련 질문을 제기하고 데이터에 대한 답변을 얻을 수 있도록 했습니다.
신속하게 조치를 취합니다. 페이스북을 예로 들면, 큰 데이터를 내부 서비스로 홍보하는데, 이는 이 서비스가 엔지니어뿐만 아니라 최종 사용자-생산 라인 관리자를 위해 설계되었다는 것을 의미하며, 그들은 질의를 사용하여 효과적인 해결책을 찾아야 한다는 것을 의미한다. (윌리엄 셰익스피어, 템플릿, 페이스북, 페이스북, 페이스북, 페이스북, 페이스북, 페이스북, 페이스북) 따라서 관리자는 며칠 또는 몇 주를 기다리지 않아도 웹 사이트의 어떤 변화가 가장 효과적인지, 어떤 광고 방법이 가장 좋은지 알 수 있습니다. 이들은 자신의 요구를 충족하고 직원 간에 데이터 분석 결과를 쉽게 공유할 수 있도록 설계된 내부 대용량 데이터 서비스를 사용할 수 있습니다.
지난 20 년은 정보기술의 시대이고, 향후 20 년의 주제는 여전히 정보기술이다. 이들 기업은 데이터를 더 빨리 처리할 수 있으며, 공용 데이터 자원과 내부 데이터 자원의 통합은 경쟁업체를 훨씬 능가할 수 있는 독보적인 통찰력을 제공합니다. 제가 쓴 큰 데이터의 8 대 법칙처럼, 데이터를 빨리 분석할수록 예측가치가 더 커집니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 데이터명언) 오늘날 기업은 배치 처리 (데이터를 먼저 저장한 후 천천히 분석 처리) 에서 벗어나 실시간 분석으로 전환하여 경쟁 우위를 확보하고 있습니다.
임원에게 좋은 소식은 빅데이터의 정보 우위가 더 이상 구글이나 아마존 등 대기업에 속하지 않는다는 것이다. Hadoop 과 같은 오픈 소스 기술은 다른 회사들에게도 이런 장점을 제공합니다. 오래된 포춘 100 회사와 신생 기업은 큰 데이터를 활용하여 합리적인 가격으로 경쟁 우위를 확보할 수 있습니다.
빅 데이터의 전복
큰 데이터의 전복은 이전보다 더 많은 데이터를 수집하고 분석하는 능력뿐만 아니라, 더 중요한 것은 같은 양의 데이터를 수집하고 분석하는 가격도 현저히 하락하고, 가격이 낮을수록 판매량이 높아진다는 것이다. 그러나, 함축적인 풍자는 이른바' 제빈스 역설' 과 같다. 경제학자 제븐스 (Jevons) 는 산업혁명을 관찰함으로써 이 역설을 얻어 그의 이름을 따서 명명했다. (제빈스 역설의 핵심은 자원 이용률 향상으로 가격 하락이 이뤄져 결국 자원 사용량이 늘어난다는 것이다. -번역자 참고). 과학 기술의 진보는 데이터 저장 및 분석 방식을 더욱 효율적으로 만들고, 회사는 더 많은 데이터 분석을 할 것이므로, 일을 줄이지 않았다. 간단히 말해서, 이것이 바로 큰 데이터의 전복이다.
아마존에서 구글까지, IBM 에서 HP, Microsoft 에 이르기까지 많은 대형 기술 회사들이 빅 데이터에 투신하고 있으며, 빅 데이터 솔루션을 기반으로 더 많은 신생 기업들이 우후죽순처럼 생겨나 오픈 소스를 실현하고 클라우드를 즐기고 있습니다. 대기업은 수평 대형 데이터 솔루션에 주력하고 있으며, 중소기업은 중요한 수직 업무에 애플리케이션을 제공하는 데 주력하고 있습니다. 일부 제품은 판매 효율성을 최적화하고, 다른 채널의 마케팅 성과를 실제 제품 사용 데이터와 연관시켜 향후 마케팅 활동에 대한 조언을 제공합니다. 이러한 대형 데이터 애플리케이션 (BDA) 은 중소기업이 내부적으로 모든 대형 데이터 기술을 개발하거나 장비할 필요가 없음을 의미합니다. 대부분의 경우 클라우드 기반 서비스를 사용하여 데이터 분석 요구 사항을 충족할 수 있습니다. 기술뿐 아니라 이들 중소기업은 일부 제품을 개발하고 건강 관련 지표를 추적 및 문서화하며 사람들의 행동 개선을 위한 권장안을 제시한다. 이런 제품은 비만을 줄이고, 삶의 질을 높이고, 의료비용을 낮출 것으로 예상된다.
빅 데이터 로드맵
업계 분석 및 연구 회사인 Forrester 는 기업 데이터의 총량이 연간 94% 성장률로 급등하고 있다고 추정합니다. 이처럼 급속한 성장으로 모든 기업은 큰 데이터 로드맵이 필요합니다. 적어도 기업은 내부 컴퓨터 시스템의 정기 시스템 로그에서 온라인 사용자 상호 작용 기록에 이르는 데이터 수집 정책을 수립해야 합니다. 기업에서 그 데이터의 용도를 알지 못했더라도 이렇게 해야 합니다. 이 데이터의 용도는 나중에 갑자기 발견될 수 있습니다.
데이터의 가치는 너의 원래 예상보다 훨씬 높으니 버리지 마라. 기업은 또한 데이터의 기하급수적인 증가에 대처할 계획이 필요하다. 사진, 인스턴트 메시지, e-메일의 수는 엄청나며 휴대폰, GPS 및 기타 장치로 구성된 "센서" 는 더 많은 데이터를 방출합니다.
데이터 분석이 조직 전체에 걸쳐 진행될 수 있는 비전이 있는 것이 이상적입니다. 분석은 가능한 한 실시간에 가까워야 합니다. 구글, 아마존, 페이스북 등 과학기술 리더들을 관찰함으로써 큰 데이터의 가능성을 볼 수 있다. 관리자가해야 할 일은 빅 데이터 전략을 조직에 통합하는 것입니다.
구글이나 아마존과 같은 회사들은 수년 동안 큰 데이터를 사용하여 결정을 내렸으며, 데이터 처리 분야에서 광범위한 성공을 거두었습니다. 이제 같은 능력을 가질 수 있습니다.
이것은 변쇼가 당신을 위해 공유한 큰 데이터에 대해 당신이 알아야 할 큰 회사, 큰 배치입니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성공명언) 더 많은 정보는 전 세계 아이비리그가 더 많은 건품을 공유하는 것에 집중할 수 있다.