큰 사고가 빅 데이터 전략을 촉진합니다
모든 숫자는 데이터라는 것을 알아야 합니다. 오늘날의 하드웨어와 소프트웨어는 이렇게 빠른 속도로 생성되는 다양한 형태의 막대한 양의 데이터를 더 이상 처리할 수 없습니다. 빅데이터는 너무 복잡해지고 빠르게 변화하여 기존 데이터 도구로는 이를 처리, 저장, 분석 및 관리하기가 어렵습니다. 데이터의 양이 너무 방대해서 올바른 질문을 하고 올바른 답을 찾는 것은 건초 더미에서 바늘을 찾는 것만큼 어렵습니다.
다행히 모든 데이터는 기존 하드웨어, 도구, 알고리즘을 사용하여 유용한 정보로 변환될 수 있습니다. 이 정보에서 추출된 통찰력은 조직의 의사 결정을 개선하고 효율성을 높이며 비용을 절감하고 수익을 늘리는 데 사용될 수 있습니다. 빅 데이터 혁명은 광범위한 영향을 가져왔고 다양한 산업 분야의 모든 기업에 영향을 미칠 것입니다.
빅 데이터의 7가지 V
빅 데이터는 속도, 다양성, 양(볼륨)이라는 세 가지 "V"로 설명될 수 있다는 것이 일반적으로 받아들여지고 있습니다. 그러나 잘 계획된 빅데이터 전략을 더 잘 설명하기 위해 진실성, 가변성, 시각화 및 가치의 개념도 추가하고 싶습니다.
속도: 속도는 데이터가 생성, 저장, 분석 및 시각화되는 속도를 나타냅니다. 데이터는 상상을 초월하는 속도로 생성되고 있습니다. 매분 총 100시간 분량의 동영상이 YouTube에 업로드됩니다. 또한 사람들은 분당 2억 개가 넘는 이메일을 보내고, 약 2천만 장의 사진을 보고, 30,000장의 사진을 Flickr 앨범에 업로드하고, 거의 300,000개의 Twitter 메시지를 보내고, Google은 분당 거의 250만 번에 달하는 요청을 처리합니다.
다양성: 모든 데이터가 구조화되어 쉽게 분류될 수 있었던 시대는 지났습니다. 오늘날 데이터의 90%는 구조화되지 않았습니다. 데이터는 구조화된 데이터, 반구조화된 데이터, 비구조화된 데이터, 복잡한 구조화된 데이터 등 다양한 형식으로 나타날 수 있습니다.
데이터 유형마다 필요한 분석 방법과 해석 도구가 다릅니다. Facebook이나 Twitter와 같은 소셜 미디어는 고객이 브랜드, 서비스 또는 제품에 대해 어떻게 생각하는지에 대한 통찰력을 제공할 수 있으며, 센서 데이터는 사용자가 제품이나 기계 사용에 대해 어떻게 생각하는지에 대한 정보를 제공하여 제품을 개선하는 데 사용할 수 있는 통찰력을 제공합니다.
수량: 현재 데이터 생성 속도로 볼 때 데이터 양은 2년마다 두 배로 늘어납니다. 2011년에 우리가 생성한 데이터의 총량은 1.8ZB로 엄청납니다. 2011년 IDC 조사에 따르면 이 수치는 2020년까지 현재보다 50배 더 높아질 것으로 예상됩니다. 그 양이 상당하며, 이 디지털 세계의 상당한 데이터 소스는 사물인터넷(Internet of Things)이며, 전 세계 다양한 기기에 설치된 센서들이 1분 1초마다 데이터를 전송하고 있다.
몇 가지 예를 살펴보겠습니다. 항공기 엔진에 장착된 센서는 매년 약 25억 테라바이트의 데이터를 생성합니다. 농업용 트랙터에 설치된 센서도 많은 양의 데이터를 생성하고 수집합니다. John Deere는 센서 데이터를 사용하여 기계 최적화를 모니터링하고, 늘어나는 농기계를 제어하며, 농업 생산자가 의사결정을 최적화하도록 돕습니다. Shell은 또한 더 많은 석유를 찾기 위해 유정에 매우 민감한 센서를 사용하고 있습니다. 회사가 10,000개의 유정 모두에 이러한 센서를 설치한다면 연간 약 10엑사바이트의 데이터를 수집하게 됩니다.
진위성: 고속으로 생성되는 대량의 데이터를 수집하더라도 데이터 자체에 결함이 있으면 아무런 가치가 없습니다. 잘못된 데이터는 조직은 물론 소비자에게도 심각한 문제를 초래할 수 있습니다. 조직을 정보 중심으로 만들려면 데이터와 분석을 올바르게 확보해야 합니다. 이는 인간이 더 이상 전체 프로세스에 관여하지 않기 때문에 의사결정을 자동화할 때 특히 중요합니다. 그러나 놀랍게도 비즈니스 리더의 1/3은 의사 결정에 사용하는 정보를 신뢰하지 않습니다.
따라서 빅데이터 전략을 개발하려면 데이터의 정확성과 분석의 정확성에 세심한 주의를 기울여야 합니다.
가변성: 가변성은 종종 다양성의 개념과 혼동됩니다. 우리는 그들 사이의 차이점을 설명하기 위해 예를 들 수 있습니다. 빵집에서 10가지 종류의 빵을 판매한다면 그것은 다양성입니다. 같은 빵이라도 매일매일 맛과 향이 다르다면, 그것은 가변성입니다. 감정 분석을 수행할 때 변동성은 주제와 매우 밀접하게 관련되어 있습니다.
가변성은 정의가 (빠르게) 변경될 수 있음을 의미합니다. 유사한 트위터 메시지에서는 동일한 단어가 매우 다른 의미를 가질 수 있습니다. 감정 분석을 올바르게 수행하려면 사용되는 알고리즘이 문맥을 기반으로 단어의 정확한 의미를 해독할 수 있어야 합니다. 그러나 이는 여전히 해결해야 할 기술적인 문제이다.
시각화: 빅데이터에서 가장 어려운 부분입니다. 이는 청중이 읽고 이해하기 쉬운 방식으로 대량의 데이터를 이해하도록 도와야 함을 의미합니다. 올바른 시각화를 통해 원시 데이터가 활용됩니다. 물론 여기서 언급하는 시각화는 일반적인 차트나 원형 차트를 의미하는 것이 아니라, 여러 데이터 변수를 포함하고 사람들이 쉽게 읽고 이해할 수 있는 복잡한 차트를 의미합니다.
시각화는 기술적으로 가장 어려운 작업은 아니지만 확실히 가장 어려운 작업입니다. 복잡한 스토리를 전달하기 위해 다이어그램을 사용하는 것은 어렵지만 똑같이 중요합니다. 다행히도 이 분야의 과제를 해결하는 데 주력하는 빅데이터 스타트업이 늘어나고 있습니다. 궁극적으로 시각화는 중요한 역할을 하며 가독성을 향상시키는 데 도움이 될 수 있습니다.
가치: 사용 가능한 모든 데이터는 조직, 커뮤니티 및 소비자에게 상당한 가치를 창출할 수 있습니다. 빅데이터는 많은 비즈니스를 의미하며 모든 계층이 이를 통해 혜택을 누릴 수 있습니다. 물론 데이터 자체는 전혀 가치가 없습니다. 가치는 데이터에 대한 분석과 그것이 어떻게 정보로 변환되고 궁극적으로 지식과 지혜로 변환되는지에 있습니다. 데이터의 가치는 조직이 데이터 분석에서 얻은 통찰력을 바탕으로 의사 결정을 내리는 정보 중심 회사를 만들기 위해 데이터를 어떻게 사용하는지에 있습니다.
빅 데이터에 관한 5가지 사실
이제 빅 데이터를 정의했으므로 빅 데이터 전략을 개발할 때 조직이 알아야 할 사항을 이해해야 합니다. 가장 중요합니다. 빅 데이터에는 패러다임 전환이 필요하며, 이를 이해하면 조직이 빅 데이터를 활용하는 데 진전을 이루는 데 도움이 될 수 있습니다.
1. 빅데이터에는 다른 기업 문화가 필요합니다. 빅데이터를 진정으로 활용하려면 조직이 정보 중심 기업이 되어야 합니다.
이러한 문화적 변화는 데이터 기반 의사결정에 더 큰 중점을 두고 직원들에게 계획이 아닌 실제 데이터를 기반으로 새로운 운영, 전술 및 전략을 개발할 수 있는 기회를 제공합니다. 빅데이터를 활용하는 기업 문화에서는 기업이 직원들이 모든 고객 접점에서 데이터를 캡처하도록 장려해야 합니다. 올바른 질문을 하고 정확한 데이터로 답해야 합니다.
2. 조직 내 인재는 빅데이터의 진정한 원동력입니다. 빅 데이터의 잠재력을 최대한 실현하려면 문화적 변화가 중요하지만 빅 데이터 전략 개발은 조직 내 사람들이 수행합니다. 특히 중간관리자와 임원은 빅데이터가 무엇인지, 조직에 어떻게 적용할 수 있는지 이해해야 한다. 더 많은 의사결정자가 빅데이터의 이점을 인식한다면 성공적인 빅데이터 전략을 개발하고 구현할 가능성이 높아질 것입니다.
빅 데이터 개발을 성공적으로 시작하려면 특히 초기 수익이 불확실하고 비용이 높은 경우 조직 내에서 적합한 스폰서를 찾는 것부터 시작됩니다. 이상적인 접근 방식은 초기 결과가 좋지 않더라도 빅데이터 프로젝트를 지원할 수 있는 충분한 권한을 가진 고위 임원이나 이사회 구성원을 동원하는 것입니다.
3. 빅 데이터에는 '대규모' 보안 조치가 필요합니다. 조직이 귀중한 데이터를 대량으로 수집하는 경우 해당 정보를 범죄자로부터 보호해야 합니다. 따라서 수집된 모든 데이터를 보호하는 것이 매우 중요합니다. 데이터를 보호하는 방법에는 여러 가지가 있으며, 가장 일반적인 방법은 정보를 적절하게 암호화하는 것입니다. 물론 다른 방법도 많이 있으므로 빅 데이터 팀은 항상 데이터 보안을 책임으로 고려해야 합니다.
그러나 모든 조직은 해커에 의해 데이터가 도난당하는 것을 방지하기 위해 사전에 비상 계획을 준비해야 합니다. 놀랍게도 많은 기업들이 컴퓨터 관련 정보보안 사고를 접하면 완전히 당황합니다. 이러한 보안 사고는 기업에 치명적인 결과를 초래할 수 있습니다. 만약 회사가 필요한 보안 조치가 부족하고, 해킹을 당했다는 사실조차 인식하지 못한다면 그 결과는 더욱 심각해질 것입니다.
따라서 기업은 잠재적인 정보 보안 공격에 대한 비상 계획을 개발하기 위해 내부 인력을 배정하거나 외부 전문 기관의 서비스를 활용해야 합니다. 기업이 조직과 고객의 데이터를 보호하지 않으면 조만간 폐업하게 됩니다. 미리 계획했다면 상황은 매우 달라졌을 것입니다.
4. 전 세계 정부는 빅데이터에 대한 투자를 강화하고 있습니다. 조직과 마찬가지로 정부도 점점 더 많은 데이터를 생성하고 있습니다. 많은 정부에서도 디지털 혁신을 진행하고 있습니다. 네덜란드를 예로 들면, 네덜란드 정부는 2017년 말까지 사무실을 디지털 사무실로 포괄적으로 전환하고 종이 통신을 완전히 없애기를 희망하고 있습니다. 1,700만 명의 시민이 국가, 지역, 카운티 및 도시 수준에서 정부와 통신함으로써 얼마나 많은 데이터가 생성될 수 있는지 상상해 보십시오.
이러한 접근 방식을 통해 조직은 공개 데이터 세트에 더 폭넓게 접근할 수 있게 되어 전 세계 문제에 대한 혁신적인 솔루션을 촉발하게 됩니다. 또한 민간 부문에서 시작되는 데이터 세트 프로젝트의 수가 증가하고 있습니다. 조직을 위한 공개 및 비공개 데이터 세트를 수집할 수 있는 시장이 있습니다. 사용자는 게스트로 데이터 세트를 구매하거나 무료로 다운로드할 수 있습니다. 일부 웹사이트에는 자체 데이터 세트를 판매하는 조직도 있습니다.
5. 빅데이터의 핵심은 데이터의 양이 아닙니다. 사람들은 흔히 '빅데이터'라는 용어를 엄청난 양의 데이터를 의미한다고 생각합니다. 결과적으로 많은 사람들은 빅 데이터 전략이 페타바이트 또는 엑사바이트 규모의 데이터가 있는 경우에만 유용하다고 믿습니다. 이것은 옳지 않습니다. 빅데이터는 단순히 수집된 많은 양의 데이터 그 이상입니다. 빅 데이터는 다양한 소스와 다양한 시점의 다양한 변수로 구성된 데이터 세트를 결합하는 것에 관한 것입니다. 특히 서로 다른 데이터 세트를 결합하고 분석하여 가치 있고 새로운 통찰력을 찾습니다.
또한 빅데이터란 이용 가능한 데이터를 실시간으로 분석하고, 다양한 알고리즘을 활용해 행동을 예측하는 것을 말한다. 실시간 통찰력은 조직에 매우 중요하므로 단기적으로 고객 행동을 예측할 수 있습니다.