기업이 빅 데이터를 구현하는 경로
기업이 빅 데이터를 구현하는 구체적인 구축 경로는 두 가지가 있으며, 하나는 상향식이고 다른 하나는 다음과 같습니다. 손은 하향식입니다.
하향식
하향식 경로는 먼저 경영진에 데이터 의사결정 문화를 질서 있게 확립하고, 경영진에서 데이터 사용에 대한 인식을 구축하는 것입니다. 그런 다음 해당 조직 구조, 해당 부서 및 팀을 설정하고 어떤 종류의 인력을 채용해야 하는지, 얼마나 많은 인력이 필요한지, 특정 책임을 어떻게 분담할지 결정하고 최종적으로 해당 기술 플랫폼을 구축합니다.
상향식
상향식의 첫 번째 단계는 직원들이 내부 교육이나 외부 채용을 통해 관련 기술을 배우고 숙달하도록 하는 것입니다. 둘째, 향후 시스템을 어떻게 개발하고 구현할 것인지에 대한 장기적인 계획을 세워야 합니다. 셋째, 명확한 성과 평가 지표, 데이터 관리, 품질 관리, 성과 보장 방법이 있어야 합니다. 넷째, 열린 사고방식을 유지해야 합니다. 인터넷 시대에 빅데이터는 아직 초기 단계에 있습니다. 아직 배워야 할 것이 많고 열린 마음을 유지해야 합니다. 정신과 지속적인 학습은 정말 잘할 수 있습니다.
(1) 기업의 데이터 문화 구축
문화는 기업의 가치와 실행 행동의 척도입니다. 데이터 문화 정착이란 객관적인 데이터를 의사결정과 측정의 기초로 삼는 전사 차원의 가치와 제도적 시스템을 구축하는 것을 의미하며, 기업이 빅데이터를 활용해 가치를 창출할 수 있는 기반을 마련하는 것을 의미한다. 이러한 기반이 없으면 기업이 아무리 최고의 기술과 자원을 갖고 있어도 이를 기업에 봉사하는 데 효과적으로 활용할 수 없습니다.
기업 데이터 문화란 무엇인가요? 여기에는 6가지 측면이 포함됩니다.
첫째, 데이터 문화는 데이터 중심의 의사결정에 주로 반영되며, 의사결정도 주로 데이터에 의해 주도됩니다.
둘째, 기업 운영 효율성 분석입니다. 한편으로는 데이터에 대한 심층적인 분석을 통해 망원경처럼 기업 운영의 모든 측면을 이해할 수 있는 반면, 데이터는 기업 운영의 세부 사항을 관찰하고 최적화할 영역을 찾는 현미경과 같을 수 있습니다. .
셋째, 데이터를 활용하여 마케팅 기획의 손익을 분석합니다. 보통 기업이 판촉활동을 할 때 매출이 늘어나면 성공이라고 생각하는데, 판촉활동에는 매출이 늘어나면 실제로 이익이 오는 걸까요?
넷째, 사람 중심 시대에 기업은 직원의 개인 안전과 건강에 대한 책임이 점점 더 중요해지고 있습니다. 객관적이고 측정 가능한 데이터를 통해 직원의 근무 환경과 편안함에 관심을 기울일 수 있다면, 이는 좋고 건강한 근무 환경을 보장하고 직원 만족도를 높이는 데 매우 중요한 역할을 할 것입니다.
다섯째, 직원 성과에는 정량적 지표가 있어야 한다.
여섯째, 가치사슬 내 데이터 관리입니다. 수직 공급망의 데이터 공유 및 교환을 통해 공급망 상류 및 하류 기업은 전체 공급망의 수요, 재고 및 공급을 더 잘 이해할 수 있으므로 체인의 재고를 최적화하고 사전에 공급을 시작할 수 있습니다. 준비 등 시장 변화에 빠르게 대응하세요. 수평적 생태 사슬에서 데이터를 공유하고 교환함으로써 사용자는 전반적인 생활 시나리오에서 분석될 수 있으며, 이를 통해 사용자의 더 넓은 요구를 충족하는 원스톱 서비스를 만들 수 있으며, 이를 통해 더 많은 비즈니스 기회를 발굴할 수 있을 뿐만 아니라 향상된 기능을 제공할 수 있습니다. 사용자 충성도를 높입니다.
(2) 기업의 데이터 전략 수립
기업의 데이터 전략을 수립하려면 아래와 같이 세 가지 측면을 구성해야 합니다.
데이터 모델
p >첫 번째 측면은 완전한 데이터 모델을 구축하는 것입니다. 데이터 모델의 목적은 데이터를 올바르게 정의하고, 데이터를 분류하고, 데이터 상호 작용의 표준을 결정하는 것입니다. 엔터프라이즈 비즈니스 관리에 대한 이해를 데이터 요구 사항으로 전환하여 어떤 종류의 데이터를 관리해야 하는지 이해합니다. 서로 다른 시스템은 서로 다른 데이터를 생성하며, 각 시스템 간의 데이터 내용과 데이터 간의 상호 작용은 무엇입니까?
기업 내에는 ERP 시스템, 공급망 시스템, CRP 시스템 등 다양한 시스템이 있습니다. 사용자 정보는 어디에 있습니까? 공급업체 정보, IoT 정보, 재무 정보는 어떻게 조정하고 소통합니까? 서로? 이것들은 모두 고려해야 할 문제입니다.
데이터 서비스
두 번째 측면은 어떤 종류의 기술 플랫폼을 선택할지, 어떤 종류의 데이터 기술을 사용할지, 다양한 시스템이 이러한 서로 다른 것을 어떻게 사용하는지 등 데이터 서비스 시스템을 구축하는 것입니다. 기존 데이터베이스, 데이터 웨어하우스, 비즈니스 인텔리전스, 새로운 Hadoop 등을 포함한 기술 비즈니스 아키텍처 설계를 기반으로 데이터 애플리케이션의 아키텍처를 설계한 다음, 데이터 상호 작용 인터페이스를 통해 데이터를 교환하여 데이터 섬이 발생하지 않도록 하는 동시에 데이터 소스의 통일성과 일관성을 보장하기 위한 통합 데이터 계획을 수립합니다. , 향후 데이터 분석 지원을 위해 데이터를 제공합니다.
데이터 관리
세 번째 측면은 데이터 거버넌스 시스템 구축이다. 데이터 거버넌스에는 데이터 관리 시스템과 전반적인 수명주기 관리가 포함됩니다. 데이터는 자산이 되고 있으며 이에 따라 자산의 체계적인 관리가 필요합니다. 데이터 자산 권리 관리에는 데이터의 소유권 결정, 각 데이터의 소유자 결정, 이 데이터의 관리자, 이 데이터의 정확성을 담당하는 사람, 데이터 품질 보장을 담당하는 사람 등이 포함됩니다. 데이터의 품질은 데이터 분석의 기본입니다. 데이터가 틀리면 아무리 분석해도 올바른 결과가 나올 수 없습니다. 동시에 데이터 규정 준수 및 보안 관리도 데이터를 운영할 수 있는 사람, 데이터 보안, 백업 및 서비스를 담당하는 사람 등 핵심 링크입니다. 엄격한 데이터 규정 준수 및 보안 제어 시스템이 필수적입니다.
데이터 생성 방법 및 시기, 수정 가능 시기, 수정 승인자, 데이터 삭제 방법 등을 포함한 데이터 수명주기 관리 국내 기업들은 이런 면에서 상대적으로 부족한데, 데이터뿐만 아니라 장비, 컴퓨터 등도 부족하다. 컴퓨터가 폐기되어 더 이상 사용할 수 없게 되면 그냥 버려지는 셈이다. 이런 점에서 외국 기업들은 일반적으로 전문적인 데이터 파기 처리를 수행하기 위해 제3자 회사에 비용을 지불하고 심지어 환경 친화적인 파기 작업을 수행하기 위해 컴퓨터당 수백 달러를 지출하기도 합니다. 예를 들어 일부 데이터 삭제의 경우 데이터를 완전히 삭제하기 위해 다양한 방법을 사용합니다. 예를 들어 일부 회사에서는 데이터 복구를 피하기 위해 데이터를 7번 포맷하도록 요구합니다.
(3) 기업의 데이터 조직 역량 확립
데이터 조직 역량 확립에는 적절한 조직 역할 배치 확립, 적절한 인력 채용, 적절한 조직 구조 구축, 적절한 책임과 권리 설계가 포함됩니다. , 등.
첫째, 데이터 조직 역량 측면에서는 자격을 갖춘 기업이 데이터 전략 전체를 설계하고, 데이터 전략 실행을 주도하는 최고 데이터 책임자(Chief Data Officer) 직책을 맡길 것을 권고한다. , 그리고 데이터를 통해 경영진과 소통하고 대화하여 데이터의 가치를 전달합니다.
둘째, 데이터 과학자의 역할은 매우 중요합니다. 데이터 과학자는 최고의 결과를 얻기 위해 가장 좋고 가장 과학적인 알고리즘을 사용하는 방법을 연구합니다. 똑같은 데이터 더미가 거기 있는데, 열 명이 보고 있고, 열 사람이 보고 있는 결과가 다릅니다. 그렇다면 과학자들은 왜 그토록 정확할까요? 그의 지식은 충분히 깊기 때문에 어떤 요소가 가장 중요한지, 수많은 요소 중에서 어떤 부분을 선택하여 분석해야 하는지 이해하고 있습니다. 현재 데이터 사이언티스트는 전체 시장에서 가장 부족한 인재다. 데이터 알고리즘 전문성과 비즈니스 지식을 모두 갖춘 인재는 극히 드물기 때문이다. 데이터 과학자는 세 가지 유형으로 나눌 수 있는데, 첫 번째는 컴퓨팅 알고리즘에 능숙하고 다양한 통계 분석 기술에 능숙한 기술 데이터 과학자이고, 두 번째는 데이터 아키텍처에 매우 익숙한 응용 데이터 과학자입니다. 다양한 시스템에 데이터를 분산시키고 다양한 데이터를 잘 통합하고 관리할 수 있는 세 번째 유형은 비즈니스 데이터 과학자입니다. 이들은 업계 지식과 기업 비즈니스에 대해 잘 알고 동시에 데이터 처리 기술에 대한 지식도 어느 정도 갖추고 있습니다. 비즈니스 요구와 특성을 이해하고 데이터 처리 요구 사항으로 잘 변환할 수 있으며, 동시에 데이터 처리 결과를 비즈니스 관점과 단어로 잘 변환하여 비즈니스 관리자에게 전달할 수 있습니다.
셋째, 특정 규모의 기업의 경우 일반적으로 기업이 중앙 집중식 데이터 관리 운영 센터를 구축하는 것이 좋습니다. 클라우드 컴퓨팅 서비스는 최저 비용, 최고의 유연성, 가장 강력한 확장성을 갖춘 중앙 집중식 관리 방법입니다.
넷째, 전체 데이터 조직의 아키텍처 표준은 기술이나 제품으로 전달되는 것이 아니라 비즈니스 가치 전달로 측정됩니다. 데이터 분석의 출력 능력을 고려할 때, 데이터 분석의 속도나 데이터의 양이 얼마나 되는가가 아니라, 데이터 분석 결과가 비즈니스에 도움이 되는지, 유익한지 여부가 중요합니다. 이는 모든 데이터 분석의 핵심가치이자, 빅데이터에서 '빅', 즉 비즈니스 가치를 창출할 만큼 '빅'이 의미하는 핵심 측정 기준이기도 합니다. 이러한 측정기준은 기술조직이 구현하기에는 다소 까다롭기 때문에 기술인력이 업무적 관점에서 수행한 업무의 가치를 더 많은 상황에 빠지지 않고 고려할 수 있도록 명확한 성과평가기준과 가치평가기준을 마련하는 것이 필요하다. 기술 우선 순위.
다섯째, 일선 인력의 비즈니스 의사결정력과 데이터 의사결정력을 강화하고 수평적 관리 조직을 구축한다. 체계적인 교육을 통해 직원의 데이터 분석 역량을 지속적으로 개발합니다. 전문 데이터 분석가와 알고리즘 인력이 설계한 데이터 분석 솔루션이나 제품은 일선 직원에게 간단하고 사용하기 쉽게 제공되어야 하며, 동시에 더 중요한 것은 관련 솔루션이나 데이터 제품에 대한 체계적인 교육이 이루어져야 합니다. 더 많은 직원들이 이러한 솔루션이나 제품의 가치를 깨닫고 일상 업무에 기꺼이 사용할 수 있도록 강화되었습니다. 데이터 모델링/데이터 제품 개발 비용과 일선 직원을 위한 사용 교육에 대한 투자를 반반으로 나누는 것이 좋습니다. 교육을 보다 효과적으로 홍보하기 위해 기업은 관심 중심 데이터 협회 설립, 더 많은 직원의 협회 가입 허용, 정기 교육 과정, 세미나 살롱 개최, 관련 정보 공유를 위한 외부 전문가 고용 등을 고려해 시야를 넓힐 수도 있습니다.
기업의 데이터 정리 역량을 확립한 후, 기업이 데이터를 활용하는 과정을 다음과 같이 설명한다.
먼저 데이터를 수집하고, 여러 곳의 데이터를 찾아보고, 찾은 후 알고리즘을 선택하세요. 둘째, 비즈니스 상관관계 분석을 수행하여 어떤 지표와 차원이 의미가 있는지 판단합니다. 이것이 바로 데이터 과학이 하는 일입니다. 비즈니스 과학자와 데이터 과학자는 분리되거나 통합될 수 있습니다. 대부분의 회사는 이를 수행하기 위해 팀을 구성하고 비즈니스에서 수용 가능하고 이해하기 쉬운 방식으로 이를 제시하는 경우 경영진과 비즈니스 부서가 이를 수행하지 못할 수 있습니다. 이를 이해하려면 비즈니스 관리자가 이해할 수 있는 언어와 정보로 변환해야 합니다. 마지막으로 경영진이나 해당 부서에 제출하여 사업 결정을 내리세요. 이로써 완전한 가치 전달이 완료됩니다.
위 데이터 처리 과정에서 데이터팀 내에서는 해당 업무를 수행하는 직위가 다릅니다. 데이터 수집 및 정리 프로세스에서는 기업 내부 데이터 캡처와 Weibo, Taobao, 제3자 통신 등의 외부 데이터 수집을 포함하여 주로 데이터 관리자입니다. 쓸모없는 데이터를 처리하고 유효한 데이터를 남기는 일은 주로 데이터 관리자가 해야 할 일입니다. 다음은 올바른 알고리즘을 선택하고 비즈니스 규모에 따라 다양한 모델을 만들어 분석 결과를 얻을 수 있는 데이터 사이언티스트입니다. 다음으로, 비즈니스 분석가 팀이 이러한 분석 결과를 바탕으로 비즈니스 담당자가 이해할 수 있는 언어 및 프레젠테이션 방법으로 변환한 다음 이를 CDO에 넘겨 핵심 경영진 및 의사 결정자와 소통하도록 돕습니다. 결정을 내립니다. 전체 기술 플랫폼 제공자로서 특정 플랫폼을 구축하는 기술팀도 있습니다. Hadoop 기반의 자체 오픈 소스 빅 데이터 플랫폼을 개발하거나 관리 및 유지 관리를 위해 타사 시스템을 구매하거나 빅데이터 SaaS 서비스 플랫폼을 직접 활용해 빅데이터 기술 역량을 빠르게 구축하세요.
(4) 기술 플랫폼 선택
과거 기업이 복잡한 분석을 위해 기존 데이터를 사용할 때는 주로 OLAP 시스템이라고도 알려진 데이터 웨어하우스와 비즈니스 인텔리전스 시스템을 사용했습니다. 금융 데이터, 사용자 데이터 등의 전통적인 데이터를 수집, 마이닝 및 분석한 후 페이지를 통해 표시하는 비실시간 분석 시스템입니다.
인터넷 시대에는 기존 아키텍처가 정형 데이터를 기반으로 했으나 이제는 비정형 데이터가 많아 웨이보, 전자상거래 데이터 등 제3자 소셜 데이터와 전자상거래 데이터 분석이 어렵다. , 이는 전통적인 방법으로는 지원하기 어렵습니다. 이처럼 빅데이터는 역사적인 순간에 등장했고, 하둡은 가장 중요한 플랫폼 중 하나이다.
하둡(Hadoop)은 일부 컴퓨팅 시스템, 데이터 저장 시스템, 데이터 분석 시스템을 포함하는 생태계로, 아파치 조직이 2004년 공식적으로 시작한 프로젝트이다. Hadoop은 무료로 출시되어 많은 사람들이 사용할 수 있다는 점에서 매우 중요하고 혁신적인 애플리케이션입니다. 현재 많은 회사가 Hadoop 오픈 소스 플랫폼을 기반으로 하고 내부 기술 직원과 함께 일부 최적화를 수행하여 사용하고 있습니다.
전통적인 데이터와 빅데이터의 관계는 발전과 결합의 관계이다. 기존 데이터를 분석하여 비즈니스에 유용한 정보를 얻을 수 있으며, 이전 웨어하우스 방식을 사용하여 분석할 수도 있습니다. 두 시스템이 최종적으로 통합되어 백엔드 솔루션을 형성합니다. 이제 완전히 통합된 솔루션도 있습니다. 이는 지난 1~2년 동안 등장한 새로운 빅 데이터 플랫폼으로, 새로운 빅 데이터와 기존 데이터 모두와 호환될 수 있습니다. 이런 종류. 시중에 나와 있는 많은 회사의 상용 제품군과 Hadoop 오픈 소스 솔루션의 차이점은 무엇입니까? 이들 간의 주요 차이점은 상용 제품군이 최적화되고 성능이 향상되었으며 보안이 강화되었다는 것입니다. 이는 해당 산업에 대한 비즈니스 이해를 추가하고 기업이 모델링 방법과 도구를 미리 설정할 수 있도록 도와줍니다. 그러나 문제는 가격 비교입니다. . 따라서 다양한 솔루션의 선택은 예산, 팀 역량 및 기타 요소를 포함한 기업의 실제 상황을 기반으로 합니다.
(5) 데이터의 개방성과 공유
데이터 소스의 경우 기업은 일반적으로 빅데이터 분석에 필요한 모든 데이터를 보유하고 있지 않습니다. 2014년 우리나라 빅데이터 시장 규모는 84억 달러였으며, 2015년에는 40배 증가한 166억 달러에 이를 것으로 예상된다. 빅데이터 거래 플랫폼이 구축되면 더욱 큰 성장이 있을 것이라 믿습니다. 중국정보통신기술연구원(China Academy of Information and Communications Technology)의 연구 보고서에 따르면, 기업의 빅데이터에 대한 '상대적 중요성' 인식은 97점에 달합니다. 이는 기업이 빅데이터의 중요성을 인식하고 있음을 보여줍니다. 문제는 빅데이터를 어떻게 구현하느냐입니다. 기업에서는 빅데이터를 다룰 때 보안과 안정성에 중점을 두는 경우가 많습니다. 이는 기업이 빅데이터의 중요성을 인식했음에도 불구하고 여전히 상대적으로 보수적이며 보안에 대한 우려가 데이터의 상업적 가치 탐색에 영향을 미친다는 것을 보여줍니다. 보안 기술이 발전하고 비즈니스 가치에 대한 인식이 높아짐에 따라 기업은 점점 더 빅데이터를 적용하고 데이터를 획득하고 교환할 것입니다. 보안과 비즈니스 가치는 항상 측정되어야 하는 한 쌍의 관계입니다. 속도와 비용, 속도와 품질 등 두 가지 측면을 동시에 추구하는 것은 어렵고, 서로 다른 전략이 필요합니다. 타임스.
정부 공개 데이터에 대한 기업 수요가 매우 높습니다. 시중에는 정부 데이터를 겨냥한 스타트업이 많다. 예를 들어 화하이리스크컨트롤(Fahai Risk Control)이라는 회사는 회사에 관련된 법적 서류가 있는지 등을 분석해 법적인 관점에서 회사의 신용상태를 분석한다. 지난 몇 년간의 소송, 승패, 관련 기업과의 법적 소송 등은 이러한 관점에서 리스크 통제 판단을 제공하며 이는 정부 데이터 공개 정도에 따라 달라집니다. 정부는 교통 데이터, 사회보장 데이터 등과 같은 방대한 양의 데이터를 보유하고 있습니다. 이러한 데이터가 공개되면 많은 창업 기회가 제공되고 기업이 문제를 고려할 수 있는 더 많은 차원을 제공할 수 있으므로 기업은 정부가 공개 데이터를 사용할 수 있습니다.
(6) 진입점을 찾아 빠르게 작은 조치를 취하세요.
구현 경로에 관해서는 회사가 이미 일부 데이터와 일부 시스템을 보유하고 있습니다. 다시 시작하세요. 아니면 다른 방법이 있나요? 어떤 영역에서 데이터가 성능을 크게 향상시킬 수 있나요? 데이터는 어떤 영역에서 기업 운영 효율성을 향상시킬 수 있나요? 이러한 질문은 중요하며 처음부터 질문해야 합니다.
모든 중요한 비즈니스 부서와 기능 부서는 이 문제를 고려하고 관련 논의를 수행해야 합니다. 기업 경영진이 빅데이터 전략을 실행할 때 이 단계를 매우 중요하게 생각해야 하지만, 많은 국내 기업은 이러한 측면을 무시하는 경우가 많습니다. 빅데이터 전략. 데이터 전략 이후에는 데이터를 통한 기업 성과 개선이 보이지 않아 빅데이터 전략이 중단된다.
(7) 미래를 내다보고 항상 이동하세요
빅 데이터가 전능합니까? 항상 유효한가요? 빅데이터 활용에 제한이 있나요? 이러한 문제에 대한 올바른 이해는 기업이 빅데이터를 더 잘 활용하고 빅데이터를 보다 객관적으로 보는 데 도움이 될 것입니다.
첫째, 빅데이터는 만병통치약이 아니며 빅데이터 활용에는 한계가 있다. 상관관계를 논할 때에는 빅데이터의 활용이 우선이지만, 특정 문제를 판단하고 해결할 때에는 빅데이터가 최선의 방법은 아니다.
둘째, 빅데이터는 아무리 크다고 해도 모든 데이터를 담을 수는 없다. 결국 빅데이터는 비용 문제도 있고 정확도도 100%에 이르지 못한다. 충분히 예측할 수는 있지만 절대적으로 정확하지는 않습니다.
셋째, 데이터가 잘못 해석되는 경우가 있기 때문에 데이터를 너무 신뢰할 수 없으므로 이것이 명백히 상식에 어긋나는 경우 검증을 시도해야 합니다. 당신의 분석 방법이 정확합니다.
또 다른 문제는 데이터의 보안이 중요한데, 데이터를 사용하는 데에는 몇 가지 문제와 잠재적인 위험이 있을 수 있습니까?
마지막 메시지: 빅데이터는 문화와 기술의 결합으로, 궁극적인 목표는 비즈니스 가치 창출입니다.
첫째, 빅데이터 기술은 IT 부서 자체의 포지셔닝, 기업에서의 IT 역할, 기업의 능력 측면에서 IT가 비즈니스 변화를 주도할 수 있는 기회입니다. 핵심 경쟁력을 강화하는 데 있어 빅데이터는 매우 중요한 원동력입니다.
둘째, 빅데이터 기술을 적용하기 위한 전제조건은 데이터 중심 의사결정의 기업 문화를 갖추는 것입니다. , 의미가 없습니다. 기업은 데이터 중심의 의사결정 문화를 정착하고 이를 실천할 때 비로소 데이터의 가치가 온전히 실현될 수 있습니다. 따라서 빅데이터 활용을 위한 중요한 전제조건은 기업이 데이터 중심의 의사결정 문화를 갖추고 있다는 점이다.
셋째, 데이터 자체는 정보일 뿐입니다. 빅데이터의 가치는 데이터 자체에 있는 것이 아니라, 데이터를 어떻게 분석하고 정리하며, 최종적으로 비즈니스 가치를 전달하기 위한 분석과 예측을 생성하는가에 있습니다. . 이것이 바로 빅데이터의 활용이다.