기업 빅데이터 프로젝트 실행 중 직면하는 과제
빅데이터에 관해서는 많은 사람들이 아직 개념 단계에 있지만 일부 기업의 경우 빅데이터가 이미 구현되었습니다. 이제 비즈니스 요구에 따라 IT 부서는 빅 데이터를 분석하고 처리해야 합니다. 기업에는 빅데이터 분석과 처리가 필요하지만 빅데이터는 생각만큼 간단하지 않고 실제 구축과 구현 과정에서 많은 문제에 직면하게 된다.
특히 소셜 네트워크의 등장으로 인해 데이터 양이 더 많아지면서 기업은 점점 더 많은 과제에 직면해야 합니다. 소셜 네트워크의 데이터 자체가 무저갱이기 때문입니다. 한 기업 CTO는 "현재 우리의 데이터 소스는 기본적으로 소셜 네트워크에서 나옵니다. 우리는 이러한 데이터를 수집하고 분석하여 기업이 이러한 사람들의 소비 패턴과 개인적 선호도를 이해하는 데 도움을 줍니다."
기업 리더들이 직면한 과제 데이터 프로젝트
CTO팀은 12억 달러의 수익을 창출할 수 있는 데이터 플랫폼과 매일 400만 명이 넘는 사람들이 이용하는 페타바이트급 데이터 클러스터를 운영하고 있습니다. 팀의 빅 데이터 환경에는 수많은 오픈 소스 플랫폼이 포함되어 있으며 그들이 사용하는 기술에는 Hadoop, HBase, Hive, ElasticSearch, Scala, Storm, Node.js 및 기타 여러 도구가 포함됩니다. 이것은 참으로 매우 심각한 도전입니다.
기업 빅데이터 프로젝트의 구체적인 구현 프로세스를 보면 구현 과정에서 기술과 사람이 가장 중요한 두 가지 문제라는 것을 쉽게 알 수 있습니다. 성숙한 기술을 선택하고 가장 적합한 사람이 이를 구현하도록 하여 보다 합리적인 결과를 얻을 수 있습니다.
현재 많은 기업이 자체 빅 데이터 프로젝트를 배포하기 시작했습니다. 아래에서는 기업이 빅 데이터 프로젝트를 배포하는 과정에서 직면하는 어려움과 과제를 요약해 보겠습니다.
복잡한 데이터 계산 및 저장
빅데이터는 이름 그대로 대용량 데이터가 필연적이다. 전통적인 데이터 분석의 경우, 빅데이터는 데이터 저장을 위해 많은 양의 저장 공간을 필요로 하며, 이제 생성되는 데이터의 양은 사람들이 상상하는 것 이상입니다. 즉, 시나웨이보와 페이스북이 1분마다 생성하는 데이터의 양을 보면 알 수 있다. 알리바바의 더블 일레븐(Double Eleven)은 이 정도의 데이터가 필요하다. 데이터 저장 방법을 타겟팅합니다.
프로젝트 전체의 관점에서 볼 때 스토리지만으로는 빅데이터로 간주할 수 없습니다. 저장 후에는 방대한 양의 데이터를 분석하고 계산해야 합니다. 최종 분석 결과만이 기업에 도움이 됩니다. 스토리지는 수천 마일에 달하는 긴 여정의 첫 번째 단계일 뿐입니다. 빅데이터 처리팀은 데이터 이면의 가치를 파악하고, 데이터를 합리적으로 보관하며, 데이터의 가치를 계산하고 분석해야 합니다. 데이터의 양은 더 많은 양의 데이터를 필요로 합니다.
기술 성숙도에 대한 도전
오픈소스 기술은 강아지 같아서 귀엽고 좋다. 하지만 먹이를 주어야합니다. 현재의 기술 발전에 따르면 오픈소스 빅데이터 기술은 아직 성숙하지 않았고 상용 빅데이터 솔루션은 매우 비싸기 때문에 대부분의 기업에서는 오픈소스가 유일한 솔루션인 것 같습니다. 그러나 오픈소스 기술은 각 기업의 특정 사업 분야에 잘 적응할 수 없기 때문에 기업은 유지 관리 및 2차 개발에 많은 기술력을 투자해야 합니다. 오픈소스 기술은 귀여운 강아지지만 먹이를 주어야 합니다.
많은 빅데이터 기술이 진행 중입니다. 기본 기술은 개선되고 있지만 관리 및 구성 도구는 초기 단계이므로 IT 전문가가 격차를 해결하는 작업을 수행해야 합니다. 기업의 IT 팀은 관리 관점, 워크플로 관점, 구성과 같은 다양한 관점에서 도구를 개발해야 합니다.
기대하고 열심히 인재를 찾아보세요
앞서 언급했듯이 빅데이터에는 성숙한 기술이 필요하며, 이를 실행할 수 있는 인재가 바로 진정한 데이터 분석 전문가입니다.
그런 사람들은 종종 마주치기는 하지만, 다른 회사에서 사람들을 영입하기 위해 많은 돈을 쓰지 않는 이상, 이 사람이 팀에 적응할 수 있을지 확신할 수 없는 경우에는 발견되지 않습니다.
사실 기술적 관점에서 볼 때 빅데이터 기술과 도구는 빠르게 발전하고 있지만, 이러한 기술과 도구는 소수의 손에만 있고 대규모로 적용할 수는 없습니다. 따라서 기업에게 있어서 빅데이터 기술은 사람만큼 중요합니다. 성숙하고 안정적인 기술이 있지만 이를 실행할 수 있는 사람이 없다면 빅데이터 프로젝트는 상당히 위험할 것이며 언제든지 기업 재정에 부담이 될 수 있습니다. 3. 제품군과 프로젝트 간의 연결 모듈화를 고려하고 투자를 준비하세요
모든 프로젝트 구축에는 비용이 들지 않을 수 없습니다. 모든 프로젝트에는 인적, 재정적 자원의 투자가 포함됩니다. 특히 빅데이터 프로젝트에서 모든 핵심 비즈니스 포인트는 막대한 리소스 투자를 의미합니다. 다른 프로젝트에 비해 빅데이터 프로젝트는 인프라, 서버, 스토리지, 컴퓨팅 리소스 및 개발자에 대한 투자가 상당히 큽니다.
모듈형 인프라는 IT 팀이 비즈니스 우선 순위의 변화를 처리하고 비즈니스 투명성을 제공할 수 있도록 해주기 때문에 항상 중요했습니다. 엔터프라이즈 IT 팀은 관리 및 생산성 도구에 필요한 투자를 하고 있습니다. 엔지니어링 리소스, 생산성 도구 및 워크플로 관리에 20%, 25%가 집중되어 있습니다.
제품과 비즈니스 라인의 연결
기업에서는 비즈니스를 중심으로 프로젝트를 구현해야 합니다. 아무리 좋은 제품 프로젝트라도 잘 연결되지 않으면 실현될 수 없습니다. 비즈니스의 진정한 가치와 함께. 빅데이터 전문가가 제품 전문가 및 비즈니스 전문가와 긴밀히 협력하여 장점에 대해 이야기하는 것은 쉽지만 아이디어를 실행하는 것은 어려울 수 있습니다. 지난 몇 년 동안 우리는 양측이 상대방을 이해해야 하기 때문에 이러한 문제를 점점 더 많이 제기했습니다.
많은 실패 사례에서 기업 빅데이터 제품이 실패하는 궁극적인 이유 중 하나는 해당 제품이 기업의 핵심 비즈니스를 제대로 서비스하지 못하기 때문이라고 보는 것은 어렵지 않습니다. 많은 양의 투자된 자원이 가치 없는 투자가 됩니다.
성공하는 빅데이터 제품은 그렇지 않습니다. 성공적인 빅 데이터 분석 제품은 위험을 밝혀내고 기업을 위한 새로운 비즈니스 기회를 식별하고, 고객 선호도에 따라 비즈니스 활동을 수행하고, 고객 정서에 대한 통찰력을 얻은 다음 결과를 회사와 공유할 수 있습니다. 빅 데이터 쇼케이스 비즈니스 및 IT 이벤트는 빅 데이터 분석의 잠재력에 대한 관심을 불러일으키는 데 도움이 되었습니다.
리더십부터 기술 인력까지의 이념적 구현
여기서 말하는 내용은 여전히 사람과 관련이 있습니다. 기업의 빅데이터 프로젝트는 기업 발전에 영향을 미치는 큰 프로젝트로 간주됩니다. 전략. 이를 위해서는 비즈니스 리더십부터 개발자까지 총체적 투자가 필요합니다. 기업들은 보험 인수 및 청구 프로세스에서 빅 데이터를 활용하고 비즈니스 라인에 다시 피드백할 수 있는 방법을 파악하는 데 많은 시간을 보냈습니다. 프로젝트 팀은 리더십부터 기술 수준까지 기업의 하향식 지원이 필요합니다. ACE 그룹의 운영위원회는 회사의 빅데이터 의제를 주도하는 역할을 담당합니다. 놀랍게도 스태킹 기술자가 아닙니다. "이런 일은 어떤 기술에서도 드문 일입니다. 해당 팀에는 4명의 기술 인력과 약 20명의 비즈니스 리더가 있습니다.
가장 중요한 것 중 하나는 이 기간 여정을 시작할 때 먼저 기술과 리소스를 구축하는 데 투자하는 것이었습니다. 그렇지 않으면 비즈니스에 대한 가치 반환이 허용할 수 없을 정도로 지연됩니다. 4. 비즈니스 인력을 프로젝트에 분산시키세요.
빅 데이터 프로젝트는 기업에 도움이 되기 때문입니다.
기업은 완전히 내재된 접근 방식을 채택하고 일선 비즈니스 인력을 할당해야 합니다. 이러한 방식으로만 기업은 전체 프로젝트가 완료된 후 비즈니스에 더 나은 서비스를 제공할 수 있습니다. 비즈니스 성장을 돕기 위해 빅 데이터를 사용하면서 지식, 개발 및 혁신을 공유한다는 인식이 필요합니다.
관리 공급업체나 시스템 통합업체를 과소평가하지 마세요
기술 역량이 제한된 일부 회사의 경우 아웃소싱을 위해 시스템 통합업체나 솔루션 제공업체를 찾는 것을 선호합니다. 이 기간 동안 솔루션 입찰이 진행되며 각 통합업체의 솔루션이 다르며 누구도 즉시 사용할 수 있는 솔루션을 제공할 수 없습니다. 서로 다른 모든 시스템을 통합하고 이러한 시스템을 통합하는 것도 공급업체 경영진의 과제입니다. 공동으로 운영할 수 있는 거대한 프로그램입니다.
ROI를 독립적으로 평가
많은 기업에서 마케팅 캠페인의 효과를 개선하고 확인하기 위해 빅데이터 분석을 사용합니다. 빅 데이터 프로젝트가 성공하면 모두가 그 일부를 원하고, 회사에 새로운 수익을 창출하기 시작하고 프로젝트가 엄청난 돈을 가져오면 모두가 갑자기 목공 작업에서 나와 소유권을 주장하고 싶어합니다. 그의 팀에서는 문제가 해결되었고, CFO가 직접 나서 ROI에 대한 독립적인 의견을 제시했을 때 회사는 빅 데이터 이니셔티브에 더욱 전념하게 되었습니다. ?
변화는 하루아침에 이루어지지 않습니다. 여러 소스에서 데이터를 수집하는 것부터 심층적인 분석을 통해 통찰력을 얻는 것까지, 고르지 못한 여정이 될 것입니다. Hadoop과 같은 기술의 성숙도가 높아짐에 따라 기업 사용자는 비즈니스 관련 데이터를 보다 편리하고 대규모로 수집할 수 있게 되었지만 동시에 실질적인 과제가 뒤따르게 됩니다. 이는 여러 소스에서 발생하는 방대한 양의 데이터를 효율적으로 처리하고 이에 적합한 비즈니스 용도를 찾는 방법입니다.
위 내용은 기업 빅 데이터 프로젝트를 구현하는 동안 직면한 문제에 대해 편집자가 공유한 관련 내용입니다. 자세한 내용은 Global Ivy를 팔로우하여 더 많은 정보를 공유할 수 있습니다.