빅데이터를 배우고 싶다고 들었는데? 확실히 개념을 이해하셨나요? 퀴즈를 풀어보겠습니다.
데이터 분석가는 회사에서 어떤 일을 하나요?
빅데이터와 일반데이터의 가장 큰 차이점은 무엇인가요?
일상 업무에서 빅데이터를 접하지 않는 것이 당신이 정말로 배우고 싶은 것인가요?
좀 혼란스럽네요. 유준은 가능한 한 짧은 시간 내에 이러한 개념을 명확히 하고 앞으로 나아갈 길을 찾을 수 있도록 도와드립니다.
빅데이터 중 '빅'은 누구에게나 낯설지 않은가? 습관. 우리는 일상생활에서 매일 데이터를 접합니다. 타오바오 쇼핑 시 가격 비교, 연말 평가 후 제공되는 보너스, Zhihu에 게시된 기사에 대한 댓글 수 등이 모두 데이터입니다.
사람이 셀 수 있기 때문에 데이터가 있었고 데이터 분석도 마찬가지였습니다. 빅 데이터는 어떻습니까?
빅데이터라면 인터넷을 빼놓을 수 없다. 인터넷이 등장하기 전에는 정부 부처와 일부 공공기관이 시간이 지나면서 상대적으로 많은 양의 데이터를 획득했지만 영향력이 충분하지 않았습니다. 인터넷 제품이 등장하기 전까지는 사용자 데이터 수집의 편리성으로 인해 다른 산업에서 1년 동안 얻을 수 있는 데이터의 양이 보통 하루에 축적될 수 있었습니다.
데이터 볼륨을 업그레이드하려면 알고리즘과 하드웨어 모두 업그레이드해야 하며, 운영의 기술적 난이도도 많이 높아진다. 이때 빅데이터의 저장, 처리, 분석 작업을 완성하기 위해서는 전문적인 기술과 플랫폼이 필요하다. 예를 들어 누구나 Hadoop 플랫폼과 MapReduce 알고리즘에 대해 들어본 적이 있을 것입니다. 모두 빅데이터 시대의 산물이다.
그러므로 나는 빅데이터의 핵심은 거대함에 있다고 믿는다.
일정 규모의 인터넷 기업은 자사 제품에서 수집한 빅데이터를 관리하기 위해 빅데이터 전담 부서를 설치하게 된다. 데이터의 양이 많을수록 처리하기가 어려워지고 그에 따라 더 많은 의미를 채굴할 수 있습니다. 그 결과, 빅데이터는 하나의 산업, 핫한 산업이 되었습니다.
빅데이터계에 종사하는 사람들 빅데이터 업계에서 회사가 제공하는 직위는 크게 데이터 분석가, 데이터 제품 관리자, 데이터 엔지니어의 세 가지 범주로 나뉜다. 이들은 긴밀히 협력하여 회사의 데이터 중심 의사결정 문화를 주도합니다.
그럼 세 가지 직위는 어떤 역할을 하나요? 업계에 진출하는 방법은 무엇입니까?
데이터 분석가
데이터 분석가는 빅데이터를 활용하는 사람입니다. 다양한 데이터 분석 도구와 데이터 분석 기술을 익히는 것이 핵심이며, 회사 경영진과 제품팀에 분석 보고서를 제공하여 의사 결정에 도움을 주는 것이 목표입니다.
실제 작업에서 데이터는 데이터 분석가가 사용할 수 있도록 다양한 유형으로 처리되며, 일부는 비교적 원시적이며 일부는 비교적 간단하고 사용하기 쉽습니다. 따라서 데이터 분석가는 R, SQL, Excel, Python 등 다양한 기본 프로그래밍 기술을 숙지하고 일반적으로 사용되는 데이터 분석 방법에 능숙해야 합니다.
데이터 분석가, 심지어 데이터 과학자가 되겠다고 결심했다면 체계적으로 공부하는 것을 강력히 추천합니다.
데이터 제품 관리자
데이터 제품 관리자는 데이터 제품을 설계하는 사람입니다. 핵심역량은 데이터 요구사항 분석, 데이터 제품 설계로, 다른 인터넷 제품 관리자와 본질적으로 다르지 않습니다. 실제 업무에서 데이터 제품 관리자는 다양한 사용자의 데이터 요구 사항을 수집하고 모든 사람에게 제공하여 "데이터를 사용하여 의사 결정을 내리는" 데 도움이 되는 유용한 데이터 제품을 설계해야 합니다.
어떻게 시작하나요? 구체적인 고급 프로세스에 관해서는 제가 Yiyiting.com에서 진행한 "빅데이터 제품 관리자가 되기 위한 4단계" 강의를 들어보시면 매우 포괄적인 소개를 받으실 수 있을 것입니다.
일반적으로 권장되는 입문서로는 "모든 사람은 제품 관리자입니다", "DatawareHouse Toolkit", "Lean Analytics" 등이 있습니다.
데이터 엔지니어
데이터 엔지니어는 간단히 두 가지 유형으로 나뉘는데, 하나는 데이터 마이닝 엔지니어이고 다른 하나는 빅 데이터 플랫폼 엔지니어입니다. 엔지니어의 기본 기술은 물론 코드를 작성하고 고품질의 코드를 작성하는 것입니다.
데이터 마이닝 엔지니어의 주요 업무는 데이터 분석가와 함께 빅데이터 파이프라인을 개발하고 데이터 마이닝 프로젝트를 완료하는 것이며, 데이터 플랫폼 엔지니어의 주요 업무는 빅데이터 플랫폼을 유지하는 것입니다.
따라서 이공계 경력이 있고, C, C#, Python 등 프로그래밍/스크립팅 언어를 마스터하고, 다양한 기본 알고리즘을 숙지하고 있는 분들이 유력할 것입니다.
데이터를 사용하여 의사 결정을 내리는 방법
직업을 바꾸고 빅 데이터 서클에 들어가기를 원하지 않는 사람들을 위해 우리는 정확히 무엇을 배워야 할까요?
일상적인 업무에서, 특히 성과가 좋지 않고 돌파구를 찾을 수 없을 때, 우리 모두는 데이터를 활용하여 스스로를 도울 수 있는지 생각해 본 적이 있다고 믿습니다. 왜냐하면 우리 모두는 기저귀나 맥주와 같은 멋진 데이터 사례에 대해 한 번쯤 들어봤을 것이기 때문입니다.
간단한 예를 들자면, 당신이 운영하는 식당의 상태가 좋지 않습니다. 상황을 개선하기 위해 여러 가지 새로운 아이디어를 브레인스토밍할 수 있습니다. 또한, 데이터를 수집 및 정리하고, 분석을 통해 근본 원인을 찾아내고, 상황을 반전시킬 수 있는 대응 솔루션을 제안할 수도 있습니다. 후자가 더 안정적으로 들립니다.
그렇다면 어떤 데이터를 수집하고 어떤 분석을 해야 할까요? "데이터를 활용해 의사결정을 내리는 방법"을 배워야 합니다. 이러한 관점에서 저는 다음과 같이 생각합니다.
모든 사람은 데이터 분석가가 되어야 합니다
체계적인 데이터 의사결정과 데이터 분석 사고를 배우려면 다음 기사에서 시작해 보세요. 1. 데이터 분석 지식 시스템을 구축한다. 트렌드 분석, 다차원 분해, 사용자 세분화, 유입경로 분석 등 제가 작업할 때 자주 사용하는 데이터 분석 방법이 포함되어 있습니다. 기사를 과소평가하지 마십시오. 지식은 좋은 것보다 더 중요합니다.
간단하고 읽기 쉬운 책 '누가 말하는 신인은 데이터 분석을 할 수 없다'를 생각하면서 데이터 분석 구축을 시작할 수도 있습니다.
데이터 분석에 관한 책은 너무 많아서 일일이 열거하기 어려울 정도다. 검색해 보면 추천도 많이 나올 것이다. 논의된 지식과 이론은 실제로 유사합니다. 결국, 그것이 효과적이려면 여전히 실천과 결합되어야 합니다.
그러므로 자신의 사업이나 업무에서 데이터 분석을 더 많이 연습하고, 더 많이 생각하고, 문제가 생겼을 때 커뮤니티에 질문을 해서 모두와 토론하는 것이 가장 좋은 배움의 방법이라고 믿습니다. 나는 항상 이것을 스스로 실천해 왔습니다.
가장 좋은 방법은 질문을 가지고 공부하는 것입니다.
이 과정에서 데이터에 대한 이해가 깊어질수록 더 많은 데이터 분석 언어와 도구를 마스터하게 됩니다. Excel에서 SQL, 심지어 R 및 Python까지. 사용할 수 있는 데이터의 양도 늘어납니다. 하지만 처음부터 이러한 도구를 배우려고 뛰어들 필요는 없습니다. 그렇게 하면 효과가 거의 없기 때문입니다.