이 사람들은 외국에서 데이터 과학자라고 불린다. 이 칭호는 2008 년 D.J.Pati 와 Jeff Hammerbacher 에 의해 처음 제기됐으며, 이후 각각 LinkedIn 과 페이스북 데이터 과학 팀의 책임자가 되었다. 현재 데이터 과학자라는 직위는 미국의 통신, 소매, 금융, 제조, 물류, 의료, 교육 등 전통업계에서도 가치를 창출하기 시작했다.
하지만 중국에서는 빅데이터의 응용이 막 싹트고 인재 시장이 아직 그렇게 성숙하지 않았다. "한 명의 다각적인 손이 전체 체인의 모든 부분을 완성할 것으로 기대하기는 어렵다. 더 많은 회사들이 기존의 자원과 짧은 판에 따라 기존 팀을 보완할 수 있는 인재를 채용할 것이다. " 영영 중국구 상업분석과 전략이사 왕옥요가' 제 1 재경주간지' 에 대해 알렸다.
데이터 엔지니어는 무엇을 합니까? 따라서 빅데이터 작업에 대한 요구는 회사마다 다르다. 데이터베이스 프로그래밍을 강조하는 사람도 있고, 응용수학과 통계지식을 강조하는 사람도 있고, 컨설팅 회사나 투자 은행과 관련된 경험도 있고, 제품을 이해하고 시장을 이해하는 응용형 인재를 찾는 희망도 있다. 이 때문에 많은 기업들이 비즈니스 유형 및 팀 분업에 따라 대용량 데이터를 처리하는 사람들에게 데이터 마이닝 엔지니어, 빅 데이터 전문가, 데이터 연구원, 사용자 분석가 등 새로운 명칭과 정의를 제공합니다. 국내 회사들이 자주 등장하는 칭호로, 우리는 통칭하여' 대데이터 엔지니어' 라고 부른다.
국내 빅 데이터 작업은 아직 개발 단계에 있기 때문에 얼마나 많은 가치를 추출할 수 있는지는 전적으로 엔지니어의 개인적 능력에 달려 있다. 이 업계의 전문가들은 컴퓨터 코딩 능력, 수학, 통계 배경을 포함한 인재 수요의 대략적인 틀을 제시해 왔다. 물론, 특정 분야나 산업에 대해 더 잘 이해할 수 있다면, 그들이 핵심 요소를 신속하게 판단하고 파악하는 데 도움이 될 것입니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성공명언)
일부 대기업들에게는 석사 학력 회사인이 더 좋은 선택이지만 알리바바바 그룹 연구원인 설은 학력이 가장 중요한 요소가 아니며 대규모 데이터 처리 경험과 데이터 해양 보물찾기에 대한 호기심이 이 일에 더 적합하다고 강조했다.
또한 우수한 대형 데이터 엔지니어는 비즈니스 문제의 핵심 속성과 결정 요소를 신속하게 찾을 수 있는 논리적 분석 기능을 갖추고 있어야 합니다. "그는 어떤 것이 관련이 있는지, 어떤 것이 중요한지, 어떤 데이터가 가장 가치가 있는지, 그리고 각 비즈니스의 핵심 요구 사항을 신속하게 찾는 방법을 알아야 한다." 유엔 바이두 빅 데이터 연합 실험실 데이터 과학자 심지용이 말했다. 학습 능력은 대규모 데이터 엔지니어가 다양한 프로젝트에 빠르게 적응하여 단기간에 해당 분야의 데이터 전문가가 될 수 있도록 도와줍니다. 대형 데이터 엔지니어의 작업은 주로 시장 부문에 의해 구동되고 데이터 분석 부서에 의해 구동되기 때문에 의사 소통 능력은 그들의 업무를 원활하게 진행할 수 있게 해 줍니다. (윌리엄 셰익스피어, 윈스턴, 데이터 분석, 데이터 분석, 데이터 분석, 데이터 분석, 데이터 분석, 데이터 분석) 전자는 제품 관리자로부터 개발 요구 사항을 자주 이해하고, 운영 부서를 찾아 데이터 모델의 실제 전환을 이해해야 합니다.
Wanbao Ruihua 관리 파트너 Nicole Yan 의 관점에서 볼 때, 이러한 요구 사항은 큰 데이터 엔지니어가 되는 방향으로 볼 수 있습니다. 현재 국내 빅 데이터 애플리케이션은 인터넷 분야에 집중돼 56% 이상의 기업이 빅 데이터 연구를 준비하고 있다. "향후 5 년 동안 94% 의 기업이 데이터 과학자를 필요로 할 것이다." 양정여 말하다. 그래서 그녀는 원래 데이터 관련 업무에 종사했던 회사들도 변화를 고려할 수 있다고 제안했다.
알리바바 그룹 연구원인 설의 말에 따르면, 빅데이터 엔지니어들은 데이터의 상업적 가치를 발휘하여 데이터를 생산성으로 바꾸는' 데이터' 를 하는 사람들이다. 빅 데이터와 전통적인 데이터의 가장 큰 차이점은 온라인, 실시간, 대규모, 불규칙한 형태, 불규칙성이므로 이러한 데이터를 "재생" 하는 사람들이 중요하다는 것입니다.
심지용은 큰 데이터를 끊임없이 축적되는 광산으로 생각한다면, 큰 데이터 엔지니어의 일은 "정보가 있는 데이터 세트를 찾고 추출하는 것이 탐광과 채광에 해당한다" 고 생각한다. 두 번째 단계는 그것을 직접 판단할 수 있는 정보로 바꾸는 것은 제련에 해당한다. 마지막으로 응용 프로그램은 데이터를 시각화합니다. 클릭합니다
따라서 역사를 분석하고, 미래를 예측하고, 선택을 최적화하는 것은 큰 데이터 엔지니어가 데이터를 가지고 노는 가장 중요한 세 가지 임무입니다. 이 세 가지 업무 방향을 통해 기업이 더 나은 경영 결정을 내릴 수 있도록 돕는다.
1. 과거 이벤트의 특성 찾기
빅데이터 엔지니어의 중요한 업무는 데이터를 분석하여 과거 사건의 특징을 찾아내는 것이다. 예를 들어 Tencent 의 데이터 팀은 회사의 모든 네트워크 플랫폼에서 크고 불규칙한 데이터 정보를 정리하고 광고, 게임 개발, 소셜 네트워크를 포함한 다양한 비즈니스 데이터 요구를 지원하기 위해 쿼리 가능한 기능을 요약하고 있습니다.
과거 사건의 특징을 찾아내면 기업이 소비자를 더 잘 이해할 수 있도록 도울 수 있다. 사용자의 과거 행동 궤적을 분석하여 이 사람을 이해하고 그의 행동을 예측할 수 있다. "그가 어떤 사람인지, 나이, 취미, 인터넷 유료 사용자인지, 어떤 종류의 게임을 좋아하는지, 평소 인터넷에서 무엇을 하는 것을 좋아하는지 알 수 있다." 텐위운계산유한공사 베이징 R&D 센터 사장인 정리봉이' 제 1 재경주간지' 에 대해 말했다. 그런 다음 비즈니스 차원에서 모바일 게임과 같은 다양한 사람들에게 서비스를 추천하거나 위챗 영화표 업무와 같은 다양한 특성과 요구 사항에 따라 새로운 비즈니스 모델을 도출할 수 있습니다.
2. 앞으로 발생할 수 있는 일을 예측한다
주요 요인을 도입함으로써 대형 데이터 엔지니어는 미래의 소비 추세를 예측할 수 있다. 알리 엄마의 마케팅 플랫폼에서 엔지니어들은 기상 데이터를 도입하여 타오바오 판매자가 장사를 할 수 있도록 돕고 있다. "예를 들어 올여름은 덥지 않다. 지난해 에어컨, 선풍기, 조끼, 수영복 등을 제외하고는 일부 제품이 팔리지 않을 가능성이 높다. , 영향을 받을 수 있습니다. 그런 다음 기상 데이터와 판매 데이터 간의 관계를 구축하고 관련 범주를 찾아 판매자의 회전율 재고를 미리 경고합니다. " 슈 는 대답했다.
바이두에서 심지용은' 바이두 예측' 일부 제품의 모델 개발을 지지해 빅데이터로 더 넓은 사람들에게 서비스를 제공하려 했다. 이미 온라인에 올라온 것은 월드컵 예측, 수능 예측, 관광지 예측 등이다. 바이두의 관광지 예측을 예로 들자면, 빅데이터 엔지니어는 일정 기간 동안 관광지 관광객의 흐름에 영향을 줄 수 있는 모든 핵심 요소를 수집해 예측하고, 전국 각 관광지의 미래 혼잡 상황을 순위를 매겨야 한다. 앞으로 며칠 동안 원활하고 붐비는가, 아니면 보편적으로 붐비는가?
3. 최적화 결과 찾기
기업의 업무 성격에 따라 대형 데이터 엔지니어는 데이터 분석을 통해 다양한 목적을 달성할 수 있습니다.
Tencent 의 경우, Zheng Lifeng 은 대규모 데이터 엔지니어의 작업을 가장 잘 반영하는 가장 간단하고 직접적인 예는 AB 테스트라고 생각합니다. 이는 제품 관리자가 A 와 B 의 두 가지 옵션 중에서 선택할 수 있도록 도와주는 것입니다. 과거 의사결정자는 경험에 의해서만 판단될 수 있었습니다. 현재 대규모 데이터 엔지니어는 광범위한 실시간 테스트를 통해 마케팅 부서에서 최종 선택을 할 수 있도록 도울 수 있습니다. 예를 들어 소셜 네트워킹 제품을 예로 들면 사용자 절반이 인터페이스 A 를 볼 수 있습니다.
전자상인으로서 알리바바는 빅데이터가 정밀한 인파 포지셔닝을 통해 판매자가 더 나은 마케팅을 할 수 있도록 돕고 싶어 한다. "기존 사용자보다 제품에 더 관심이 많은 사람들을 찾을 수 있기를 기대합니다." 슈 는 대답했다. 타오바오의 한 가지 예는 모 인삼판매자가 원래 홍보하던 대상군이 임산부였지만 엔지니어들은 데이터 간의 연관성을 발굴해 임산부에 대한 마케팅 전환률이 더 높다는 것을 알게 됐다.
필요한 역량
1. 수학 및 통계 관련 배경
우리가 면접한 BAT 3 대 인터넷 회사의 경우 빅데이터 엔지니어에 대한 요구는 모두 통계학과 수학의 석사 또는 박사 학력이다. 심지용은 이론적 배경이 부족한 데이터 종사자들이 위험한 지역으로 들어갈 가능성이 더 높다고 생각한다.)-기술-숫자 더미. 다른 데이터 모델과 알고리즘에 따르면, 그들은 항상 몇 가지 결과를 얻을 수 있지만, 그것이 무엇을 의미하는지 모른다면, 그것은 정말 의미 있는 결과가 아니며, 당신을 오도하기 쉽다. "어느 정도의 이론적 지식이 있어야 모델을 이해하고, 모델을 재사용하고, 심지어 모델을 혁신하여 실제 문제를 해결할 수 있다." 심지용이 말했다.
2. 컴퓨터 코딩 기능
실제 개발 능력과 대규모 데이터 처리 능력은 대규모 데이터 엔지니어로서 반드시 필요한 요소입니다. "많은 데이터의 가치는 발굴 과정에서 비롯되기 때문에 직접 해야 금의 가치를 발견할 수 있다." 정리봉이 말했다.
예를 들어, 소셜 네트워크에서 생성되는 많은 기록은 비정형 데이터입니다. 이런 갈피를 잡을 수 없는 문자, 소리, 이미지, 심지어 동영상에서 의미 있는 정보를 추출하는 방법은 대형 데이터 엔지니어가 스스로 발굴해야 한다. 일부 팀에서도 빅 데이터 엔지니어는 주로 비즈니스 분석을 담당하지만 컴퓨터가 빅 데이터를 처리하는 방식에 익숙해야 합니다.
3. 특정 응용 분야 또는 산업에 대한 지식.
Nicole Yan 의 관점에서 볼 때, 빅 데이터 엔지니어의 역할은 시장과 분리 할 수 없다는 것이 매우 중요합니다. 빅 데이터는 특정 분야의 응용 프로그램과 결합 될 때만 가치를 창출 할 수 있기 때문입니다. 따라서 하나 이상의 수직업계에서의 경험은 지원자에게 업계의 지식을 축적할 수 있고, 앞으로 빅데이터 엔지니어가 되는 데 도움이 될 수 있기 때문에, 이 직위를 신청할 때 비교적 설득력 있는 가산점이기도 하다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 성공명언)
"그는 데이터만 알 수 없고, 상업적인 마음도 있어야 한다. 그는 소매, 의약품, 게임, 여행과 같은 일부 산업에 대해 어느 정도 이해할 수 있으며, 회사의 업무 방향에 부합하는 것이 가장 좋다. " 이와 관련하여 설도 예를 들었다. "예전에 우리는 사치품 점원들이 속물이라고 말했는데, 한눈에 살 수 없다는 것을 알았지만, 이 사람들은 바로 열렬했다. 우리는 그들이 이 업계의 전문가라고 생각했다. 또 다른 예를 들어, 의료 업계를 아는 사람. 의료보험 업무를 고려할 때, 그는 인민병원 병력과 관련될 뿐만 아니라 음식 데이터도 고려하는데, 이는 모두 그가 이 분야에 대해 아는 것을 바탕으로 한 것이다. "
경력 개발 1. 어떻게 큰 데이터 엔지니어가 될 수 있을까요?
현재 대규모 데이터 인재가 부족하기 때문에 회사는 적절한 인재를 채용하기 어렵다. 고등교육을 받아야 하므로 대규모 데이터 처리 경험이 있는 것이 좋다. 그래서 많은 기업들이 안으로 파고들 것이다.
20 14 년 8 월, 알리바바는 티몰 플랫폼의 데이터를 꺼내어 민감한 문제를 제거하고 클라우드 컴퓨팅 플랫폼에 올려 7000 여 개 팀에 넘겨 경기를 진행했다. 경기는 내부 경기와 외부 경기로 나뉜다. "이로 인해 내부 직원과 외부 인재가 모두 동기 부여되어 각 업계의 대형 데이터 엔지니어들이 눈에 띄게 되었습니다."
Nicole Yan 은 기존의 양적 분석가, Hadoop 엔지니어, 특정 분야의 운영 관리자와 같이 데이터를 통해 판단과 의사 결정을 내려야 하는 모든 관리자를 포함하여 오랫동안 데이터베이스 관리, 마이닝 및 프로그래밍에 종사해 온 사람들이 이 직위를 시도할 수 있다고 제안했습니다. 각 분야의 전문가들은 데이터를 사용하는 법을 배우면 큰 데이터 엔지니어가 될 수 있습니다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), Northern Exposure (미국 TV 드라마), 예술명언)
2. 임금과 대우
IT 계의' 자이언트팬더' 로서 빅데이터 엔지니어의 수입과 대우는 동종 최고 수준이라고 할 수 있다. Nicole Yan 에 따르면 국내 IT, 통신, 업계 채용 10% 는 빅 데이터와 관련이 있으며 비율은 여전히 증가하고 있습니다. Nicole Yan 은 "빅 데이터 시대의 도래는 매우 갑작스럽다" 고 말했다. 국내 발전세가 급진적이지만 인재는 매우 제한적이다. 지금 완전 공급 부족. " 미국에서는 빅데이터 엔지니어의 평균 연봉이 654.38 달러+0 만 7500 달러에 이른다. 국내 최고의 인터넷 회사에서는 같은 등급의 대형 데이터 엔지니어의 보수가 다른 일자리보다 20 ~ 30% 높을 수 있어 기업의 높은 중시를 받는 것으로 알려졌다.
3. 경력 개발 경로
큰 데이터 인재가 적기 때문에 대부분의 회사의 데이터 부서는 일반적으로 평평한 계층 모델로, 대략 데이터 분석가, 선임 연구원, 부서장 등 세 단계로 나뉜다. 대기업은 응용 분야의 차원에 따라 팀을 나눌 수 있지만, 소기업에서는 겸직을 해야 한다. 빅데이터 전략을 특별히 강조하는 일부 인터넷 회사들은 알리바바의 CDO 와 같은 다른 고위직을 설립할 것이다. "이 직위의 대부분의 사람들은 연구 방향으로 발전하여 중요한 데이터 전략 인재가 될 것이다." 양정여 말하다. 한편, 빅 데이터 엔지니어는 업무 부서 직원보다 업무 및 제품에 대한 이해가 적기 때문에 제품 부서나 마케팅 부서, 심지어 회사 고위층으로 올라갈 수도 있습니다.