현재 빅 데이터의 추세는 개념에서 착지로 접어들고 있으며, IT 사람들이 빅 데이터의 물결을 따라가면서 대기업들의 빅 데이터 프리미엄 엔터프라이즈 인력에 대한 수요도 점점 더 절실해지고 있습니다. 이러한 추세는 또한 큰 데이터 작업을 원하는 사람들에게 얻기 어려운 직업 기회를 제공한다.
스수 클라우드 컴퓨팅 및 빅 데이터 서비스 센터, 간단히 스수 서운 (베이징 스수 기술유한공사 소속) 은 국내 전문 빅 데이터 분석 교육 컨설팅 기관입니다. 중국 클라우드 컴퓨팅대데이터 처리위원회 연합중과원 소프트웨어소, 칭화대, 구글, 야후, 텐센트, 알리, 이동연구원 등 데이터 기술자가 20 12 에' 뉴비-사고 클라우드 서비스' 대데이터 서비스 센터를 설립했다.
슈윈은 장기 실천에서 빅 데이터의 세 가지 주요 취업 방향, 즉 빅 데이터 시스템 R&D 인재, 빅 데이터 애플리케이션 개발 인재, 빅 데이터 분석 인재를 요약했다. 이 세 가지 방향에서 그들의 기본 직책은 일반적으로 대형 데이터 시스템 R&D 엔지니어, 대형 데이터 애플리케이션 개발 엔지니어 및 데이터 분석가입니다.
기업의 관점에서 볼 때, 빅 데이터 인재는 크게 제품 및 시장 분석, 보안 및 위험 분석, 비즈니스 인텔리전스의 세 가지 영역으로 나눌 수 있습니다. 제품 분석은 알고리즘을 통해 신제품의 유효성을 테스트하는 것을 의미하며, 이것은 비교적 새로운 영역이다. 보안 및 위험 분석 분야에서 데이터 과학자들은 수집해야 할 데이터, 신속한 분석 방법, 정보 분석을 통해 네트워크 침입을 효과적으로 억제하거나 사이버 범죄자를 체포하는 방법을 알고 있습니다.
I. ETL 연구 개발
데이터의 종류가 늘어남에 따라 데이터 통합 전문가에 대한 기업의 수요가 갈수록 커지고 있다. ETL 개발자는 다양한 데이터 소스 및 조직과 거래하고, 다양한 소스에서 데이터를 추출하고, 변환 및 데이터 웨어하우스로 가져와 기업의 요구를 충족시킵니다.
ETL 의 R&D 는 주로 관계형 데이터, 플랫 데이터 파일 등 분산된 이기종 데이터 소스의 데이터를 임시 중간 계층으로 추출하여 청소, 변환 및 통합을 위해 데이터 웨어하우스 또는 데이터 마트에 로드하여 온라인 분석 처리 및 데이터 마이닝의 기초가 됩니다.
현재 ETL 산업은 비교적 성숙하고 관련 직책의 작업 수명 주기가 길며 일반적으로 내부 직원 및 아웃소싱 계약자가 수행합니다. 빅 데이터 시대의 ETL 인재가 가장 핫한 이유 중 하나는 기업 빅 데이터 애플리케이션 초기에 Hadoop 은 가난한 사람들의 ETL 에 불과했기 때문이다.
둘째, Hadoop 개발
Hadoop 의 핵심은 HDFS 와 MapReduce 입니다. HDFS 는 대량의 데이터 저장소를 제공하고, MapReduce 는 데이터 계산을 제공합니다. 데이터 세트 규모가 커지고 기존 BI 데이터 처리 비용이 높아지면서 Hadoop 및 관련 저가 데이터 처리 기술 (예: Hive, HBase, MapReduce, Pig 등) 에 대한 기업의 수요가 지속적으로 증가할 것입니다. 오늘날 Hadoop 프레임워크 경험을 가진 기술자는 가장 인기 있는 빅 데이터 인재입니다.
셋째, 시각화 (프런트 엔드 데모) 도구 개발
대량의 데이터 분석은 Spotifre, Qlikview, Tableau 등의 새로운 데이터 시각화 도구가 직관적이고 효율적으로 데이터를 보여줄 수 있는 큰 과제입니다.
시각화 개발은 시각화 개발 도구가 제공하는 그래픽 사용자 인터페이스에서 인터페이스 요소를 조작하여 애플리케이션 소프트웨어를 자동으로 생성하는 시각화 개발 도구입니다. 여러 자원 및 수준에 걸쳐 모든 데이터를 쉽게 연결할 수 있습니다. 시간이 지남에 따라 완전히 확장 가능하고 모든 기능을 갖춘 시각화 구성 요소 라이브러리는 개발자에게 매우 풍부한 사용자 인터페이스를 구축할 수 있는 완전하고 사용하기 쉬운 구성 요소 집합을 제공합니다.
이전에는 데이터 시각화가 비즈니스 인텔리전스 개발자의 범주에 속했지만, Hadoop 의 등장으로 데이터 시각화는 독립적인 전문 기술과 일자리가 되었습니다.
넷째, 정보 아키텍처 개발
빅 데이터가 마스터 데이터 관리 열풍을 재점화했다. 기업 데이터를 최대한 활용하고 의사 결정을 지원하려면 매우 전문적인 기술이 필요합니다. 정보 설계자는 가장 효율적인 방식으로 데이터를 관리하고 활용할 수 있도록 주요 요소를 정의하고 아카이빙하는 방법을 알아야 합니다. 정보 설계자의 핵심 기술로는 마스터 데이터 관리, 비즈니스 지식, 데이터 모델링 등이 있습니다.
동사 (verb 의 약어) 데이터웨어 하우스 연구
데이터 웨어하우스는 모든 유형의 데이터를 전략적으로 모아 기업의 모든 수준의 의사 결정 프로세스를 지원합니다. 분석 보고서 및 의사 결정 지원을 위한 별도의 데이터 저장소입니다. 비즈니스 프로세스 개선 및 모니터링 시간, 비용, 품질 및 제어를 안내하는 데 필요한 비즈니스 인텔리전스를 기업에 제공합니다.
데이터 웨어하우스 전문가는 Teradata, Neteeza, Exadata 의 대형 데이터 올인원 기계에 익숙합니다. 이러한 올인원에서 데이터 통합, 관리 및 성능 최적화를 수행할 수 있습니다.
여섯째, OLAP 개발
데이터베이스 기술의 발전과 응용으로 데이터베이스에 저장된 데이터의 양은 80 년대의 메가바이트 (M) 와 기가바이트 (G) 에서 현재 메가바이트 (T) 와 기가바이트 (P) 로 발전했다. 동시에, 사용자의 쿼리 요구 사항은 관계형 테이블에서 하나 이상의 레코드를 질의 또는 조작하는 것뿐만 아니라 여러 테이블에서 수천만 개의 레코드에 대한 데이터 분석 및 정보 처리까지 점점 더 복잡해지고 있습니다. 온라인 분석 처리 (OLAP) 시스템은 이러한 대량 데이터 처리 문제를 해결할 책임이 있습니다.
OLAP 온라인 분석 개발자는 관계형 또는 비관계형 데이터 소스에서 데이터를 추출하여 모델을 만든 다음 데이터 액세스를 위한 사용자 인터페이스를 생성하여 고성능 사전 정의된 쿼리 기능을 제공합니다.
일곱째, 데이터 과학 연구
이 직책은 과거에도 데이터 구조 연구라고 불렸다. 데이터 과학자는 기업 데이터와 기술을 기업 비즈니스 가치로 바꿀 수 있는 새로운 업무 유형입니다. 데이터 과학이 발전함에 따라 점점 더 많은 실제 작업이 데이터를 겨냥하여 인류가 데이터를 이해하고 자연과 행동을 이해할 수 있게 될 것이다. 따라서 데이터 과학자들은 먼저 IT 부서와 업무 부서의 리더에게 데이터 분석 결과를 모두 설명할 수 있는 우수한 의사 소통 기술을 갖추어야 합니다.
일반적으로 데이터 과학자는 분석가와 예술가의 결합체로 다양한 학제 간 과학 및 비즈니스 기술을 갖추어야 한다.
여덟, 데이터 예측 (데이터 마이닝) 분석
마케팅 부서에서는 예측 분석을 사용하여 사용자 행동 또는 대상 사용자를 예측하는 경우가 많습니다. 예측 분석 개발자의 일부 시나리오는 데이터 과학자처럼 보입니다. 즉, 기업 내역 데이터를 기반으로 한 가정을 통해 임계값을 테스트하고 향후 성과를 예측합니다.
아홉, 엔터프라이즈 데이터 관리
데이터 품질을 향상시키기 위해 기업은 데이터 관리를 고려하고 데이터 집사 직위를 세워야 한다. 이 직책의 직원들은 다양한 기술 도구를 이용하여 기업 주변의 대량의 데이터를 수집하고, 데이터를 청소하고 표준화하며, 데이터를 데이터 웨어하우스로 가져와 사용 가능한 버전으로 만들 수 있어야 합니다. 그런 다음 보고 및 분석 기술을 통해 데이터를 조각으로 나누어 수천 명의 사람들에게 전달합니다. 데이터 청지기로서 사람들은 시장 데이터의 무결성, 정확성, 고유성, 신뢰성 및 중복성을 보장해야 합니다.
X. 데이터 보안 연구
데이터 보안 직책은 주로 기업의 대규모 서버, 스토리지, 데이터 보안 관리, 네트워크 및 정보 보안 프로젝트의 계획, 설계 및 구현을 담당합니다. 데이터 보안 연구원들은 또한 기업 데이터의 안전과 완전성을 보장하기 위해 기업 전통 업무에 대한 심층적인 이해를 위해 관리 경험, 운영 및 유지 관리 지식 및 능력을 갖추어야 합니다.
을 눌러 섹션을 인쇄할 수도 있습니다