빅 데이터 엔지니어 (빅 데이터 개발 엔지니어) 의 기능은 다음과 같습니다.
1, 빅 데이터 수집 (파충류), 빅 데이터 클리닝 (ETL 엔지니어), 빅 데이터 모델링 (알고리즘 엔지니어), 빅 데이터 분석 (데이터 분석가).
2. 관리, 분석, 전시, 응용 등 기술 (빅 데이터 개발 엔지니어).
대형 데이터 플랫폼의 아키텍처, 기술 및 표준을 연구하고 적용하십시오.
4. 대용량 데이터 소프트웨어 및 하드웨어 시스템을 설계, 개발, 통합 및 테스트합니다.
5. 대형 데이터 시스템의 안정적인 운영을 관리, 유지 및 보장합니다.
빅 데이터의 보안을 모니터링, 관리 및 보장합니다.
7. 빅 데이터에 대한 기술 자문 및 기술 서비스를 제공합니다.
확장 데이터:
대형 데이터 엔지니어 (즉, 대형 데이터 개발 엔지니어) 의 기술 요구 사항:
1, Java 기술 지식, Spark, Kafka, Hive, HBase, zookeeper, HDFS, MR 등의 애플리케이션 설계 및 개발에 익숙합니다.
2. 파이썬/쉘과 같은 스크립팅 언어를 이해합니다.
3. 대형 데이터 플랫폼의 아키텍처에 익숙하며 ETL 과 데이터 웨어하우스에 대해 어느 정도 이해하고 있습니다.
4. 데이터 시각화, 데이터 분석 및 수학 모델 구축 경험이 있는 사람이 우선입니다.
파충류 시스템 개발 경험이 선호됩니다.