[2015 기술살롱 나눔]
업무상의 필요로 인해 회사는 2010년 초 회사의 멀티컴의 혼란스러운 상황을 해결하기 위해 빅데이터 기반 플랫폼을 구축할 계획을 세웠습니다. -비즈니스 및 다중 시스템 지원. 저는 이전에 SNS 플랫폼을 구축한 경험이 있기 때문에 "플랫폼"을 구축하는 것은 많은 인력, 시간, 자원이 필요하다는 것을 알고 있습니다. 지속적인 구축 과정에서 중소기업은 '빅' 데이터를 처리해야 하는 과제에 직면해 있습니다.
한 문장 정의
인터넷 정보 수집 및 마이닝 서비스
확장 정의
기업 내부를 지향하는 인터넷 온라인 지능형 컴퓨팅 플랫폼 제품 연구 및 개발 및 운영 팀, 제3자 응용 프로그램 개발자 및 독립 개발자는 정부, 미디어, 기업, 금융, 웹 사이트 및 기타 분야에서 응용 프로그램을 개발할 때 정보, 인텔리전스, 지식, 행동, 컴퓨팅 및 기타 측면에서 핵심 지원을 제공합니다. 기타 분야
플랫폼은 전체적으로 4개 부분으로 나뉘며 데이터 수집, 데이터 저장, 데이터 마이닝 및 데이터 인터페이스의 4개 팀도 구성됩니다.
질문 1: 실시간 데이터 처리에 지연이 있으며 적시성이 높지 않습니다. 비즈니스에서는 두 번째 수준에서 데이터 처리 적시 응답이 필요합니다.
질문 2: 일괄 데이터 처리 효율성 높지 않음, mfs의 본질은 여전히 병렬로 계산할 수 없는 파일 탐색 방법임
질문 3: 관련 데이터의 저장 및 분석
두 가지 주요 변경 사항이 적용되었습니다.
(1) 분산 메시지 미들웨어 MQ 추가
실시간 시스템의 원래 라운드 로빈 모드가 게시-구독 모드로 변경되었습니다.
스트리밍 데이터 처리 모드와 일괄 데이터 처리 모드 분리
(2) 분산 스토리지 및 병렬 컴퓨팅 Hadoop 생태계 도입
스토리지 규모 증가 및 쓰기 속도 향상
일괄 처리는 MapReduce 병렬 컴퓨팅 방식을 채택합니다. 과거 데이터의 효율성을 대폭 향상합니다.
업계의 기술 발전과 회사 비즈니스의 지속 가능한 발전에 따라 빅 데이터 플랫폼이 점차 도입되었습니다. 더 많은 오픈 소스 기술 시스템
(1) 기술 측면
(2) 비즈니스 측면
빅 데이터 플랫폼을 구축하려면 성숙한 기술 팀과 회사의 막대한 비용 투자 플랫폼 구축 과정에서 비즈니스 개발, 비용 투자, 기술 솔루션을 종합적으로 고려해야 하며 회사가 직면한 강력한 비즈니스 동인이 있는 경우에만 투자하는 것이 좋습니다. 이 기사에서 설계한 전체 아키텍처를 포함하여 플랫폼 구축 과정에서 발생하는 많은 기술적 문제는 여전히 비즈니스 발전에 직면해 있으며 향후 점차적으로 공유될 것입니다.