1. 빅데이터

서비스, 조직 등에서 주어진 비용, 시간 내에 처리 가능한 데이터 범위를 넘어서는 수십 페타바이트(PB) 크기의 비정형 데이터이다.

※ 페타바이트 : 10의 15승 바이트이다. 1PB = 1,024 TB

2. 빅데이터의 특성

• 데이터의 양
• 데이터의 다양성
• 데이터의 속도

3. 빅데이터 수집, 저장, 처리 기술

• 비정형/반정형 데이터 수집

  내, 외부 정제되지 않은 데이터를 확보, 이를 통해 필요 정보를 추출하여 활용하기 위해서 효과적으로 수집 및 전송하는 기술

• 정형 데이터 수집

  내, 외부 정제된 대용량 데이터의 수집 및 전송 기술

• 분산데이터 저장/처리

  대용량 파일의 효과적인 분산 저장 및 분산 처리 기술 → 예: HDFS, 맵 리듀스

• 분산데이터 베이스

  HDFS의 칼럼 기반 데이터베이스로 실시간 랜덤 조회 및 업데이트가 가능한 기술 → 예: HBase

4. 빅데이터 주요 기술

• 빅데이터 분석

  빅데이터를 분석하기 위한 데이터의 가공과 분류, 클러스터리, 패턴 분석을 처리하는 기술

• 빅데이터 실시간 처리

  하둡 기반의 실시간 SQL 질의 처리와 요청된 작업을 최적화하기 위한 워크플로우 관리 기술

• 분산 코디네이션

  분산 환경에서 서버들 간에 상호조정이 필요한 다양한 서비스를 분산 및 동시처리 제공 기술