[TIL] 하둡에 대해서 간단히 정리

오늘 하둡에 대한 전반적인 설명을 들어서

하둡이 무엇인가에 대한 내용을 아주 간단하게 정리해두려고 한다.

 

✅ 하둡이란?

하둡이란 Apache 재단에서 관리하는 오픈소스 분산 처리 플랫폼이다.

하둡의 핵심 기술인 HDFS(Highly Scalable Distributed File System)과 MapReduce는,

구글에서 2003~2004년에 발표한 File System과 MapReduce 관련 논문을 참고하여 Java로 구현한 것이라고 한다.

 

✅ 하둡은 아주 큰 파일을 여러 개의 block으로 쪼개어 데이터 노드에 저장한다.

- 하나의 파일은 여러 개의 데이터 노드에 분산되어 저장된다.

- 이때 하나의 파일은 여러 개의 서로 다른 노드에 복제되어 저장되므로, 데이터 유실 확률도 적다.

- 데이터 노드는 몇 개의 노드에서 수천 개의 노드로 확장될 수 있다.

 

✅ 하둡에는 어떤 데이터가 저장되나?

- 하둡은 한마디로 비관계형 파일 또는 반구조적 데이터들이 저장되는 대규모 파일 시스템이다.

- 예를 들면 clickstream, 센서 데이터, 서버 로그 등이 저장될 수 있다.

 

 

✅ 하둡의 핵심 서비스

- 하둡은 여러 프로젝트로 구성된 플랫폼이다.

- 하둡의 핵심 서비스는 크게 아래의 세가지이다.

 

📌 1. HDFS

- 데이터를 블록으로 나눠 분산 저장하는 파일 시스템이다.

📌  2. MapReduce

- 데이터를 병렬로 처리하는 분산 컴퓨팅 모델이다.

- 데이터를 연산(Map)하고, 필요한 결과만 요약(Reduce)한다.

📌  3. YARN(Yet Another Resource Negotiator)

- 위 두 개 서비스보다 나중에 추가된 서비스이다.

- 하둡 클러스터의 리소스 관리와 작업 스케줄링을 담당하는 역할을 맡는다.

 

📌  그 외에도 아래 서비스들이 있다.

데이터를 조작하고 이동할 수 있도록 하는 데이터 서비스: Hive, Hbase, Pig, Flume, Sqoop

클러스터를 관리할 수 있는 운영 서비스: Ambari, Falcon, Oozie