BigData Engineering/Docker

[Docker] Docker로 Hadoop 구성하기 #3 - Hadoop 클러스터 구성 및 실행

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. 관련 글 [Docker] Docker로 Hadoop 구성하기 #1 - MacOS에 Docker 설치 및 CentOS 실행 [Docker] Docker로 Hadoop 구성하기 #2 - Hadoop 설치 및 세팅 이전 글에서 docker의 CentOS container에서 hadoop 설치 및 세팅까지 완료했습니다. 이제는 hadoop 세팅까지 완료된 이미지를 기반으로 다수의 container를 실행해 클러스터를 구성해보겠습니다. 그리고 간단한 wordcount 예제까지 해보겠습니다. Hadoop 클러스터 구성 hadoop 클러스터는 NameNode 1개, DataNode 3개로 구성하겠습니다. 이전..

[Docker] Docker로 Hadoop 구성하기 #2 - Hadoop 설치 및 세팅

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. 관련 글 [Docker] Docker로 Hadoop 구성하기 #1 - MacOS에 Docker 설치 및 CentOS 실행 [Docker] Docker로 Hadoop 구성하기 #3 - Hadoop 클러스터 구성 및 실행 이전 글에서 docker 설치 및 CentOS container를 생성했다면 이번 글에서는 CentOS에 hadoop 설치 및 세팅을 합니다. docker 로 hadoop cluster를 구성하기 위해선 다수의 서버가 필요합니다. 각각의 서버에 기본적인 프로그램들을 설치하기엔 번거로우니 hadoop-base 라는 이름의 container에 hadoop 과 기타 프로그램들을 설치한 뒤..

[Docker] Docker로 Hadoop 구성하기 #1 - MacOS에 Docker 설치 및 CentOS 실행

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. 관련 글 [Docker] Docker로 Hadoop 구성하기 #2 - Hadoop 설치 및 세팅 [Docker] Docker로 Hadoop 구성하기 #3 - Hadoop 클러스터 구성 및 실행 이번에 해볼 것은 docker 를 이용해 Hadoop cluster 구성하기입니다. Hadoop cluster라는 것이 기본적으로 다수의 컴퓨터가 존재해야 합니다. 같은 환경의 컴퓨터가 여러 대 존재한다면 가능하지만 일반적인 경우에는 다수의 컴퓨터가 존재하지 않고 혹시나 있더라도 전부 똑같은 환경 구성이 되어있는 경우는 극히 드뭅니다. 그래서 이럴 때 가장 유용하게 사용될 수 있는 것이 바로 docker 입..