전체 글

[Spark] Spark structured streaming으로 Kafka topic 받기 #2 - Spark 및 Hadoop 서비스 실행하기

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. Kafka Publish, Subscribe 모델 구조로 이루어진 분산 메세징 시스템 Spark Streaming Spark API 중 batch와 실시간 streaming이 가능한 Spark API Hadoop & Spark 서비스 실행 이번 글에서는 Docker Compose를 이용하여 Hadoop과 Spark 서비스들을 microservice화 시키도록 하겠습니다. 이전 글에서 구성했던 Kafka와 Zookeeper를 모두 포함하여 yml 파일을 작성하고 "docker compose up -d" 명령어를 실행하도록 하겠습니다. 이때 새로운 폴더에서 진행합니다. docker-compose.ym..

[Spark] Spark structured streaming으로 Kafka topic 받기 #1 - Kafka 클러스터 구성하기

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. Kafka Publish, Subscribe 모델 구조로 이루어진 분산 메세징 시스템 Spark Streaming Spark API 중 batch와 실시간 streaming이 가능한 Spark API 이번 글부터는 Kafka 와 Spark를 docker로 구성 및 이용해보겠습니다. Docker를 이용한 hadoop 구성하기와 CDH 배포판 설치하기는 docker container를 hadoop 클러스터 중 하나의 서버로 사용해왔습니다. 하지만 docker에 대해서 공부하고 알다 보니 이것은 올바른 사용법이 아니라고 생각했습니다. 최근 docker와 k8s는 monolithic 모델보다는 micro..

[Java] Java Class 및 Object #2 - 생성자와 변수 초기화

Class 어떠한 물체를 코드로 구현해 추상화시킨 개념. Object 추상화시킨 개념인 Class가 구체적인 실체로 만들어진 것. 지난번 글에서는 Java 클래스와 객체에 대해 설명했고 이어서 변수의 종류와 생성 시기를 이야기했습니다. 이번 글에서는 클래스 생성자와 변수들의 초기화 과정에 대해 이야기해보겠습니다. 생성자 선언하기 생성자란 인스턴스가 생성될 때 호출되는 "초기화 메소드" 입니다. 인스턴스가 new를 통해 생성될 때 자동으로 가장 먼저 호출되는 클래스의 메소드이기 때문에 보통 초기화 과정을 작성합니다. 그렇다면 직접 코드에서 어떻게 작동을 하는지 알아보겠습니다. 이전 글에서 사용했던 Animal 클래스와 main 메소드를 참고하겠습니다. Animal 클래스의 기타 메소드들은 생략했다는 점 알..

[Java] Java Class 및 Object #1 - 변수 종류와 생성 시기

Class 어떠한 물체를 코드로 구현해 추상화시킨 개념. Object 추상화시킨 개념인 Class가 구체적인 실체로 만들어진 것. 제 블로그에서 Java에 대한 글이 포스팅 될 예정입니다. Java는 대학생 시절에 공부한 이후로 따로 공부하지 않았기에 역량이 부족하다고 생각했습니다. Java 공화국이라고도 불리는 대한민국에서 Java의 비중은 무시할 수 없습니다. 미래에 Java가 계속 높은 비중을 차지할지 아니면 다른 언어가 높은 비중을 차지할지 모르겠지만, Java에 대한 기초적인 역량은 필수라고 생각하기에 다시 공부하기로 결심했습니다. Java 공부의 베이스로 "Java의 정석"이라는 유명한 책과 pdf를 참고했다는 점 알아주시기 바랍니다. 클래스와 객체 가장 첫 포스팅 주제는 클래스입니다. 앞에 ..

[Docker] Docker로 CDH 배포판 설치하기 #3 - Namenode와 Datanode 이미지 만들기 및 클러스터 재생성하기

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. CDH ( Cloudera’s Distribution including Apache Hadoop ) Cloudera에서 hadoop eco system의 다양한 component들을 묶은 플랫폼 배포판 관련 글 [Docker] Docker로 CDH 배포판 설치하기 #1 - 기본 세팅 및 Cloudera Manager Installer 다운 받기 [Docker] Docker로 CDH 배포판 설치하기 #2 - Cloudera Manager로 클러스터 구성하기 이전 글에서 docker 로 클러스터를 구성 및 설치 작업을 진행했었습니다. 그렇다면 이렇게 많은 설치 작업을 진행한 지금 현재의 클러스터 상태..

[Docker] Docker로 CDH 배포판 설치하기 #2 - Cloudera Manager로 클러스터 구성하기

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. CDH ( Cloudera’s Distribution including Apache Hadoop ) Cloudera에서 hadoop eco system의 다양한 component들을 묶은 플랫폼 배포판 관련 글 [Docker] Docker로 CDH 배포판 설치하기 #1 - 기본 세팅 및 Cloudera Manager Installer 다운 받기 [Docker] Docker로 CDH 배포판 설치하기 #3 - Namenode와 Datanode 이미지 만들기 및 클러스터 재생성하기 이전 글에서 Cloudera Manager 설치까지 완료했습니다. 그러면 이번 글에서는 설치된 Cloudera Manage..

[Docker] Docker로 CDH 배포판 설치하기 #1 - 기본 세팅 및 Cloudera Manager Installer 다운 받기

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. CDH ( Cloudera’s Distribution including Apache Hadoop ) Cloudera에서 hadoop eco system의 다양한 component들을 묶은 플랫폼 배포판 관련 글 [Docker] Docker로 CDH 배포판 설치하기 #2 - Cloudera Manager로 클러스터 구성하기 [Docker] Docker로 CDH 배포판 설치하기 #3 - Namenode와 Datanode 이미지 만들기 및 클러스터 재생성하기 지난번에 작성한 docker 로 hadoop 클러스터 구성하기에 이어 이번에는 docker 를 이용하여 CDH 배포판을 설치하도록 하겠습니다. h..

[Docker] Docker로 Hadoop 구성하기 #3 - Hadoop 클러스터 구성 및 실행

Docker 내가 원하는 환경의 서버를 container라는 개념으로 쉽게 생성 및 삭제할 수 있는 플랫폼. 관련 글 [Docker] Docker로 Hadoop 구성하기 #1 - MacOS에 Docker 설치 및 CentOS 실행 [Docker] Docker로 Hadoop 구성하기 #2 - Hadoop 설치 및 세팅 이전 글에서 docker의 CentOS container에서 hadoop 설치 및 세팅까지 완료했습니다. 이제는 hadoop 세팅까지 완료된 이미지를 기반으로 다수의 container를 실행해 클러스터를 구성해보겠습니다. 그리고 간단한 wordcount 예제까지 해보겠습니다. Hadoop 클러스터 구성 hadoop 클러스터는 NameNode 1개, DataNode 3개로 구성하겠습니다. 이전..