data

[NiFi] Json 데이터의 동적 크기 Array 전처리하기 (Base64 decoding)

이번 글에서는 NiFi에서 Json 파일을 전처리하는 방법 중 하나에 대해 소개하겠습니다. NiFi에서 Json 데이터를 처리하기 위한 다양한 Procssor들이 존재합니다. 하지만 Json 데이터가 단순히 key / value 값들만 존재한다면 처리가 쉽겠지만, 경우에 따라서는 Json 데이터에 Array 타입이 존재할 수 있습니다. 그리고 Array의 크기가 고정이라면 다행이지만 데이터마다 동적인 크기를 가질 때는 상당히 골치 아파집니다. 아래 내용에서 이와 같은 동적인 크기의 Array 타입을 처리하는 방법을 제시하겠습니다. Json 데이터 예시 이번 글에서 다룰 Json 데이터의 구조와 예시를 보여드리겠습니다. Json의 가장 최상위에 A, B라는 key 값들이 존재합니다. A는 Array 타입으..

Riot Data Pipeline 구축하기 #2 - Spring boot 프로젝트 생성 및 Riot API 사용해보기

지난번 글에서 Riot API를 위한 Product 등록까지 마쳤고 며칠 내로 승인되어 Approved 상태가 되었습니다. 그래서 Java Spring을 이용해서 간단한 API 사용을 해봤습니다. Spring boot 시작하기 Spring 프로젝트를 만들기 위해서 start.spring.io 사이트에 접속해 아래와 같이 여러가지 설정을 해줬습니다. 이렇게 설정을 해주고 아래에 "Generate" 버튼을 눌러주면 zip 파일 하나가 다운로드되는데, 해당 파일을 압축 해제하면 프로젝트 관련 파일들을 확인할 수 있습니다. 프로젝트 파일을 확인 후 저는 IntelliJ를 사용하여 코딩을 진행했습니다. Riot API 확인하기 Riot Developer 페이지에서 내 Product 페이지에 들어가면 사용할 수 있..

Riot Data Pipeline 구축하기 #1 - Riot API 사용을 위한 Product 등록하기

이번 글부터는 Riot API를 사용하여 LOL(League of Legend) 게임의 데이터를 가져와 빅데이터 플랫폼에 저장하고 사용까지 할 것입니다. 그 중에서 가장 첫번째 해야할 것은 바로 Riot API를 사용하기 위해 Riot Developer 사이트에 Product 등록하기입니다. Riot Developer 사이트 접속 및 로그인 Riot API는 Riot Developer 사이트에서 따로 관리가 되고 관련 공식 문서들을 볼 수 있습니다. 아래 링크를 통해 Riot Developer 사이트에 접속하고 우측 상단에서 자신의 ID(LOL ID)로 로그인합니다. - https://developer.riotgames.com/ Riot Developer Portal About the Riot Games..