BaeBox

* 참고로 내부의 자바코드는 storm 버전에 따라 일부 수정한 것을 제외하면 조대협님의 블로그에서 그대로 따왔음. 문제시 삭제하겠음. https://github.com/iamdap91/stormBasic iamdap91/stormBasic Contribute to iamdap91/stormBasic development by creating an account on GitHub. github.com 내 깃 계정이다. 들어가면 docker-compose.yml 이라는 파일이 있다. 12 번째 줄에 아래와 같은 배열 요소가 보일텐데, 중앙의 땡땡이(콜론 : ) 기준으로 좌측을 자신의 작업 경로로 바꿔주길 바란다. (굵은 글씨체 부분.) - '/home/azure/docker/volumes/storm/top..

* Nimbus node 마스터 노드 중앙 컨트롤러 Hadoop 의 JobTracker 와 비슷. 하나만 존재. 주요 설정 정보를 가짐 실행할 녀석들을 업로드 Cluster에 코드를 분산시킴 worker 를 실행시킴 모니터 기능. 필요에 따라 worker들을 재할당 * Zookeeper node Storm 클러스터를 조정. Zookeeper는 분산 클러스터의 노드들의 상태를 체크하고 공유 정보를 관리하기 위한 분산 코디네이터 솔루션. * Supervisor node 실제 Worker 노드. Nimbus로부터 배정된 작업을 싱행 Zookeeper 를 통해 Nimbus 와 통신.

데이터가 실시간으로 살벌하게 많이 쌓인다고 가정해보자. 페이스북이나 트위터 같은데를 생각하면 좋을 것 같다. 데이터가 초단위로 수천 수만건씩 생성된다면, 가지고 있는 (수백만건의) 데이터를 통째로 확인하는 것보다는, 데이터가 새로 생길때마다 처리해주는게 효율적일거다. 스톰은 그런 일 해주는 도구다. 스톰은 위/아래 이미지와 같은 구조를 가진다. 간단히 설명하겠다. 1. 겁나 많은 데이터가 생성되었다. 2. Spout이 새로 생성된 데이터를 튜플(tuple) 이라는 형태로 만들어서 bolt 에게 짬시킨다. 3. 비동기적으로 던져지는 수 많은 튜플(tuple) 들의 흐름을 stream 이라고 한다. 4. 볼트가 받은 데이터 가지고 뭔가 함. (통계건 차트건....) 끝. 참 쉽죠?

실시간 데이터 처리기. 데이터가 오라지게 많을 때 쓰면 좋다.

* 아래 링크의 영상을 본다면 굳이 내 글 볼 필요 없다. https://www.youtube.com/watch?v=0mIEUibjtzk&t=131s * 스톰을 보기 전 간단히 봐둬야 할 필요가 있는 내용들을 (나를 위해) 간단히 정리해보겠다. * Big data : 빅데이터가 뭘까? 그냥 겁나 큰 데이터 덩어리다. (제타, 페타 등...) 어렵게 생각할 것 없다. 문제는 말 그대로 겁나 커서 데이터를 뽑아내는게 힘들다는거다. 그래서 아래와 같은 방법을 사용한다. 1. 미리미리 처리해두고, 처리된 결과값을 이용한다. 2. 처리된 이후에 들어온 데이터라면? 1번 결과값과 새로 생성된 데이터를 짬뽕시켜서 이용한다. * Data Stream 데이터의 흐름은 재구성 가능한 데이터경로 배열 다른 비슷한 파이프 네..

※ 주의. 솔직히 나도 제대로 이해하고 있는지 잘 모르겠음. 반드시 다른 글과 교차대조 하면서 볼 것!! ※ 주의. 내 글 보고 zookeeper를 잘못 이해해도 책임 안 짐. 앞선 글에 zookeeper 는 분산 어플리케이션을 구성하기 쉽게 도와주는 서비스(솔직히 난 서비스라는 말 어렵더라. 그냥 도구라고 하자) 라고 설명한 바 있다. zookeeper 는 그런 기능을 어떤 방식으로 제공하고 있는 걸까? znode 를 설명하기 위해서는 zookeeper 의 데이터 모델을 알아야한다. znode는 클러스터를 구성하고 있는 각각의 서버(컴퓨터)를 뜻한다. 조금 삼천포로 새서 예를 하나 들어보겠다. 당신은 군인이다. 갓 입대한 짬찌이다. 행보관이 청소하라고 시켰는데 빗자루가 하나밖에 없다. 근데 일할 사람은..

* 아래 글을 참고하면 좋다. https://www.slideshare.net/madvirus/zookeeper-34888385?qid=74f66d5a-73fb-419e-ac1b-144935a2ae67&v=&b=&from_search=3 * ZooKeeper is a distributed co-ordination service to manage large set of hosts. * Zookeeper는 분산 어플리케이션을 관리/조정해주는 서비스. https://bae-codebox.tistory.com/64 분산 어플리케이션(Distributed app/system) * Distributed applications (distributed apps) are applications or software th..

* 아래 글을 참고하자. https://www.slideshare.net/sunnykwak90/apache-zoo-keeper Apache ZooKeeper 소개 Apache ZooKeeperTM 소개 http://zookeeper.apache.org/ Sunny Kwak sunykwak@daum.net Author : Saurav Haloi Source : http://www.slideshare.net/sauravhaloi/introducti… www.slideshare.net * Distributed applications (distributed apps) are applications or software that runs on multiple computers within a network at ..

아래 링크에서 보자. 링크의 글이 삭제될 일은 없겠지만, 혹시 모르니 직접 코드로도 추가한다. 재미있는 점은 printenv, export를 이용한 명령어로 EUID 를 grep 으로 뽑아보면 나오지 않는다는 것. 뭘까? https://stackoverflow.com/questions/18215973/how-to-check-if-running-as-root-in-a-bash-script How to check if running as root in a bash script I'm writing a script that requires root level permissions, and I want to make it so that if the script is not run as root, it simpl..

기본적으로 명령어를 변수에 담게 된다면 배열에 담기게 되는데, 해당 배열은 위와 같은 방법으로 순환할 수 있다. 더 적을 내용이 없네... 아래 링크의 글을 보길 바란다. 좋더라. https://blog.leocat.kr/notes/2018/02/18/shell-declare-list [Shell] 배열 선언/만들기 (빈 배열도..) [Shell] 배열 선언/만들기 (빈 배열도..) by 스뎅(thDeng) on February 18, 2018 bash에서 배열을 만들 때는 괄호로 싸면 된다. 또는 각 index에 할당하면 알아서 배열로 취급.. 또는 element를 더해주면 된다. # 빈 배열 EMPTY_LIST=() PLANETS=( "EARTH" "MARS" "VINUS" ) # ${PLANETS[..