BaeBox

* 아래 링크의 영상을 본다면 굳이 내 글 볼 필요 없다. https://www.youtube.com/watch?v=0mIEUibjtzk&t=131s * 스톰을 보기 전 간단히 봐둬야 할 필요가 있는 내용들을 (나를 위해) 간단히 정리해보겠다. * Big data : 빅데이터가 뭘까? 그냥 겁나 큰 데이터 덩어리다. (제타, 페타 등...) 어렵게 생각할 것 없다. 문제는 말 그대로 겁나 커서 데이터를 뽑아내는게 힘들다는거다. 그래서 아래와 같은 방법을 사용한다. 1. 미리미리 처리해두고, 처리된 결과값을 이용한다. 2. 처리된 이후에 들어온 데이터라면? 1번 결과값과 새로 생성된 데이터를 짬뽕시켜서 이용한다. * Data Stream 데이터의 흐름은 재구성 가능한 데이터경로 배열 다른 비슷한 파이프 네..

※ 주의. 솔직히 나도 제대로 이해하고 있는지 잘 모르겠음. 반드시 다른 글과 교차대조 하면서 볼 것!! ※ 주의. 내 글 보고 zookeeper를 잘못 이해해도 책임 안 짐. 앞선 글에 zookeeper 는 분산 어플리케이션을 구성하기 쉽게 도와주는 서비스(솔직히 난 서비스라는 말 어렵더라. 그냥 도구라고 하자) 라고 설명한 바 있다. zookeeper 는 그런 기능을 어떤 방식으로 제공하고 있는 걸까? znode 를 설명하기 위해서는 zookeeper 의 데이터 모델을 알아야한다. znode는 클러스터를 구성하고 있는 각각의 서버(컴퓨터)를 뜻한다. 조금 삼천포로 새서 예를 하나 들어보겠다. 당신은 군인이다. 갓 입대한 짬찌이다. 행보관이 청소하라고 시켰는데 빗자루가 하나밖에 없다. 근데 일할 사람은..

* 아래 글을 참고하면 좋다. https://www.slideshare.net/madvirus/zookeeper-34888385?qid=74f66d5a-73fb-419e-ac1b-144935a2ae67&v=&b=&from_search=3 * ZooKeeper is a distributed co-ordination service to manage large set of hosts. * Zookeeper는 분산 어플리케이션을 관리/조정해주는 서비스. https://bae-codebox.tistory.com/64 분산 어플리케이션(Distributed app/system) * Distributed applications (distributed apps) are applications or software th..

* 아래 글을 참고하자. https://www.slideshare.net/sunnykwak90/apache-zoo-keeper Apache ZooKeeper 소개 Apache ZooKeeperTM 소개 http://zookeeper.apache.org/ Sunny Kwak sunykwak@daum.net Author : Saurav Haloi Source : http://www.slideshare.net/sauravhaloi/introducti… www.slideshare.net * Distributed applications (distributed apps) are applications or software that runs on multiple computers within a network at ..

아래 링크에서 보자. 링크의 글이 삭제될 일은 없겠지만, 혹시 모르니 직접 코드로도 추가한다. 재미있는 점은 printenv, export를 이용한 명령어로 EUID 를 grep 으로 뽑아보면 나오지 않는다는 것. 뭘까? https://stackoverflow.com/questions/18215973/how-to-check-if-running-as-root-in-a-bash-script How to check if running as root in a bash script I'm writing a script that requires root level permissions, and I want to make it so that if the script is not run as root, it simpl..

기본적으로 명령어를 변수에 담게 된다면 배열에 담기게 되는데, 해당 배열은 위와 같은 방법으로 순환할 수 있다. 더 적을 내용이 없네... 아래 링크의 글을 보길 바란다. 좋더라. https://blog.leocat.kr/notes/2018/02/18/shell-declare-list [Shell] 배열 선언/만들기 (빈 배열도..) [Shell] 배열 선언/만들기 (빈 배열도..) by 스뎅(thDeng) on February 18, 2018 bash에서 배열을 만들 때는 괄호로 싸면 된다. 또는 각 index에 할당하면 알아서 배열로 취급.. 또는 element를 더해주면 된다. # 빈 배열 EMPTY_LIST=() PLANETS=( "EARTH" "MARS" "VINUS" ) # ${PLANETS[..

lsblk -d -o name, rota 는, 하드디스크 타입을 확인하는 명령어로 ROTA 값을 아래 표와 같이 표기한다. ROTA Description 0 SSD 1 HDD or NVM-e NVM-e 가 1 혹은 다른 수로 표기되지 않아 아쉽다. http://www.kwangsiklee.com/2018/05/%EB%A6%AC%EB%88%85%EC%8A%A4%EC%97%90%EC%84%9C-hdd%EC%9D%B8%EC%A7%80-ssd%EC%9D%B8%EC%A7%80-%ED%99%95%EC%9D%B8%ED%95%B4%EB%B3%B4%EA%B8%B0/ 리눅스에서 HDD인지 SSD인지 확인해보기 개요 리눅스에서 장비의 디스크가 HDD인지 SSD인지 확인할일이 있어 방법을 찾아본 후 공유해둔다. 사용법 아래와..

리눅스는 기본적으로 자신이 사용하는 리소스(자원)의 사용량을 /proc 에 남겨두는데, cpu 의 사용량은 /proc/stat 에 memory 의 사용량은 /proc/meminfo 에 남겨둔다. gpu의 사용량은 (잘은 모르지만) 기본적으로는 제공되지는 않는 것 같다. nvidia-smi -l 1 의 명령어를 이용하면 사용량을 실시간으로 찍는다. 당연하게도 위 값들은 실시간으로 바뀐다. memory 와 gpu 의 사용량은 친절하게 설명이 나와있지만, cpu 의 사용량은 설명이 없기 때문에 간단히 설명하고자 한다. 대부분 인터넷을 찾아보면 8 개의 칼럼이던데, 나의 경우는 10 개다. 차이가 있을텐데... 음.... 알아서 보길 바란다. 참고로 top 명령어도 8개만 보여준다. 순서도 좀 다른 것 같은데...

DU : Disk Usage. 현재 디스크의 사용량을 볼 수 있다. 많다. 보기싫다. 자주 쓸 옵션만 보자. 옵션 -h human readable 사람이 읽기 좋게 바꿔준다. -s summary 요약한 형태로 보여준다. du -hs [file/dir_name] 난 이것만 쓴다.

Local repository 를 만들어보자. https://bae-codebox.tistory.com/100?category=844044 Repository 란? 그 말 그대로 저장소다. 솔직히 더 할 말이 없다 그게 다라서... 그래도 굳이 더 말해보자면 centos 는 /etc/yum.repos.d/에 있는 모든 파일이 저장소를 가리키고, ubuntu 는 /etc/apt/sources.list 가 저장소를.. bae-codebox.tistory.com 대개는 네트워크를 통해 원격의 저장소에서 패키지 파일을 받아와서 설치를 하는데 반해, Local repository 는 패키지 파일을 모두 호스트가 가지고 있다. createrepo 라는 패키지를 통해서 local repository 를 구성할 수 있..