Local Airflow 설치하기
예전에는 실행하고자 하는 job들을 crontab으로만 구성하였으나, 이제는 rundeck, oozie, airflow 등 많은 툴들이 사용되고 있다. 이와 같은 툴들은 각 job들의 실행 순서를 정의하고, 언제 실행될지, 실행시간이 얼마나 걸리는지 등에 대한 정보도 제공하기 때...
Recent Posts
Docker 기반 Local Spark Cluster 설치하기
Baremetal 서버나 cloud, VM 등에 설치하기에 앞서, docker기반으로 spark cluster 환경을 빨리 쉽게 구축하고 사용할 수 있다. 어떻게 동작하는지 살펴보거나, 간단한 프로젝트를 하고자 한다면 나쁘지 않은 선택이 될 것이다. Spark Cluster Pr...
Local Zeppelin 설치하기 (OSX)
brew가 실행가능하도록 설정되어 있다는 전제하에 brew install apache-zeppelin 위와 같이 간편하게 zeppelin을 설치한다.
Integrating Gradle Test Local Sonar
Docker로 sonarqube 설치 docker pull sonarqube sonarqube 이미지를 다운로드하고 실행시킨다. docker run -d --name sonarqube -p 9000:9000 -p 9092:9092 sonarqube:latest 이제 로컬...
Jekyll로 블로그 이전시 _drafts에서 _posts로 옮기기
배경 앞서, export -> import를 하면서 신경쓰게 된 부분은, 이미지를 모두 assets에 통째로 넣고 관리할 것인가? 분명 같은 파일명을 주게 될 일도 생길테니, images/YYYYMM으로 디렉토리를 만들고 파일을 넣자 ...