구르미의 개발 이야기 구르미의 개발 이야기

개요 운영 환경은 다음과 같다. 모든 노드는 동일 private network로 묶여 있다. OS: CentOS 8 3대 (VM) master 노드 1대 (192.168.101.10) data 노드 2대 (192.168.101.11, 192.168.101.12) Java 11 Elasticsearch 7.15 이미 Java와 Elasticsearch는 설치되어있다고 가정한다. 설치가 되어 있지 않다면 다음 문서를 참고하라 CentOS 8에서 Java 11 설치하기 Elasticsearch 설치 (RPM) Elasticsearch는 다음과 같이 실핼할 수 있다. $ sudo systemctl start elasticsearch 클러스터 구성 전이라면 curl 명령어를 실행했을 때 다음과 같이 응답해 줄 것..

개요 다음 메트릭 데이터 수집 파이프라인 구성 중에 발생한 문제이다. CollectD(x3) -> logstash -> kafka(x3) 운영 환경은 다음과 같다. OS: Amazon Linux2 (x7, collectd x3, logstash, kafka x3) instance type: m5.large Kafka의 모든 노드는 kafka, Zookeeper가 설치되어 있으며 클러스터로 구성되어 있다. 문제 상황 Kafka에 제대로 된 데이터 수집이 안되고 있어서 Logstash의 로그를 확인해 보았다. (/var/log/logstash/input.log에서 CollectD에 데이터가 수집되는 것을 확인하였다.) $ tail -f /var/log/logstash/logstash-plain.log .....

개요 이 문서에서는 다음 환경에서 Elasticsearch를 설치하는 것에 대해 다룬다. CentOS 8 설치를 위해서 wget을 사용할 것이므로, 해당 패키지 설치가 필요하다. $ sudo yum install wget -y 설치 문서를 작성하는 현재 (21년 09월 21일) 기준 Elasticsearch의 최신 버전은 7.15이나 나는 7.14를 설치한다. 다음 명령어로 손쉽게 설치할 수 있다. # 7.14 압축 파일 다운로드 $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.1-linux-x86_64.tar.gz # 압축 파일 해제 $ tar -xzf elasticsearch-7.14.1-linux-x86_6..