구르미의 개발 이야기 구르미의 개발 이야기

개요 다음 메트릭 데이터 수집 파이프라인 구성 중에 발생한 문제이다. CollectD(x3) -> logstash -> kafka(x3) 운영 환경은 다음과 같다. OS: Amazon Linux2 (x7, collectd x3, logstash, kafka x3) instance type: m5.large Kafka의 모든 노드는 kafka, Zookeeper가 설치되어 있으며 클러스터로 구성되어 있다. 문제 상황 Kafka에 제대로 된 데이터 수집이 안되고 있어서 Logstash의 로그를 확인해 보았다. (/var/log/logstash/input.log에서 CollectD에 데이터가 수집되는 것을 확인하였다.) $ tail -f /var/log/logstash/logstash-plain.log .....