구르미의 개발 이야기 구르미의 개발 이야기

개요 이번 장에서는 Cortex가 무엇인지 공부한다. "갑자기 생뚱맞게 Prometheus 공부하다가 무슨 Cortex야?" 라는 의문이 생길 수도 있다. Prometheus는 뛰어난 성능과, 쉬운 접근성을 바탕으로 최근 나온 모니터링 기술 중 InfluxDB와 함께 업계 표준으로 자리 잡았다. 하지만 다음과 같은 문제점이 존재한다. Prometheus는 scale-out 구조를 고려하지 않고 설계되었다. Prometheus에서 긴 시간 범위를 지닌 데이터를 쿼리할 때 성능이 매우 저하되었다. Prometheus가 저장하는 데이터 특성 상 오랜 시간 저장하는 것이 쉽지 않다. 위 문제점들을 해결하기 위한 대표적인 솔루션이 바로 Cortex이다. 단점이라면 백엔드 구성을 S3, GCS 등으로 구성해야 하기..

이번 장은 사실 지난 장에 복습이다. 먼저 문서에 도움 없이 진행해보라. 그리고 막히는 부분이 있으면, 그 때 문서를 참고해보라. Terraform이 익숙해지는데 도움이 될 것이다. 무엇을 구성할 것인가 우리는 이번 장에서 무엇을 구성할 것인가. 다음 그림을 살펴보자. 그림에서 살펴보면 Consul이란 것이 맨 중앙에서 Distributor, Ingester, Querier, Ruler를 연결하고 있다. 그 외에도 AlertManager, QueryFrontend 가 있는데 이들이 바로 Cortex이다. 즉 저 컴포넌트들이 모여서 우리가 만들 Cortex 클러스터를 구성하는 것이다. 클러스터 내에서 구성된 Cortex들은 서로 돌아가며 데이터를 처리하기 위해서 같은 클러스터에 묶인 Cortex들을 알아야..

Terraform을 어떻게 배워야 하는가 개인적으로 어떤 기술을 공부할 때 제일 좋은 방법은 그 기술을 이용해서 한 번 무엇인가를 만들어보는 것이다. 근데 또 문제가 생긴다. 무엇을 만들 것인가? 자신이 만들 인프라 구조가 있다면, 이 책을 참고해서 만들면 된다. 하지만 없는 사람도 있을 것이다. 그렇다면 내가 만들고 싶은 인프라 구조를, Terraform으로 구축해보고 관리하면서 배워보도록 하자. 이제부터 우리가 이 책을 통해서 만들어볼 구조는 Cortex라는 오프소스가 원하는 인프라 구조를 만들어 볼 예정이다. 잡담을 하자면, 현재 나는 이커머스 회사에서 SRE 엔지니어로 일하고 있다. 우리 팀은 사내 개발팀이 개발한 서비스들에 대한 모니터링 시스템을 구축 및 운영하는 업무를 맡고 있다. 현재 팀에서..