구르미의 개발 이야기 구르미의 개발 이야기

개요 다음 메트릭 데이터 수집 파이프라인 구성 중에 발생한 문제이다. CollectD(x3) -> logstash -> kafka(x3) 운영 환경은 다음과 같다. OS: Amazon Linux2 (x7, collectd x3, logstash, kafka x3) instance type: m5.large Kafka의 모든 노드는 kafka, Zookeeper가 설치되어 있으며 클러스터로 구성되어 있다. 문제 상황 Kafka에 제대로 된 데이터 수집이 안되고 있어서 Logstash의 로그를 확인해 보았다. (/var/log/logstash/input.log에서 CollectD에 데이터가 수집되는 것을 확인하였다.) $ tail -f /var/log/logstash/logstash-plain.log .....

개요 다음 운영 환경에서 Elasticsearch를 설치한다. OS: CentOS 8(Virtualbox) Java 설치 먼저 Java 11을 설치한다. 최신 Elasticsearch의 경우, 별도 Java 설치 없이도 운영할 수 있긴 하지만, 보다 안정적인 운영을 위해서 설치해둔다. 다음 명령어로 설치할 수 있다. $ sudo yum install java-11-openjdk-devel.x86_64 -y 이후 터미널에 java --version 명령어 입력시 다음 문구가 출력된다면 정상적으로 설치된 것이다. $ java --version openjdk 11.0.12 2021-07-20 LTS OpenJDK Runtime Environment 18.9 (build 11.0.12+7-LTS) OpenJDK..

$ sudo amazon-linux-extras install java-openjdk11 -y 개요 운영 환경은 다음과 같다. OS: CentOS 8 (Virtualbox) / Amazon Linux2 자바 11 설치 (CentOS 8) CentOS 8의 Yum 레포지토리에는 이미 자바 11에 대한 패키지가 존재한다. $ sudo yum search openjdk Failed to set locale, defaulting to C.UTF-8 CentOS Linux 8 - AppStream 1.8 MB/s | 9.3 MB 00:05 CentOS Linux 8 - BaseOS 2.6 MB/s | 7.5 MB 00:02 CentOS Linux 8 - Extras 13 kB/s | 10 kB 00:00 ====..

개요 이 문서에서는 CentOS 8 환경에서 IaC(Infrastructure As Code) 중 구성 관리를 코드로 관리할 수 있는 도구인 Ansible을 설치하는 과정에 대해서 다룬다. 시작하기 앞서 터미널에 다음을 입력하는 것이 좋다. $ sudo yum groupinstall "Development Tools" -y $ sudo yum install openssl-devel libffi-devel bzip2-devel -y pyenv 설치 python의 버전을 관리할 수 있는 도구인 pyenv를 먼저 설치한다. # pyenv 소스 코드 다운로드 $ git clone https://github.com/pyenv/pyenv.git ~/.pyenv # 환경 변수 등록 $ echo 'export PATH..

개요 이 문서에서는 다음 환경에서 Elasticsearch를 설치하는 것에 대해 다룬다. CentOS 8 설치를 위해서 wget을 사용할 것이므로, 해당 패키지 설치가 필요하다. $ sudo yum install wget -y 설치 문서를 작성하는 현재 (21년 09월 21일) 기준 Elasticsearch의 최신 버전은 7.15이나 나는 7.14를 설치한다. 다음 명령어로 손쉽게 설치할 수 있다. # 7.14 압축 파일 다운로드 $ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.1-linux-x86_64.tar.gz # 압축 파일 해제 $ tar -xzf elasticsearch-7.14.1-linux-x86_6..

이 문서는 인프런 강의 "데브옵스를 위한 쿠버네티스 마스터"을 듣고 작성되었습니다. 최대한 요약해서 강의 내용을 최소로 하는데 목표를 두고 있어서, 더 친절하고 정확한 내용을 원하신다면 강의를 구매하시는 것을 추천드립니다. => 강의 링크 Security Context Security Context는 Kubernetes 클러스터의 보안을 위한 리소스 중 하나이다. 아무것도 설정되지 않은 Pod의 컨테이너들은 모두 "root" 권한으로 실행된다. 만약 Persistent Volume에 연결된 컨테이너가 해킹된다면? 이런 경우 외에도 수 많은 보안 위험에 노출될 수 있는데 Security Context를 사용하면 어느 정도 보호해줄 수 있다. Security Context로 Pod 혹은 컨테이너 단위로 할 ..

이 문서는 인프런 강의 "데브옵스를 위한 쿠버네티스 마스터"을 듣고 작성되었습니다. 최대한 요약해서 강의 내용을 최소로 하는데 목표를 두고 있어서, 더 친절하고 정확한 내용을 원하신다면 강의를 구매하시는 것을 추천드립니다. => 강의 링크 TLS 통신의 이해와 인증서 위치 확인 Kubernetes에서 사용자를 제어하기 위해서 TLS 통신 방식을 이용한다. TLS는 기존 통신 계층에 대해서 조금 더 보안이 높은 통신을 위해 만들어졌다. 즉, 4계층인 Transport Layer(TCP)와 7 계층인 Application Layer(HTTP) 사이에서 동작한다. 다음과 같은 기능이 있다. 데이터 암호화 데이터 무결성 서버/클라이언트 인증 다음은 HTTP에 TLS 통신 방식을 곁들인 HTTPS 통신 방식의 흐..

이 문서는 인프런 강의 "데브옵스를 위한 쿠버네티스 마스터"을 듣고 작성되었습니다. 최대한 요약해서 강의 내용을 최소로 하는데 목표를 두고 있어서, 더 친절하고 정확한 내용을 원하신다면 강의를 구매하시는 것을 추천드립니다. => 강의 링크 노드 1개를 업데이트해야 한다면? 이번 절은 GKE에서 진행한다. 쿠버네티스 클러스터를 운영하다보면, OS 업데이트 혹은 쿠버네티스 버전 업데이트 등의 이유로 운영 중인 노드를 하나씩 내리고 업데이트 후 다시 올려야 할 때가 있다. 이 때, 다음과 같은 절차로 진행한다. 업데이트해야 할 노드 drained (노드에서 운영되는 리소스 수거) 노드 업데이트 업데이트된 노드 uncordon (업데이트 노드 다시 클러스터 참여) 노드 정보를 확인해보자. $ kubectl ge..