QA 환경에 관측(observability) 스택을 세웠다. 각 서버가 자기 상태를 포트로 노출하면, Prometheus가 주기적으로 긁어(pull) 저장하고, 팀원이 운영하는 Grafana에서 본다. 이상하면 Alertmanager가 Slack으로 알린다. 리전 ap-northeast-2 · 구성 mon 박스(Prometheus·Alertm...

git push 한 번으로 이미지 빌드 → ECR 푸시 → 배포 태그 기록 → Auto Scaling Group이 인스턴스를 새로 띄워 교체까지 자동으로 이어지는 개발 서버 배포 파이프라인을 만들었다. 장기 액세스 키 없이 OIDC로 그때그때 임시 자격증명을 받고, 각 역할은 필요한 권한만 갖도록 최소 권한으로 나눴다. 리포지토리 ASM-17...

백엔드는 Auto Scaling Group이라 인스턴스가 교체되며 IP가 계속 바뀐다. GPU 박스처럼 IP를 박아 긁을 수 없어서, Prometheus의 EC2 서비스 디스커버리(ec2_sd)로 태그를 보고 자동 발견하게 하고, exporter는 Launch Template의 user-data에 구워 새 인스턴스마다 자동으로 뜨게 했다. 이 글은...

지표를 모아 봐도 “이상하면 어떻게 알지?”가 남는다. 사람이 대시보드를 24시간 보고 있을 순 없으니, 규칙에 걸리면 Alertmanager가 Slack으로 알리게 했다. 그 과정에서 webhook이 404 no_service를 뱉는 삽질과, webhook 비밀을 SSM으로 뺀 기록. 이 글은 QA 관측 스택 구축기의 ④ Alert→Slack 조...

node_exporter와 cAdvisor를 다 붙였는데 GPU 사용량이 하나도 안 보였다. GPU는 그 둘이 못 보고 제3의 exporter(DCGM)가 따로 잰다. 거기에 공식 GPU 대시보드를 import했더니 전부 No data — 그 삽질과 해결 기록. 이 글은 QA 관측 스택 구축기의 ③ GPU 관측 조각을 자세히 푼 것이다. 계정 번호...

QA에 세운 Prometheus를 팀원이 운영하는 observability VPC의 Grafana에 합쳤다. mon 박스를 통째로 옮기지 않고, Prometheus를 datasource로 “꽂는” 쪽을 택했다. 그 과정에서 배운 VPC 피어링의 조건, datasource는 주소록일 뿐이라는 것, 그리고 관리형(RDS)은 왜 CloudWatch로 보나를...

mon 전용 박스 하나에 docker compose로 관측 스택을 세웠다. 처음엔 “컨테이너는 떴는데 각 yml이 무슨 뜻인지 몰라 혼자 재구성이 안 되는” 상태였다. 이 글은 파일 4개가 어떻게 맞물리는지와 누가 긁고 누가 저장하는지(pull 모델)를 정리한 것 — 다음엔 보고 안 하고 세울 수 있게. 이 글은 QA 관측 스택 구축기의 ① Pro...