[모니터링, Prometheus] Prometheus 의 주요 스탯들

Prometheus 추가 매트릭 확인 방법

1. Prometheus 추가 매트릭 확인 방법

• Prometheus는 exporter가 수집한 metric을 pulling 만 한다.
  • 사용 가능한 metric들은 각 exporter의 세부사항에서 확인할 수 있다.
• 일부 software들은 Prometheus의 포맷으로 metric을 노출한다. 따라서 별도의 exporter 생성 없이도 metric을 수집할 수 있다.
  • 주요 S/W 목록
    • Kubernetes, Grafana, Ceph, MinIO
  • 전체 목록: prometheus - Software exposing Prometheus metrics

2. K8S 제공 매트릭

• 수집 가능한 주요 metric 목록
  • node별 메모리 사용량, CPU 사용량, pod별 cpu/메모리 사용량, pod 갯수, pod상태 등
• 전체 목록: kube-state-metric 깃헙

3. 주요 Exporter

1) Node Exporter (Node 상태 확인)

• Node exporter: Node의 상태 관련 metric을 확인할 수 있다.
  • 수집 가능 주요 metric 목록
    • CPU 사용량, 사용률, 램 사용량, 램 사용률, File System 사용량, 초당 Network traffic 사용량, disk read/write 사용, 하드웨어 온도, 파일 시스템 에러, 네트워크 트래픽....
  • 전체 목록: Node exporter 깃헙

2) cAdvisor (compose 상태 확인)

• 구동중인 Container들의 리소스 사용량과 퍼포먼스를 확인할 수 있다.
  • 수집 가능 주요 매트릭:
    • container별 CPU 사용량, 메모리 사용량, 네트워크 트래픽 등등

3) 그 외 exporter

• 적절한 exporter들을 설치하여 각 application 들의 metric을 수집할 수 있다.
  • 예시: RabbitMQ, MongoDB, MySQL, OpenTSDB, PostgreSQL 등...
  • 전체 exporter 목록:
    • prometheus.io-docs-exporters
    • Prometheus 깃헙

4. File Descriptor 개수 확인 방법

• 아래 metric을 쿼리하여 확인할 수 있다.
  • process_open_fds : 열려있는 file descriptor 갯수
  • process_max_fds : 최대 file descriptor 갯수
    • 출처: Prometheus docs
• File Descriptor 쿼리 샘플 (Node Exporter 기본 대시보드)