[RKE2] Too many open files 로 발생하는 crashLoopBackOff 에러 해결

Too many open files 로 발생하는 crashLoopBackOff 에러 해결

• Grafana에서 제공하는 helm chart 기반으로 Promtail 설치했다. Node의 memory 와 cpu 모두 정상임에도 pod가 실행되지 않았다.
• OS단에서 max_user_instance 를 늘리는 것으로 해결할 수 있다.

# 에러 메세지
level=error ts=2024-04-11T08:08:45.478913366Z caller=main.go:170 msg="error creating promtail" error="failed to make file target manager: too many open files"

해결한 방법

• OS상에서 max_user_instances를 늘린다.

sudo sysctl fs.inotify.max_user_instances=1024
sudo sysctl -p

• 레퍼런스:
  • 그라파나 커뮤니티 글
  • Github - Loki issue