Nameserver limit error
kubectl describe pods -n monitoring node-exporter-xxx
...
....
Nameserver limits were exceeded
-> /etc/resolv.conf에 nameserver가 세개 이상이라 발생하는 현상
# kubernetes code 를 까보면 MaxDNSNameserver = 3으로 설정되어있음
# error 발생한 노드에 들어가서 /etc/resolv.conf 에서 nameserver 2개로 설정 하고
# coredns 서버 restart 후 node_exporter rollout으로 restart
# kubectl rollout restart daemonset -n moniotirng node-exporter
Node exporter timeout error
node exporter donw event 발생
보통 통신 에러 발생하면 세가지 중 하나임
1. network error
2. timeout (수집할 정보가 많아서 default 설정한 scrape time 시간보다 느려질때)
3. daemon으로 떠있는 node의 resource나 container의 resource가 한계치에 도달할때
2번 같은 경우에는 해결방법으로는 metric 수집 제한을 걸거나, scrape time을 늘려줘야 함.
3번 같은 경우에는 해결방법으로는 node_exporter, kube_rbac_main container 의 requests, limit 값을 늘려줘야 함.
# kube-rbac-proxy 란?