Kubelet Garbage Collection · waji // devops notes

💡

kubelet 에서는 특정 임계치에 도달하면 garbage image들을 지우는 정책이 있다. 이것을 garbage collection 이라고 하는데 default는 disk usage가 85% 이상이 되면 작동한다. disk usage가 85% 이상이 되면 일단 사용하지 않는 image부터 제거하여 disk를 확보하고 그럼에도 확보되지않으면 evcition을 시작한다. 이때 eviction은 soft 방식과 hard 방식으로 구분되는데 soft 방식은 관리자가 별도의 유예시간을 설정해줄 경우 kubelet이 해당 유예 시간이 초과될 때 까지 파드를 추방하지 않는 방식 hard 방식은 별도의 유예 시간 없이 즉시 파드를 추방 시키는 방식이다. nodefs 노드의 주 파일 시스템을 가리킨다. 일반적으로 (/) 해당. 시스템 로그, kubelet 및 컨테이너 런타임 관련 데이터가 저장 됨. imagefs 컨테이너 이미지와 계층적 스토리지를 저장하는 파일 시스템을 가르킨다. imagefs 공간 부족은 새로운 컨테이너 이미지 Pull 하거나 생성하는데 문제를 야기 할 수 있음.

✅

수정방안 1. 각 노드의 /etc/kubernetes/kubelet-config.yaml 또는 kubelet.env 수정 후 restart 2. configmap으로 설정 하는 방법 # 1.24 부터는 지원하지 않음

# kubelet.env
KUBELET_ARGS="
(other flag)

--eviction-soft=nodefs.available< 10%,imagefs.available<10% \
--eviction-soft-grace-period=nodefs.available=2m, imagefs.available=2m \
--eviction-hard=nodefs.available< 5%,imagefs.available<5%"
# --eviction-minimum-reclaim -> 최소 recalim 크기를 정하는 설정
# --eviction-pressure-transition-period=5m" -> 짧은 시간 동안 반복적으로 eviction 수행 방지

# kubelet-config.yaml
evictionSoft:
  nodefs.available: "10%"
  imagefs.available: "10%"
evctionSfotGracePeriod:
  nodefs.available: "2m"
  imagefs.available: "2m"
evictionHard:
  nodefs.available: "5%"
  imagefs.available: "5%"
# evictionMinimumReclaim:
#  nodefs.available: "15%"
#  imagefs.available: "15%"
# evictionPressureTransitionPeriod: "5m"