Задача 19. Нода под давлением: кого вытеснят первым

Задача

На ноде заканчивается место на диске. Kubelet начинает выселять поды со статусом Evicted. Среди выселенных — поды, которые вообще ничего не пишут на диск.

Вопрос: почему выселяют «невиновных» и по какому принципу выбирается жертва?

Что кажется очевидным

«Должны выселять того, кто занял диск». Логично, но kubelet устроен иначе — и понимание этого меняет подход к настройке.

Как это работает на самом деле

Kubelet следит за ресурсами ноды и при пересечении пороговых значений начинает вытеснение (eviction), чтобы спасти саму ноду. Отслеживаются:

memory.available — свободная память;
nodefs.available — место на файловой системе ноды;
imagefs.available — место под образы контейнеров;
nodefs.inodesFree — свободные inode.

Пороги по умолчанию — примерно так:

PLAINTEXT

memory.available < 100Mi
nodefs.available < 10%
imagefs.available < 15%
nodefs.inodesFree < 5%

Нажмите, чтобы развернуть и увидеть больше

Различают жёсткие пороги (вытеснение немедленно) и мягкие (вытеснение после evictionSoftGracePeriod, с корректным завершением пода).

Как выбирается жертва

Порядок такой:

Сначала — превысившие свои requests. Под, потребляющий меньше, чем запросил, считается «в рамках договора» и защищён.
Затем — по классу QoS: сначала BestEffort, потом Burstable, в последнюю очередь Guaranteed (см. задачу 3).
Внутри группы — по приоритету (PriorityClass) и величине превышения.

Вот и ответ на «почему невиновные»: если под относится к BestEffort (нет requests), он будет выселен раньше того, кто реально забил диск, но имеет Guaranteed. Kubelet спасает ноду, а не ищет виноватого.

Что считается за под при дисковом давлении

Для дисковых порогов kubelet учитывает:

логи контейнеров (то, что пишется в stdout/stderr и складывается в файлы на ноде);
emptyDir-тома;
записываемый слой контейнера — всё, что приложение пишет внутрь контейнера мимо томов.

Отсюда и типовые виновники: приложение, пишущее логи в файл внутри контейнера; забытый emptyDir без лимита; скачанные во временный каталог файлы.

Постоянные тома (PV) в этот счёт не входят — они живут отдельно.

Eviction против OOMKilled

Эти два состояния постоянно путают:

	`Evicted`	`OOMKilled`
Кто инициирует	kubelet	ядро (OOM killer)
Причина	Давление на ресурсы ноды	Контейнер превысил свой лимит памяти
Что происходит	Под удаляется, планируется заново	Контейнер перезапускается на месте
Виден в	`status.phase: Failed`, reason `Evicted`	`lastState.terminated.reason: OOMKilled`
Лечение	Ресурсы ноды, `requests`	Лимит контейнера, утечка

Подробнее про второе — в задаче 5.

Ответ

Kubelet выселяет не «виновного», а того, кого дешевле и безопаснее выселить: сначала поды, превысившие свои requests, затем по классам QoS начиная с BestEffort. Под без requests, ничего не писавший на диск, окажется первым кандидатом — просто потому, что он ничего не запросил и потому ничем не защищён.

Что с этим делать

Диагностика

BASH

# Состояние ноды: ищем условия давления
kubectl describe node node-1 | grep -A8 Conditions
# MemoryPressure   False
# DiskPressure     True     ← вот оно
# PIDPressure      False

# Выселенные поды по кластеру
kubectl get pods -A --field-selector status.phase=Failed

# Причина по конкретному поду
kubectl describe pod evicted-pod | grep -A5 "Status\|Message"

# Что занимает место на ноде
kubectl debug node/node-1 -it --image=busybox -- df -h /host
Нажмите, чтобы развернуть и увидеть больше

Защита рабочих нагрузок

Задавайте requests всем подам. Это одновременно и место в очереди на выселение, и корректное планирование. BestEffort в проде — почти всегда ошибка.
Критичным сервисам — Guaranteed (requests = limits) и высокий PriorityClass.
Логи только в stdout/stderr, и обязательно с ротацией на уровне контейнерного рантайма (containerLogMaxSize, containerLogMaxFiles). Приложение, пишущее логи в файл внутри контейнера, — самая частая причина DiskPressure.
Ограничивайте emptyDir:
YAML
```
volumes:
  - name: cache
    emptyDir:
      sizeLimit: 1Gi
```
Нажмите, чтобы развернуть и увидеть больше
Без лимита такой том способен занять весь диск ноды. С лимитом будет выселен только сам нарушитель.
Используйте ephemeral-storage в ресурсах, если под работает с временными файлами:
YAML
```
resources:
  requests:
    ephemeral-storage: "2Gi"
  limits:
    ephemeral-storage: "4Gi"
```
Нажмите, чтобы развернуть и увидеть больше

Настройка ноды

Резервируйте ресурсы под систему и kubelet (--system-reserved, --kube-reserved), чтобы давление не убивало саму ноду.
Чистка образов происходит автоматически при достижении imagefs порогов, но узлы, где крутится много разных образов, стоит держать с запасом по диску.
Мониторьте предвестники: заполнение диска ноды, MemoryPressure/DiskPressure в условиях ноды, количество Evicted-подов. Алерт на 80% заполнения даёт время среагировать до начала выселений.
Прибирайте выселенные поды. Объекты Evicted остаются в API и засоряют вывод:
BASH
```
kubectl delete pods -A --field-selector status.phase=Failed
```
Нажмите, чтобы развернуть и увидеть больше

Дальше: Задача 20. Обновление кластера и умирающие API.