Files

T

Zimin A.N. adc40aca22 docs(ops): operator runbook — kafka, outbox DLQ, db migrations + index

Карточки процедур для on-call. Self-contained: можно открыть в момент
инцидента без необходимости понимать всю архитектуру.

- README.md — index by symptom + быстрые гайды по 401, 500, admin-ui 502.
- kafka-restart.md — pause/unpause, replicas=0 fix, force-delete, restart
  consumer'ов после Kafka up.
- outbox-dlq.md — диагностика DLQ через UI/API/SQL, типичные причины
  (orphan topic, ACL, broken payload), replay через UPDATE dlq_at=NULL.
- db-migrations.md — Liquibase changelog, добавление, откат, recovery
  failed migration через DELETE databasechangelog.

Vault unseal был отдельным коммитом ранее.

2026-05-05 17:26:30 +03:00

5.0 KiB

Raw Blame History

Runbook: Kafka StrimziPodSet рестарт / поднятие

Когда использовать:

Kafka pod (ordinis-kafka-dual-0) не Running после reboot ноды.
Strimzi cluster operator не пересоздаёт pod — например после manual delete с paused reconciliation.
StrimziPodSet есть, но READY PODS = 0.
Кафка-операции отвечают timeout / connection refused.

1. Диагностика

export KUBECONFIG=/tmp/kubeconfig-161
kubectl get kafka,kafkanodepool,strimzipodset -n ordinis-staging
kubectl get pods -n ordinis-staging | grep kafka

Что искать:

Симптом	Причина
`kafka.kafka.strimzi.io/ordinis-kafka` имеет `WARNINGS` колонку с текстом	reconciliation paused или config invalid — см. `kubectl describe kafka`
`strimzipodset/ordinis-kafka-dual` отсутствует	удалён — нужно unpause reconciliation чтобы Strimzi его создал заново
`kafkanodepool/dual` имеет `DESIRED REPLICAS=0`	scale=0 был задан — Strimzi не позволяет 0 реплик в Kafka cluster
Pod `ordinis-kafka-dual-0` в `Pending`	scheduler не нашёл ноду — `kubectl describe pod`
Pod `Running` но `0/1` ready	startup probe failed — `kubectl logs`

2. Восстановление

Вариант A: pause/unpause reconciliation

Если Kafka CR имеет strimzi.io/pause-reconciliation=true annotation:

kubectl annotate kafka.kafka.strimzi.io/ordinis-kafka -n ordinis-staging \
  strimzi.io/pause-reconciliation- --overwrite
kubectl annotate kafkanodepool.kafka.strimzi.io/dual -n ordinis-staging \
  strimzi.io/pause-reconciliation- --overwrite

Strimzi в течение ~30 sec пересоздаст StrimziPodSet и поднимет pod.

Вариант B: scale до 0 → нужно вернуть к 1+

kubectl patch kafkanodepool/dual -n ordinis-staging --type=merge \
  -p '{"spec":{"replicas":1}}'

⚠️ Strimzi требует минимум 1 replica — при replicas:0 валидация падает с InvalidResourceException: KafkaNodePools have 0 replicas.

Вариант C: StrimziPodSet удалён (например `kubectl delete strimzipodset`)

Если pause снят и replicas≥1, Strimzi пересоздаст автоматически. Дать 60 sec на reconciliation. Если не происходит:

# Принудительно перепинговать operator
kubectl annotate kafka.kafka.strimzi.io/ordinis-kafka -n ordinis-staging \
  strimzi.io/manual-rolling-update-
kubectl annotate kafka.kafka.strimzi.io/ordinis-kafka -n ordinis-staging \
  strimzi.io/manual-rolling-update=true --overwrite

Вариант D: Pod залип в Pending / CrashLoopBackOff

Force-delete + дать operator пересоздать:

kubectl delete pod -n ordinis-staging ordinis-kafka-dual-0 \
  --grace-period=0 --force

PVC data-0-ordinis-kafka-dual-0 сохраняется, данные kraft-метаданных целы.

3. Подтверждение

kubectl get pods -n ordinis-staging | grep kafka
# → ordinis-kafka-dual-0   1/1   Running

kubectl exec -n ordinis-staging ordinis-kafka-dual-0 -- \
  bin/kafka-broker-api-versions.sh \
  --bootstrap-server ordinis-kafka-kafka-bootstrap:9092 2>&1 | head -3

4. После kafka up — рестарт consumer'ов

Spring Boot pods (ordinis-app, ordinis-projection-writer) могли застрять в reconnect-loop. Force-delete для быстрого resume:

kubectl delete pod -n ordinis-staging \
  -l 'app.kubernetes.io/name in (ordinis-app,ordinis-projection-writer)' \
  --grace-period=0 --force

OutboxPoller начнёт публиковать накопленные события сразу.

5. Проверка outbox lag

После рестарта Kafka outbox мог накопить unpublished events. Проверь:

curl -sk -H "Authorization: Bearer $TOKEN" \
  --resolve ordinis.k8s.265.nstart.cloud:443:192.168.100.161 \
  "https://ordinis.k8s.265.nstart.cloud/api/v1/admin/outbox/stats"
# → {"pending":0,"dlq":0}  ← желаемое

Если pending растёт — см. outbox-dlq.md.

6. Эскалация

Проблема	Действие
Strimzi operator pod (kafka-test ns) не Running	`kubectl get pods -n kafka-test` → перезапустить
Consul недоступен (Strimzi его не использует, но Vault — да)	см. vault-unseal.md
Kraft metadata corruption (редко)	DR: восстановить PVC из snapshot, переинициализировать topic
ACL нарушение / SASL auth fail	Проверить secret `ordinis-app-kafka` в Vault, перезапустить consumer

20 минут downtime → tech lead.

5.0 KiB Raw Blame History Unescape Escape