docs(ops): operator runbook — kafka, outbox DLQ, db migrations + index

Карточки процедур для on-call. Self-contained: можно открыть в момент
инцидента без необходимости понимать всю архитектуру.

- README.md — index by symptom + быстрые гайды по 401, 500, admin-ui 502.
- kafka-restart.md — pause/unpause, replicas=0 fix, force-delete, restart
  consumer'ов после Kafka up.
- outbox-dlq.md — диагностика DLQ через UI/API/SQL, типичные причины
  (orphan topic, ACL, broken payload), replay через UPDATE dlq_at=NULL.
- db-migrations.md — Liquibase changelog, добавление, откат, recovery
  failed migration через DELETE databasechangelog.

Vault unseal был отдельным коммитом ранее.

docs/ops/kafka-restart.md

@@ -0,0 +1,122 @@
+# Runbook: Kafka StrimziPodSet рестарт / поднятие
+
+**Когда использовать:**
+- Kafka pod (`ordinis-kafka-dual-0`) не Running после reboot ноды.
+- Strimzi cluster operator не пересоздаёт pod — например после manual delete с paused reconciliation.
+- StrimziPodSet есть, но `READY PODS = 0`.
+- Кафка-операции отвечают timeout / connection refused.
+
+## 1. Диагностика
+
+```bash
+export KUBECONFIG=/tmp/kubeconfig-161
+kubectl get kafka,kafkanodepool,strimzipodset -n ordinis-staging
+kubectl get pods -n ordinis-staging | grep kafka
+```
+
+**Что искать:**
+
+| Симптом | Причина |
+|---|---|
+| `kafka.kafka.strimzi.io/ordinis-kafka` имеет `WARNINGS` колонку с текстом | reconciliation paused или config invalid — см. `kubectl describe kafka` |
+| `strimzipodset/ordinis-kafka-dual` отсутствует | удалён — нужно unpause reconciliation чтобы Strimzi его создал заново |
+| `kafkanodepool/dual` имеет `DESIRED REPLICAS=0` | scale=0 был задан — Strimzi не позволяет 0 реплик в Kafka cluster |
+| Pod `ordinis-kafka-dual-0` в `Pending` | scheduler не нашёл ноду — `kubectl describe pod` |
+| Pod `Running` но `0/1` ready | startup probe failed — `kubectl logs` |
+
+## 2. Восстановление
+
+### Вариант A: pause/unpause reconciliation
+
+Если Kafka CR имеет `strimzi.io/pause-reconciliation=true` annotation:
+
+```bash
+kubectl annotate kafka.kafka.strimzi.io/ordinis-kafka -n ordinis-staging \
+  strimzi.io/pause-reconciliation- --overwrite
+kubectl annotate kafkanodepool.kafka.strimzi.io/dual -n ordinis-staging \
+  strimzi.io/pause-reconciliation- --overwrite
+```
+
+Strimzi в течение ~30 sec пересоздаст StrimziPodSet и поднимет pod.
+
+### Вариант B: scale до 0 → нужно вернуть к 1+
+
+```bash
+kubectl patch kafkanodepool/dual -n ordinis-staging --type=merge \
+  -p '{"spec":{"replicas":1}}'
+```
+
+⚠️ **Strimzi требует минимум 1 replica** — при `replicas:0` валидация падает с
+`InvalidResourceException: KafkaNodePools have 0 replicas`.
+
+### Вариант C: StrimziPodSet удалён (например `kubectl delete strimzipodset`)
+
+Если pause снят и replicas≥1, Strimzi пересоздаст автоматически. Дать
+60 sec на reconciliation. Если не происходит:
+
+```bash
+# Принудительно перепинговать operator
+kubectl annotate kafka.kafka.strimzi.io/ordinis-kafka -n ordinis-staging \
+  strimzi.io/manual-rolling-update-
+kubectl annotate kafka.kafka.strimzi.io/ordinis-kafka -n ordinis-staging \
+  strimzi.io/manual-rolling-update=true --overwrite
+```
+
+### Вариант D: Pod залип в Pending / CrashLoopBackOff
+
+Force-delete + дать operator пересоздать:
+
+```bash
+kubectl delete pod -n ordinis-staging ordinis-kafka-dual-0 \
+  --grace-period=0 --force
+```
+
+PVC `data-0-ordinis-kafka-dual-0` сохраняется, данные kraft-метаданных целы.
+
+## 3. Подтверждение
+
+```bash
+kubectl get pods -n ordinis-staging | grep kafka
+# → ordinis-kafka-dual-0   1/1   Running
+
+kubectl exec -n ordinis-staging ordinis-kafka-dual-0 -- \
+  bin/kafka-broker-api-versions.sh \
+  --bootstrap-server ordinis-kafka-kafka-bootstrap:9092 2>&1 | head -3
+```
+
+## 4. После kafka up — рестарт consumer'ов
+
+Spring Boot pods (`ordinis-app`, `ordinis-projection-writer`) могли застрять
+в reconnect-loop. Force-delete для быстрого resume:
+
+```bash
+kubectl delete pod -n ordinis-staging \
+  -l 'app.kubernetes.io/name in (ordinis-app,ordinis-projection-writer)' \
+  --grace-period=0 --force
+```
+
+OutboxPoller начнёт публиковать накопленные события сразу.
+
+## 5. Проверка outbox lag
+
+После рестарта Kafka outbox мог накопить unpublished events. Проверь:
+
+```bash
+curl -sk -H "Authorization: Bearer $TOKEN" \
+  --resolve ordinis.k8s.265.nstart.cloud:443:192.168.100.161 \
+  "https://ordinis.k8s.265.nstart.cloud/api/v1/admin/outbox/stats"
+# → {"pending":0,"dlq":0}  ← желаемое
+```
+
+Если pending растёт — см. [outbox-dlq.md](outbox-dlq.md).
+
+## 6. Эскалация
+
+| Проблема | Действие |
+|---|---|
+| Strimzi operator pod (kafka-test ns) не Running | `kubectl get pods -n kafka-test` → перезапустить |
+| Consul недоступен (Strimzi его не использует, но Vault — да) | см. [vault-unseal.md](vault-unseal.md) |
+| Kraft metadata corruption (редко) | DR: восстановить PVC из snapshot, переинициализировать topic |
+| ACL нарушение / SASL auth fail | Проверить secret `ordinis-app-kafka` в Vault, перезапустить consumer |
+
+>20 минут downtime → tech lead.