Conservative SmartOS global-zone memory pressure guard with dry-run-first policy and SMF integration.
Nie możesz wybrać więcej, niż 25 tematów Tematy muszą się zaczynać od litery lub cyfry, mogą zawierać myślniki ('-') i mogą mieć do 35 znaków.
 
 
 
 

4.7 KiB

Incidente pageout_deadman de septiembre de 2026

Alcance

Este documento registra el panic real observado mientras o6h-memory-guard v1.0.2 funcionaba correctamente en dry-run. La revisión v1.0.3 se entrega también en dry-run: no se desplegó, no activó armed y no envió señales durante su desarrollo o validación local.

Cronología reconstruida

Los valores se conservan como fixture en tests/fixtures/pageout_deadman_real_incident_2026_09.csv.

Hora aproximada free_pages Estado/observación
07:33:10Z 143.127 NORMAL, por encima de lotsfree=130875
07:33:11Z 115.727 Primer cruce bajo lotsfree; v1.0.2 seguía NORMAL
07:33:12–13Z 103.000–107.000 Persistencia bajo lotsfree
07:33:17Z 48.893 EMERGENCY, minfree=49077, nscan=1060408

El host pasó de lotsfree a minfree en unos seis segundos. Después, v1.0.2 registró decisiones dry-run TERM/KILL sobre varios procesos PHP-FPM, pero no envió señales, como exigía su configuración. El host terminó en pageout_deadman.

Durante el episodio, un proc_scan que normalmente tardaba 10–15 ms alcanzó aproximadamente 9,5 s y quedó incompleto. También aparecieron bloqueos log_or_incomplete_scan y victim_budget_exhausted.

Qué detectó correctamente v1.0.2

  • El cruce de umbrales dinámicos del kernel y la llegada a EMERGENCY.
  • Scanner intenso y telemetría continua de memoria, swap y pageout.
  • Inventario UUID, elegibilidad, RSS y ranking por zona/proceso.
  • Identidades de proceso y decisiones WOULD_ACTION en dry-run.
  • La salvaguarda fundamental: no se envió ninguna señal real.

Dry-run no podía evitar el panic: sólo registra la acción que habría propuesto. El incidente sirve para validar detección y exponer defectos de preparación de la ruta de rescate, no como evidencia de que el daemon causara el panic.

Fallos de diseño revelados

  1. PRE-PRESSURE/PRESSURE llegaban demasiado tarde para una caída de seis segundos.
  2. La acción exigía el scan completo más reciente; bajo presión, ese trabajo podía bloquear durante segundos.
  3. Un scan parcial invalidaba de hecho la posibilidad de actuar aunque existiera atribución previa útil.
  4. El presupuesto normal podía bloquear indefinidamente una emergencia.
  5. Faltaba una traza explícita del origen, rank y edad del candidato usado.

Cambios de v1.0.3

  • PRE-PRESSURE tras dos muestras bajo lotsfree y PRESSURE a los dos segundos, sin exigir nscan; scanner/pageout/swap siguen siendo corroboradores.
  • Caché persistente top‑3 actualizada sólo por scans completos en NORMAL/PRE-PRESSURE/PRESSURE. Conserva UUID, alias, generación, PID, inicio, nombre, RSS, d5/d15/d60, tiempo, elegibilidad y puntuaciones.
  • Un scan incompleto se registra pero no sustituye la caché buena anterior.
  • CRITICAL/EMERGENCY/FLOOR no recorren /proc: selección cacheada O(1), lectura kstat fresca y revalidación barata del candidato concreto.
  • Si rank 1 desaparece, cambia de identidad o deja de ser elegible, se intenta rank 2 y después rank 3 sin scan completo.
  • Gracias configurables: 5 s CRITICAL, 1 s EMERGENCY y KILL inmediato al floor por defecto.
  • Presupuesto jerárquico 4/8/12: límite normal, override EMERGENCY y límite absoluto floor. Ningún override relaja UUID allow ni protecciones.
  • EMERGENCY sale hacia RECOVERY al alcanzar desfree; NORMAL requiere 15 s estables por encima de lotsfree con scanner inactivo.
  • Nuevos eventos state_transition, candidate_cache, action_decision y recovery_check, incluidos origen, rank, edad y override de presupuesto.

Evidencia automatizada

El fixture real exige que el guard abandone NORMAL antes de minfree. Las pruebas del runtime simulado verifican además:

  • persistencia de caché tras scan incompleto;
  • cero recorridos /proc dentro de act();
  • fallback top‑2/top‑3;
  • rechazo de reutilización PID por instante de inicio;
  • límites normales y overrides controlados;
  • allow/protect/observe/unmapped/global;
  • histéresis RECOVERY/NORMAL;
  • cero solicitudes de señal real en dry-run.

Pendiente antes de armed

  1. Compilar v1.0.3 con cabeceras nativas SmartOS y ejecutar todas las pruebas.
  2. Validar --probe --force-dry-run y después SMF con --force-dry-run.
  3. Observar transiciones tempranas y candidate_cache durante carga real.
  4. Confirmar que un scan lento/incompleto no retrasa action_decision.
  5. Revisar cada UUID y política literal; mantener infraestructura crítica fuera de allow.
  6. Validar en laboratorio desechable TERM/KILL, cooldown, supervisores que recrean procesos y límites 4/8/12.
  7. Obtener aceptación humana explícita. Hasta entonces armed es NO GO.