Incidente pageout_deadman de septiembre de 2026
Alcance
Este documento registra el panic real observado mientras
o6h-memory-guard v1.0.2 funcionaba correctamente en dry-run. La revisión
v1.0.3 se entrega también en dry-run: no se desplegó, no activó armed y no
envió señales durante su desarrollo o validación local.
Cronología reconstruida
Los valores se conservan como fixture en
tests/fixtures/pageout_deadman_real_incident_2026_09.csv.
| Hora aproximada |
free_pages |
Estado/observación |
| 07:33:10Z |
143.127 |
NORMAL, por encima de lotsfree=130875 |
| 07:33:11Z |
115.727 |
Primer cruce bajo lotsfree; v1.0.2 seguía NORMAL |
| 07:33:12–13Z |
103.000–107.000 |
Persistencia bajo lotsfree |
| 07:33:17Z |
48.893 |
EMERGENCY, minfree=49077, nscan=1060408 |
El host pasó de lotsfree a minfree en unos seis segundos. Después, v1.0.2
registró decisiones dry-run TERM/KILL sobre varios procesos PHP-FPM, pero no
envió señales, como exigía su configuración. El host terminó en
pageout_deadman.
Durante el episodio, un proc_scan que normalmente tardaba 10–15 ms alcanzó
aproximadamente 9,5 s y quedó incompleto. También aparecieron bloqueos
log_or_incomplete_scan y victim_budget_exhausted.
Qué detectó correctamente v1.0.2
- El cruce de umbrales dinámicos del kernel y la llegada a EMERGENCY.
- Scanner intenso y telemetría continua de memoria, swap y pageout.
- Inventario UUID, elegibilidad, RSS y ranking por zona/proceso.
- Identidades de proceso y decisiones
WOULD_ACTION en dry-run.
- La salvaguarda fundamental: no se envió ninguna señal real.
Dry-run no podía evitar el panic: sólo registra la acción que habría propuesto.
El incidente sirve para validar detección y exponer defectos de preparación de
la ruta de rescate, no como evidencia de que el daemon causara el panic.
Fallos de diseño revelados
- PRE-PRESSURE/PRESSURE llegaban demasiado tarde para una caída de seis
segundos.
- La acción exigía el scan completo más reciente; bajo presión, ese trabajo
podía bloquear durante segundos.
- Un scan parcial invalidaba de hecho la posibilidad de actuar aunque existiera
atribución previa útil.
- El presupuesto normal podía bloquear indefinidamente una emergencia.
- Faltaba una traza explícita del origen, rank y edad del candidato usado.
Cambios de v1.0.3
- PRE-PRESSURE tras dos muestras bajo
lotsfree y PRESSURE a los dos segundos,
sin exigir nscan; scanner/pageout/swap siguen siendo corroboradores.
- Caché persistente top‑3 actualizada sólo por scans completos en
NORMAL/PRE-PRESSURE/PRESSURE. Conserva UUID, alias, generación, PID, inicio,
nombre, RSS, d5/d15/d60, tiempo, elegibilidad y puntuaciones.
- Un scan incompleto se registra pero no sustituye la caché buena anterior.
- CRITICAL/EMERGENCY/FLOOR no recorren
/proc: selección cacheada O(1), lectura
kstat fresca y revalidación barata del candidato concreto.
- Si rank 1 desaparece, cambia de identidad o deja de ser elegible, se intenta
rank 2 y después rank 3 sin scan completo.
- Gracias configurables: 5 s CRITICAL, 1 s EMERGENCY y KILL inmediato al floor
por defecto.
- Presupuesto jerárquico 4/8/12: límite normal, override EMERGENCY y límite
absoluto floor. Ningún override relaja UUID
allow ni protecciones.
- EMERGENCY sale hacia RECOVERY al alcanzar
desfree; NORMAL requiere 15 s
estables por encima de lotsfree con scanner inactivo.
- Nuevos eventos
state_transition, candidate_cache, action_decision y
recovery_check, incluidos origen, rank, edad y override de presupuesto.
Evidencia automatizada
El fixture real exige que el guard abandone NORMAL antes de minfree. Las
pruebas del runtime simulado verifican además:
- persistencia de caché tras scan incompleto;
- cero recorridos
/proc dentro de act();
- fallback top‑2/top‑3;
- rechazo de reutilización PID por instante de inicio;
- límites normales y overrides controlados;
- allow/protect/observe/unmapped/global;
- histéresis RECOVERY/NORMAL;
- cero solicitudes de señal real en dry-run.
Pendiente antes de armed
- Compilar v1.0.3 con cabeceras nativas SmartOS y ejecutar todas las pruebas.
- Validar
--probe --force-dry-run y después SMF con --force-dry-run.
- Observar transiciones tempranas y
candidate_cache durante carga real.
- Confirmar que un scan lento/incompleto no retrasa
action_decision.
- Revisar cada UUID y política literal; mantener infraestructura crítica fuera
de
allow.
- Validar en laboratorio desechable TERM/KILL, cooldown, supervisores que
recrean procesos y límites 4/8/12.
- Obtener aceptación humana explícita. Hasta entonces
armed es NO GO.