Conservative SmartOS global-zone memory pressure guard with dry-run-first policy and SMF integration.
25개 이상의 토픽을 선택하실 수 없습니다. Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
 

5.7 KiB

Incidente pageout_deadman de septiembre de 2026

Alcance

Este documento registra el panic real observado mientras o6h-memory-guard v1.0.2 funcionaba correctamente en dry-run. v1.0.3 se desplegó después sólo en dry-run y permitió descubrir el sesgo de ranking que corrige v1.0.4. Ninguna de estas revisiones activó armed durante la evidencia descrita; v1.0.4 aún no se ha desplegado.

Cronología reconstruida

Los valores se conservan como fixture en tests/fixtures/pageout_deadman_real_incident_2026_09.csv.

Hora aproximada free_pages Estado/observación
07:33:10Z 143.127 NORMAL, por encima de lotsfree=130875
07:33:11Z 115.727 Primer cruce bajo lotsfree; v1.0.2 seguía NORMAL
07:33:12–13Z 103.000–107.000 Persistencia bajo lotsfree
07:33:17Z 48.893 EMERGENCY, minfree=49077, nscan=1060408

El host pasó de lotsfree a minfree en unos seis segundos. Después, v1.0.2 registró decisiones dry-run TERM/KILL sobre varios procesos PHP-FPM, pero no envió señales, como exigía su configuración. El host terminó en pageout_deadman.

Durante el episodio, un proc_scan que normalmente tardaba 10–15 ms alcanzó aproximadamente 9,5 s y quedó incompleto. También aparecieron bloqueos log_or_incomplete_scan y victim_budget_exhausted.

Qué detectó correctamente v1.0.2

  • El cruce de umbrales dinámicos del kernel y la llegada a EMERGENCY.
  • Scanner intenso y telemetría continua de memoria, swap y pageout.
  • Inventario UUID, elegibilidad, RSS y ranking por zona/proceso.
  • Identidades de proceso y decisiones WOULD_ACTION en dry-run.
  • La salvaguarda fundamental: no se envió ninguna señal real.

Dry-run no podía evitar el panic: sólo registra la acción que habría propuesto. El incidente sirve para validar detección y exponer defectos de preparación de la ruta de rescate, no como evidencia de que el daemon causara el panic.

Fallos de diseño revelados

  1. PRE-PRESSURE/PRESSURE llegaban demasiado tarde para una caída de seis segundos.
  2. La acción exigía el scan completo más reciente; bajo presión, ese trabajo podía bloquear durante segundos.
  3. Un scan parcial invalidaba de hecho la posibilidad de actuar aunque existiera atribución previa útil.
  4. El presupuesto normal podía bloquear indefinidamente una emergencia.
  5. Faltaba una traza explícita del origen, rank y edad del candidato usado.

Cambios de v1.0.3

  • PRE-PRESSURE tras dos muestras bajo lotsfree y PRESSURE a los dos segundos, sin exigir nscan; scanner/pageout/swap siguen siendo corroboradores.
  • Caché persistente top‑3 actualizada sólo por scans completos en NORMAL/PRE-PRESSURE/PRESSURE. Conserva UUID, alias, generación, PID, inicio, nombre, RSS, d5/d15/d60, tiempo, elegibilidad y puntuaciones.
  • Un scan incompleto se registra pero no sustituye la caché buena anterior.
  • CRITICAL/EMERGENCY/FLOOR no recorren /proc: selección cacheada O(1), lectura kstat fresca y revalidación barata del candidato concreto.
  • Si rank 1 desaparece, cambia de identidad o deja de ser elegible, se intenta rank 2 y después rank 3 sin scan completo.
  • Gracias configurables: 5 s CRITICAL, 1 s EMERGENCY y KILL inmediato al floor por defecto.
  • Presupuesto jerárquico 4/8/12: límite normal, override EMERGENCY y límite absoluto floor. Ningún override relaja UUID allow ni protecciones.
  • EMERGENCY sale hacia RECOVERY al alcanzar desfree; NORMAL requiere 15 s estables por encima de lotsfree con scanner inactivo.
  • Nuevos eventos state_transition, candidate_cache, action_decision y recovery_check, incluidos origen, rank, edad y override de presupuesto.

Evidencia automatizada

El fixture real exige que el guard abandone NORMAL antes de minfree. Las pruebas del runtime simulado verifican además:

  • persistencia de caché tras scan incompleto;
  • cero recorridos /proc dentro de act();
  • fallback top‑2/top‑3;
  • rechazo de reutilización PID por instante de inicio;
  • límites normales y overrides controlados;
  • allow/protect/observe/unmapped/global;
  • histéresis RECOVERY/NORMAL;
  • cero solicitudes de señal real en dry-run.

v1.0.4 — Global victim ranking fix

La observación nativa posterior de v1.0.3 confirmó servicio estable, telemetría, scans rápidos y caché persistente, pero mostró un sesgo: los tres candidatos procedían de la zona web5 con procesos PHP-FPM de unos 245–285 MiB, mientras procesos clamd elegibles de aproximadamente 1,33 GiB en otras zonas quedaban fuera. La causa era el orden lexicográfico por score de zona antes del score de proceso.

v1.0.4 construye el top‑3 global directamente entre todos los procesos de zonas allow. RSS es la base; d5/d15/d60 elevan crecimientos recientes y el contexto de zona queda limitado al 25 % del RSS del candidato. El fixture global_victim_ranking_smartos_2026_09.csv reproduce las proporciones observadas y mantiene mysqld, zonas unmapped y global fuera del ranking. Esta revisión no se ha desplegado: debe confirmarse en SmartOS real exclusivamente en dry-run.

Pendiente antes de armed

  1. Compilar v1.0.4 con cabeceras nativas SmartOS y ejecutar todas las pruebas.
  2. Validar --probe --force-dry-run y después SMF con --force-dry-run.
  3. Confirmar que candidate_cache es global y que los clamd grandes pueden superar a los PHP-FPM pequeños sin incluir mysqld protegido.
  4. Confirmar que un scan lento/incompleto no retrasa action_decision.
  5. Revisar cada UUID y política literal; mantener infraestructura crítica fuera de allow.
  6. Validar en laboratorio desechable TERM/KILL, cooldown, supervisores que recrean procesos y límites 4/8/12.
  7. Obtener aceptación humana explícita. Hasta entonces armed es NO GO.