Conservative SmartOS global-zone memory pressure guard with dry-run-first policy and SMF integration.
您最多选择25个主题 主题必须以字母或数字开头,可以包含连字符 (-),并且长度不得超过35个字符
 
 
 
 

4.2 KiB

panic32: pageout_deadman y stall del daemon — 2026-09-22

Resumen

El nodo terminó con:

pageout_deadman: stuck pushing the same page for 90 seconds (freemem is 424)

Con páginas de 4096 bytes, freemem era aproximadamente 1,66 MiB. Antes del panic, o6h-memory-guard había resuelto dos emergencias y recuperado memoria, pero durante una tercera quedó sin progresar unos 145 segundos entre la decisión de escalar y el envío efectivo de SIGKILL. Ese intervalo supera los 90 segundos del deadman y motivó el rediseño de la ruta crítica en v1.0.7.

Evidencia del kernel

Page Summary                Pages                MB  %Tot
Kernel                    2022564              7900   24%
Boot pages                  90359               352    1%
ZFS File Data              507501              1982    6%
Anon                      5732179             22391   68%
Exec and libs                8299                32    0%
Page cache                  14675                57    0%
Free (cachelist)               32                 0    0%
Free (freelist)               394                 1    0%
Total                     8376003             32718
Physical                  8376002             32718

El hilo de pageout estaba detenido en la ruta:

swtch → cv_wait → zio_wait → dbuf_read → dmu_buf_will_dirty_impl
→ dmu_write → zvol_strategy → bdev_strategy → spec_pageio
→ swap_putapage → swap_putpage → pageout

El dump contenía además numerosas esperas en page_create_throttle, page_create_wait, page_create_va, segkmem_page_create y segkmem_zio_alloc. Es compatible con agotamiento físico mientras pageout intenta escribir swap sobre un zvol y la propia ruta ZFS/DMU/ZIO no progresa.

Cronología del guard

  • 15:18:20: EMERGENCY, unas 48.000 páginas libres; SIGTERM a clamd de servidor.consultaerte.com.
  • 15:18:26–15:18:29: nueva EMERGENCY; fallback a clamd de sailandfun.bz2 y SIGKILL.
  • 15:18:30: 305.511 páginas libres, aproximadamente 1,17 GiB; recuperación real.
  • 15:18:40: nueva EMERGENCY; candidato clamd de 03.base0.es.
  • 15:18:49: SIGTERM real.
  • 15:18:51: decisión de escalar a SIGKILL.
  • 15:21:16: signal_sent SIGKILL, unos 145 segundos después, junto con sampling_overrun late_seconds≈145.076.
  • 15:21:17: recuperación parcial hasta unas 148.619 páginas libres.
  • 15:21:25: recaída a EMERGENCY en minfree=49077; la caché tenía unos 167.582 ms registrados, es decir, unos 167,6 segundos, y se bloqueó la acción con no_valid_cached_candidate.
  • Finalmente ocurrió pageout_deadman.

El fixture tests/fixtures/panic32_daemon_stall_2026_09_22.csv conserva esta secuencia sin ejecutar señales reales.

Confirmado

  • El guard dejó de progresar aproximadamente 145 segundos.
  • El SIGKILL se retrasó ese mismo orden de tiempo.
  • El retraso superó el umbral de 90 segundos del deadman.
  • Hubo recuperaciones cuantificables tras señales anteriores y tras el kill tardío.
  • La caché top-3 quedó demasiado antigua y ya no proporcionó candidato en la recaída.
  • El nodo terminó en pageout_deadman con sólo 424 páginas libres.

Hipótesis pendiente

  • syslog() pudo bloquearse.
  • La escritura o rotación de guard.log pudo bloquearse.
  • La validación puntual de /proc, kstat u otra syscall pudo bloquearse.
  • No hay evidencia suficiente para atribuir causalidad específica a syslog.

v1.0.7 instrumenta por separado validación, entrada y retorno de la syscall de señal, encolado, escritura de log y syslog. Esa instrumentación permitirá acotar un incidente futuro sin convertir la hipótesis en conclusión.

Corrección de diseño

En acciones reales, v1.0.7 impone:

validación O(1) → señal → counters en memoria → enqueue no bloqueante

Todo guard.log y syslog se ejecuta en un logger independiente. Un scanner independiente publica una caché fija de 16 candidatos; la ruta de rescate no espera al scanner, admite candidatos antiguos tras revalidación completa O(1) y conserva la caché a través de RECOVERY. Si la cola de log está llena u ocupada, se pierde telemetría y se incrementa el contador de descartes: salvar el host tiene prioridad sobre conservar el log.