# o6h-memory-guard 1.0.4 Primera implementación para SmartOS global zone: daemon C de 64 bits, libkstat, /proc, identidad UUID + generación de zona + PID + instante de creación, configuración separada y servicio SMF. Entrega de código fuente; **no contiene un binario nativo validado en SmartOS**. Véase `VALIDATION.md`. Arranca en `dry-run`. El manifiesto añade `--force-dry-run`, por lo que cambiar sólo `ACTION_MODE` no arma el servicio. No se entrega ninguna zona autorizada. No se ha desplegado ni se han enviado señales reales durante la preparación. ## Documentación de la entrega - `README.md`: instalación, semántica, política, operación y rollback. - `VALIDATION.md`: validación local realizada al construir esta entrega y comprobaciones nativas que en ese momento quedaban pendientes. - `CHECKPOINT.md`: checkpoint operativo posterior, incorporado sin cambios, con la evidencia acumulada de compilación, ejecución y logging de v1.0.2 en SmartOS real, además del estado exacto y los requisitos antes de `armed`. - `INCIDENT_PAGEOUT_DEADMAN_2026_09.md`: cronología del panic real observado con v1.0.2, endurecimiento de v1.0.3 y corrección del ranking global en v1.0.4. - `CHANGELOG.md`: evolución de versiones y revisión documental del paquete. El checkpoint es cronológicamente posterior a `VALIDATION.md`; por ello amplía sus resultados de campo sin cambiar el código ni autorizar el modo `armed`. ## Instalación inicial y activación en dry-run Los comandos siguientes se ejecutan por el operador, como root en la global zone. Requieren `gcc` de 64 bits, cabeceras nativas y GNU make (`gmake`) en PATH. Si no hay herramientas de desarrollo, compilar en una **zona nativa SmartOS** de la misma plataforma (no LX), ejecutar allí `gmake test`, y copiar el binario junto a este árbol al host. No instalar un compilador en un nodo bajo presión. Copiar el archivo distribuido a `/var/tmp/o6h-memory-guard-1.0.4.tar.gz`: ```sh mkdir -p /opt/custom/src cd /opt/custom/src gzip -dc /var/tmp/o6h-memory-guard-1.0.4.tar.gz | tar -xf - cd /opt/custom/src/o6h-memory-guard gmake CC=gcc gmake test CC=gcc file ./o6h-memory-guard ldd ./o6h-memory-guard sh ./install.sh ``` `file` debe identificar un ELF nativo de 64 bits. `ldd` no debe mostrar dependencias ausentes. El instalador sólo copia archivos y valida el manifiesto; no importa ni inicia servicios, y rechaza sobrescribir una instalación existente. Si ya se copió un binario compilado en una zona nativa, omitir `gmake CC=gcc` en la global zone; conservar los resultados de compilación y pruebas. Inventariar UUID y alias fuera del daemon: ```sh vmadm list -o uuid,alias vi /opt/custom/etc/o6h-memory-guard.conf ``` Añadir una línea por zona, con UUID real y alias sin espacios: ```text zone web5 allow zone database protect zone monitoring protect ``` Esos marcadores **no son valores válidos**: sustituirlos, incluidos los signos `< >`. `allow` hace elegible una zona para las simulaciones; no habilita señales mientras el servicio esté en dry-run. `protect`, `observe` o la ausencia de una regla excluyen la zona de toda acción. Sin reglas `allow` el monitor funciona y registra métricas/top de procesos, pero informa `no_authorized_candidate`. ```sh /opt/custom/bin/o6h-memory-guard --check-config --force-dry-run /opt/custom/bin/o6h-memory-guard --probe --force-dry-run svccfg validate /opt/custom/smf/o6h-memory-guard.xml svccfg import /opt/custom/smf/o6h-memory-guard.xml svcadm enable -s svc:/site/o6h-memory-guard:default svcs -xv svc:/site/o6h-memory-guard:default svcprop -p start/exec svc:/site/o6h-memory-guard:default tail -f /opt/custom/var/log/o6h-memory-guard/guard.log ``` Verificar `mode=dry-run` en `event=start`, `--force-dry-run` en `start/exec`, `arc_ok=1`, `swap_committed_ok=1`, `swap_physical_used_ok=1`, `anon_pageout_ok=1` y `proc_scan complete=1`. No generar presión artificial en producción. Para comprobar selección y UUID, revisar `candidate`, `zone` y `top_process` durante carga natural; `WOULD_ACTION` sólo aparece si se alcanzan los umbrales y hay candidato autorizado. `--probe` lee una muestra y sale sin locks, logs ni acciones; `--check-config` sólo valida configuración y permisos. Para que se active automáticamente tras un reinicio de SmartOS, después de validar este arranque editar **únicamente** `create_default_instance` a `enabled="true"` en el manifiesto persistente y volver a importarlo: ```sh vi /opt/custom/smf/o6h-memory-guard.xml svccfg validate /opt/custom/smf/o6h-memory-guard.xml svccfg import /opt/custom/smf/o6h-memory-guard.xml ``` Mantener `--force-dry-run`. La ubicación `/opt/custom/smf` se utiliza para servicios personalizados persistentes de SmartOS; no depender exclusivamente del estado habilitado de la instancia en el repositorio del arranque actual. ## Métricas y ventanas Cada segundo se leen `unix:0:system_pages:{freemem,lotsfree,desfree,minfree,nscan, pp_kernel,pageslocked}`, `cpu:*:vm:anonpgout` y `zfs:0:arcstats:size` mediante libkstat. `swapctl(SC_AINFO)` proporciona asignación, reserva y disponibilidad de swap virtual, equivalente a `swap -s`. La métrica inequívoca es `swap_committed_pages = allocated + reserved`, e incluye compromiso anónimo que puede seguir residente en RAM; **no representa pageout ni bytes escritos en el zvol**. La reserva aún no asignada es `ani_resv - (ani_max - ani_free)`. Por separado, `swapctl(SC_LIST)` obtiene las mismas entradas que `swap -l`. `swap_physical_used_bytes` suma `(blocks - free) * 512` de todos los dispositivos; los campos nativos de la API están en páginas y se convierten primero a los bloques de 512 bytes que muestra la utilidad. Esta cifra sí representa ocupación física del swap configurado. Con la validación observada: `swap -s` indicó unos 28,5 GiB comprometidos, mientras `swap -l` indicó sólo 8.093.064 bloques usados, es decir 4.143.648.768 bytes (unos 3,86 GiB). No deben compararse como si fueran la misma magnitud. El log conserva unidades: páginas para VM/compromiso virtual/pageout, bytes para ARC y swap físico, KiB para RSS. `page_bytes` se obtiene de `sysconf`, nunca se presupone 4096. `nscan` es una medida del scanner, no un contador acumulativo; su delta se registra como cambio de la medida y no se interpreta como tasa de pageout. Historias circulares con timestamps monotónicos, deltas 5/15/60 s para libre, kernel, locked, ARC, compromiso/disponibilidad virtual, ocupación física de swap, pageout anónimo y nscan. Los deltas incluyen la edad real (`-100@5.02s`). Se exige una muestra a ±1,25 s de la ventana; si falta, sale `NA`, sin inventar ceros. /proc se recorre cada 5 s en NORMAL y cada 1 s bajo `lotsfree`; RSS y crecimiento de procesos/zonas usan las mismas ventanas. El contrato de cada `event=sample` expone los tres pares inequívocos `swap_committed_ok/swap_committed_pages`, `swap_physical_used_ok/swap_physical_used_bytes` y `anon_pageout_ok/anon_pageout_pages`. Cada muestra va seguida por líneas `event=delta` con esos tres nombres exactos y `d5`, `d15` y `d60`. `swap_used_pages` no es un nombre válido. Se conservan como diagnóstico auxiliar `swap_alloc_pages`, `swap_reserved_pages` y `swap_available_pages`: son los componentes de compromiso virtual de `SC_AINFO`, todos en páginas, y ninguno representa bytes escritos en el dispositivo swap. En los datos originales, `425950 > 130875` páginas y `nscan=0` corresponden a NORMAL. Los valores de 130875/65437/49077 páginas no están codificados como umbrales: se vuelven a leer del kernel. ARC y `pp_kernel` son diagnóstico, nunca una prueba de que un proceso concreto causó la presión. ## Estados y acción | Estado/condición de entrada | Comportamiento predeterminado | | --- | --- | | NORMAL | Sin intervención; muestreo VM de 1 s. | | PRE-PRESSURE | Dos muestras bajo `lotsfree` (1 s por defecto); refresca candidatos, sin señales. | | PRESSURE | Bajo `lotsfree` durante 2 s, o caída rápida corroborada; no exige que `nscan` haya arrancado. Refresca candidatos cada segundo. | | CRITICAL | Bajo `desfree` con presión corroborada continua durante 2 s; usa caché, sin scan nuevo, y propone TERM. | | EMERGENCY | `free <= minfree`; entrada inmediata. Usa caché y gracia TERM de 1 s. | | Floor | `free <= minfree/2`; KILL directo por defecto (`FLOOR_KILL_DELAY_SECONDS=0`). | | RECOVERY | Desde CRITICAL/EMERGENCY al recuperar `desfree`; NORMAL sólo tras 15 s estables con `free >= lotsfree` y `nscan=0`. | La entrada temprana a PRESSURE depende de persistencia bajo `lotsfree` o caída clara y no espera a que el scanner arranque. `nscan > 0`, caída respecto a la muestra anterior y delta libre negativo siguen corroborando gravedad. Bajo `lotsfree`, el crecimiento simultáneo en 5 s de `swap_physical_used_bytes` y `anon_pageout_pages` corrobora presión. La ocupación física jamás es un trigger único: sin pageout creciente y memoria bajo `lotsfree` no cambia el estado. El compromiso virtual tampoco se interpreta como pageout. Los tiempos son segundos monotónicos transcurridos, no número de filas leídas. Un hueco de más de 2,5 s reinicia las confirmaciones. La gravedad se retiene hasta recuperar `desfree`; `action_pressure` indica si el estado retenido aún permite una decisión de rescate. Las gracias son configurables: 5 s en CRITICAL, 1 s en EMERGENCY y 0 s al floor por defecto. Una lectura kstat fresca debe seguir bajo `desfree`. Recuperar `desfree` cancela cualquier TERM pendiente y entra en RECOVERY. Se mantiene como máximo una decisión de señal por tick; si una identidad desaparece o reutiliza el PID se prueba el siguiente candidato cacheado sin recorrer `/proc` completo. En NORMAL/PRESSURE/CRITICAL rigen 4 víctimas por episodio y 4 por ventana móvil de 60 s. EMERGENCY puede superar esos límites normales hasta 8 víctimas por episodio; floor tiene un límite absoluto de 12. Cada override se registra como `victim_budget_override=emergency|floor`. TERM+KILL del mismo proceso cuentan como una víctima. Los límites 4/8/12 son configurables pero deben mantener ese orden. El episodio sólo se reinicia al volver a NORMAL. En armed, los primeros 60 s desde el arranque monotónico del daemon inhiben únicamente las señales, también en EMERGENCY, para evitar eludir el límite por minuto mediante reinicios. La detección, el muestreo, los scans permitidos por estado y la reconstrucción del `candidate_cache` continúan durante ese warmup. Cada bloqueo se registra como `event=action_blocked reason=armed_warmup elapsed_seconds=... required_seconds=60`. Los contadores son en memoria; el presupuesto por episodio sí se reinicia al reiniciar el daemon. Revisar esta elección antes de usarlo como mecanismo de rescate. No hay garantía de evitar un panic. ## Atribución y protecciones Cada scan completo recorre todos los procesos elegibles de todas las zonas `allow` y construye un único top‑3 global; no existe una preselección de la mejor zona. El score en KiB equivalentes es: ```text total_score = RSS + 4*max(d5,0) + 2*max(d15,0) + max(d60,0) + zone_component ``` `zone_component` incorpora `zone_rss/64` y crecimiento positivo de zona d5/16, d15/32 y d60/64, pero queda limitado a `process_rss/4`. Así una zona enorme aporta contexto sin poder monopolizar el ranking; un proceso estable de 1,3 GiB supera normalmente a uno de 250 MiB, mientras un proceso menor con crecimiento explosivo todavía puede ascender. Se usa el mismo top‑3 balanceado en todos los estados para conservar la ruta CRITICAL/EMERGENCY/FLOOR O(1) y no expulsar de la caché procesos grandes necesarios para recuperación inmediata. Empates se resuelven por RSS y después PID. El log expone `rss_component`, `growth5_component`, `growth15_component`, `growth60_component`, `zone_component` y `total_score`. Cada entrada conserva identidad, alias, RSS y d5/d15/d60. **La suma de RSS por zona puede contar memoria compartida varias veces**: es una aproximación de atribución, no memoria física exclusiva ni memoria garantizada que se recuperará al terminar un proceso. El UUID es el nombre de zona devuelto por el kernel, validado como UUID canónico en minúscula (convención SmartOS). Se conserva además `ZONE_ATTR_UNIQID`; se consulta `ZONE_ATTR_INITPID`. Los alias son etiquetas del catálogo del operador, no se obtienen mediante comandos ni se usan para autorizar señales. Un alias renombrado debe actualizarse manualmente. En illumos con nombres de zona que no sean UUID, el muestreo funciona pero esas zonas quedan excluidas de acciones. Protecciones obligatorias: global zone completa; PID 0/1 y proceso propio; padre 0; procesos sin LWPs; init de cada zona; identidades no resueltas o sin generación; zonas sin regla `allow`; RSS menor de 64 MiB por defecto. También se excluyen los nombres `init`, `systemd`, `svc.startd`, `svc.configd`, `sshd`, `zoneadmd`, `vminfod`, `vmadmd`, `qemu`, `qemu-system-x86`, `bhyve` y el guard. Las protecciones se aplican incluso al floor y prevalecen sobre toda autorización. `protect_process` añade nombres exactos `pr_fname` de hasta 15 caracteres, sin comodines ni argumentos; `protect_pid` añade PID global, no PID visto dentro de LX. La config entregada añade PostgreSQL, MySQL/MariaDB, Redis y Zabbix. Las zonas de base de datos/infraestructura deben figurar como `protect`. Los nombres pueden cambiar/truncarse y no constituyen una frontera contra un proceso malicioso: la protección por UUID completo es la más robusta. Antes de actuar se comprueban UUID, generación, PID, inicio, nombre, UID/EUID, init, RSS y reglas. Se abren psinfo/ctl respecto al mismo descriptor de directorio /proc y se envía `PCKILL` al descriptor, no a un número PID mediante `kill(2)`. El inicio de un PID reutilizado invalida el candidato. Cambios de nombre/UID ya visibles también lo invalidan. Queda la carrera inherente de un exec ordinario entre la última lectura de psinfo y la escritura: no se detiene el proceso para eliminarla. No se tocan flags de tracing, no se usa kill-on-close ni señales a grupos. La integración de esta ruta todavía necesita validación nativa de laboratorio. En dry-run nunca se abre `ctl`: se revalida con lecturas, se escribe `WOULD_ACTION=SIGTERM/SIGKILL` y se actualiza sólo el estado simulado. Los presupuestos evitan repetir infinitamente el mismo sacrificio hipotético. En armed se escribe `ACTION_INTENT` antes y `action_result=...` después (el campo real es `event=action_result result=sent|failed`). Los errores de escritura de señal consumen presupuesto para evitar reintentos ambiguos. ## Recursos y fallos Almacenamiento de trabajo fijo para 4096 procesos y 256 zonas, prefaulted por inicialización; el tamaño se registra al arrancar. No hay malloc de la aplicación en la ruta de acción, ni `system`, `popen`, `exec`, `vmadm`, `ps` o `vmstat` en el daemon. libkstat/libc sí pueden reservar memoria internamente al actualizar su cadena. No se promete cero asignaciones ni tiempo real estricto. El recorrido /proc tiene presupuesto cooperativo de 200 ms (hasta 500 ms por configuración). Un scan incompleto queda registrado pero no sustituye la última caché completa. NORMAL actualiza cada 5 s; PRE-PRESSURE/PRESSURE, cada segundo. CRITICAL/EMERGENCY/FLOOR no ejecutan scans completos: su ruta es lectura kstat, selección O(1) entre tres entradas, validación barata de identidad y decisión. La edad máxima predeterminada es 15 s. Si la caché es vieja o no tiene candidato válido, la acción se bloquea de forma segura; no se intenta descubrir uno bajo presión extrema. Una llamada del kernel durante un scan previo todavía puede exceder el presupuesto; queda registrada como overrun sin borrar la buena caché. Muestras obligatorias ausentes/invalidas o demasiado lentas inhiben señales; ARC/swap/pageout opcionales ausentes se marcan con `*_ok=0` y no bloquean por sí solos. Un fallo de log inhibe las acciones hasta reiniciar y también se anuncia en stderr/SMF. Los logs se escriben síncronamente al archivo sin fsync por muestra; el I/O o ZFS bloqueado puede retrasar este daemon. Tampoco garantiza que las últimas líneas sobrevivan a pérdida de alimentación o panic. Es persistencia en disco, no un journal de transacciones de señales. No se cambia swap, ARC ni caps de zona. La enumeración física admite hasta 64 dispositivos swap con almacenamiento fijo; si el nodo supera ese límite, `swap_physical_used_ok=0` y esa señal diagnóstica se omite sin autorizar acciones. Un lock fcntl evita dos instancias (incluso una manual y otra SMF); el PID guardado es diagnóstico, nunca se usa para señalizar. Config/locks/logs exigen propietario root, archivo regular de un enlace, destino sin symlink y directorios resueltos sin escritura para grupo/otros. Directorios /opt con symlinks legítimos de root se admiten al resolver su destino. SIGHUP sólo reabre el log; la configuración se recarga reiniciando el servicio. SIGTERM/SIGINT al daemon solicitan salida limpia. ## Logging y mantenimiento ```text /opt/custom/bin/o6h-memory-guard /opt/custom/etc/o6h-memory-guard.conf /opt/custom/smf/o6h-memory-guard.xml /opt/custom/var/run/o6h-memory-guard.lock /opt/custom/var/log/o6h-memory-guard/guard.log /opt/custom/var/log/o6h-memory-guard/guard.log.1 ... guard.log.5 ``` Rotación interna: 10 MiB por archivo y 5 copias, aproximadamente 60 MiB máximos. El volumen de líneas por segundo puede hacer que la retención sea inferior a un día; aumentar LOG_MAX_MIB/LOG_KEEP o recoger logs externamente si se necesita un estudio de varios días. No configurar copytruncate/logadm simultáneamente. Snapshots de todas las zonas y top 20 procesos cada 60 s normal / 5 s en presión. Las muestras de 1 s posteriores a las acciones permiten revisar la recuperación en 1/2/5/10 s, siempre que no haya overruns. No se registran argumentos de procesos. `logs/policy-tests.log` y `logs/runtime-tests.log` proceden de pruebas locales; no son datos del nodo. `logs/example.log` es un ejemplo sintético de formato. Los eventos `state_transition`, `candidate_cache`, `action_decision` y `recovery_check` permiten reconstruir el estado, origen/rank/edad del candidato, resultado del último scan, componentes del score y cualquier override de presupuesto. ## Preparación de armed (NO GO para v1.0.4 inicial) v1.0.4 debe compilarse y observarse primero en SmartOS exclusivamente en `dry-run`; el incidente real aún no autoriza señales. En una fase futura se necesitarían deliberadamente dos cambios: `ACTION_MODE armed` en la config y retirar `--force-dry-run` del método start del manifiesto. Mantener las reglas UUID `allow` mínimas y verificar antes las protecciones y el laboratorio nativo. Después de esos cambios, validar config/manifiesto, importar, refrescar y reiniciar el servicio. Verificar `event=start mode=armed`; comienza la inhibición de 60 s. No se proporciona un script que arme automáticamente el servicio. Para volver a dry-run, restaurar `ACTION_MODE dry-run` y `--force-dry-run` en el manifiesto; importar, `svcadm refresh` y `svcadm restart` la instancia. ## Parada, rollback y actualización Parar el guard sin borrar evidencia: ```sh svcadm disable -s svc:/site/o6h-memory-guard:default svcs -p svc:/site/o6h-memory-guard:default ``` Si se habilitó el arranque persistente, volver a `enabled="false"` e importar el manifiesto para mantenerlo deshabilitado en próximos arranques. Para retirar el servicio conservando los archivos y logs: ```sh mkdir -p /opt/custom/var/backups/o6h-memory-guard mv /opt/custom/smf/o6h-memory-guard.xml /opt/custom/var/backups/o6h-memory-guard/o6h-memory-guard.xml.disabled svccfg delete svc:/site/o6h-memory-guard:default ``` Comprobar antes que el destino de backup no exista y elegir un nombre distinto si ya se utilizó. El manifiesto sale del directorio de importación automática; binario/config/logs permanecen recuperables. No eliminar ni truncar el lock de una instancia viva. Restaurar el manifiesto e importarlo permite reinstalar SMF. Para actualizar: deshabilitar primero, conservar copias del binario, config y manifiesto en un directorio de backup nuevo, reemplazar el binario estando parado y validar los tres archivos. No reemplazar automáticamente la config ni perder las protecciones. Al migrar desde v1.0.2 es obligatorio fusionar explícitamente `PRE_SECONDS=1`, `PRESSURE_SECONDS=2`, las tres nuevas gracias, `MAX_CACHED_CANDIDATE_AGE_SECONDS` y los límites 8/12 del fichero distribuido; conservar 3/10 mantendría la detección lenta anterior. Validar con `--check-config --force-dry-run` antes de reiniciar. El instalador inicial se niega a sobrescribir por ese motivo. La migración desde v1.0.3 a v1.0.4 no añade parámetros de configuración: cambia el algoritmo de ranking y su logging. Comparar el top‑3 global en SmartOS real antes de reemplazar el binario observado y mantener siempre `--force-dry-run`. ## Referencias revisadas - [SmartOS: servicios personalizados y /opt/custom/smf](https://docs.smartos.org/smf-quick-reference-gz/). - [illumos: libkstat](https://smartos.org/man/3KSTAT/kstat). - [illumos: definiciones nativas de psinfo](https://github.com/illumos/illumos-gate/blob/master/usr/src/uts/common/sys/procfs.h). - [OmniOS/illumos: control /proc y PCKILL](https://man.omnios.org/man5/proc.5). - [illumos: atributos de zona](https://github.com/illumos/illumos-gate/blob/master/usr/src/uts/common/sys/zone.h). - [OmniOS/illumos: resolución del nombre de zona](https://man.omnios.org/man3c/getzoneid). - [illumos: cálculo de swap -s](https://github.com/illumos/illumos-gate/blob/master/usr/src/cmd/swap/swap.c). - [illumos: listado swap -l y conversión a bloques](https://github.com/illumos/illumos-gate/blob/master/usr/src/cmd/swap/swap.c#L350-L474). Las interfaces de atributos de zona dependen de la plataforma: confirmar con la versión exacta de SmartOS. La documentación revisada no sustituye la prueba de compilación/ejecución en ese host.