Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 8 de 31 · Patrones y regex ✦ WebMCP implementado

Comparar campos: ==, >, && y ||

9 min de lectura 4 retos

Hasta ahora tus patrones preguntaban una sola cosa: «¿el estado es 404?». En esta lección aprendes a preguntar «¿es mayor que…?» y a juntar varias preguntas con «y», «o» y «no». Con eso sacas del log los errores y las peticiones grandes. Y verás la trampa más traicionera de awk para quien viene de PHP: a veces compara como número y a veces como texto.

¿De dónde vienen los nombres?

&& = se lee «y» (en inglés and)
Las dos condiciones tienen que cumplirse. Es el mismo símbolo que en PHP y que en C, el lenguaje del que awk copió casi todos sus operadores.
|| = se lee «o» (en inglés or)
Basta con que se cumpla una de las dos. Igual que en PHP.
! = se lee «no» (en inglés not)
Le da la vuelta a una condición: lo verdadero pasa a falso y al revés. Igual que en PHP.
4xx y 5xx = las x son «cualquier cifra»
Forma corta de decir «los estados del 400 al 499» y «del 500 al 599». Los 4xx son errores de quien pide (página que no existe, sin permiso); los 5xx, errores de tu servidor.
En 4 ideas
1/4

Los operadores son los mismos que en PHP: ==, !=, <, >, <=, >=. $9 >= 400 es tu if ($estado >= 400), pero escrito delante de las llaves.

1 · Mayor, menor y compañía

En el módulo 01 comparaste un campo con == y con !=. Eso sirve para preguntar por un valor: «¿el estado es 404?». Pero los errores de una web no son solo el 404. Cada respuesta lleva un número de estado, y la primera cifra te dice cómo fue:

EstadoQué significaEjemplos del log
2xx (200 a 299)Todo fue bien200
3xx (300 a 399)«Ve a otro sitio» o «ya lo tienes»302, 304
4xx (400 a 499)Error de quien pide401, 403, 404
5xx (500 a 599)Error de tu servidor500

Es como las notas del cole: no te importa si es un 3 o un 4, te importa si está por debajo del 5. Para sacar todos los errores no hace falta nombrarlos uno a uno. Basta con preguntar si el estado (el campo 9) es 400 o más:

awkprograma.awk
# En PHP: if ($estado >= 400) { echo $estado, " ", $url, PHP_EOL; }
$9 >= 400 { print $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Salen los 401, 403, 404 y el 500. Los operadores son los seis que ya usas en PHP, y se escriben igual:

OperadorPreguntaEjemplo en el log
==¿es igual?$9 == 404
!=¿es distinto?$9 != 200
<¿es menor?$10 < 1000
>¿es mayor?$10 > 10000
<=¿es menor o igual?$9 <= 299
>=¿es mayor o igual?$9 >= 400

2 · Y, o, no: juntar condiciones

Con $9 >= 400 salen los errores de quien pide y también los de tu servidor. Si solo quieres los 4xx, hacen falta dos preguntas a la vez: «¿es 400 o más?» y «¿es menos de 500?». Se juntan con &&, como en PHP:

PHP 8.5errores-4xx.php
<?php
$lineas = file("access.log", FILE_IGNORE_NEW_LINES);
foreach ($lineas as $linea) {
    $campos = preg_split('/\s+/', trim($linea));
    // el campo es un texto: lo pasas a número
    $estado = (int) $campos[8];
    // las dos condiciones a la vez
    if ($estado >= 400 && $estado < 500) {
        echo $estado, " ", $campos[6], PHP_EOL;
    }
}
awkprograma.awk
# En PHP: if ($estado >= 400 && $estado < 500) { ... }
$9 >= 400 && $9 < 500 { print $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,92 s · gawk: 669 ms · mawk: 620 ms. awk tarda 3,1 veces menos que PHP.

El || es el «o»: basta con que se cumpla una de las dos. Aquí, las respuestas de «no has entrado» (401) o «no tienes permiso» (403):

awkprograma.awk
# En PHP: if ($estado == 401 || $estado == 403) { ... }
$9 == 401 || $9 == 403 { print $1, $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Y el ! es el «no»: le da la vuelta a lo que tenga detrás. Para que afecte a toda una condición, envuélvela en paréntesis. Esto imprime todo lo que no es un 200:

awkprograma.awk
# En PHP: if (!($estado == 200)) { ... }
!($9 == 200) { print $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

QuieresPHPawk
Las dos cosas$a && $b$9 >= 400 && $9 < 500
Una de las dos$a || $b$9 == 401 || $9 == 403
Lo contrario!$a!($9 == 200)
Las palabras and y orexistenno existen: solo && y ||

Cuando mezcles && y || en el mismo patrón, pon paréntesis. awk hace primero los &&, igual que PHP y que las multiplicaciones antes que las sumas. Este patrón quiere «un 401 o un 403, y además en /consulta»:

awkprograma.awk
# En PHP: if (($estado == 401 || $estado == 403) && $url == "/consulta") { ... }
($9 == 401 || $9 == 403) && $7 == "/consulta" { print $1, $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

3 · ¿Número o texto? La trampa de las comillas

Ahora la parte importante de la lección. El campo 10 son los bytes de la respuesta: lo que pesa lo que enviaste. Vamos a pedir las respuestas de más de 9 bytes. Son casi todas:

awkprograma.awk
# En PHP: if ($bytes > 9) { echo $url, " ", $bytes, PHP_EOL; }
$10 > 9 { print $7, $10 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Salen 18 de las 20 líneas: todas menos las dos que pesan 0. Ahora el mismo programa con un cambio muy pequeño: el 9 entre comillas. Ejecútalo antes de seguir leyendo.

awkprograma.awk
# En PHP: if ($bytes > "9") daria lo mismo que sin comillas. En awk, no.
$10 > "9" { print $7, $10 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Solo dos líneas: las de 9120 y 9480 bytes. Para awk, 18230 no es mayor que "9". ¿Qué ha pasado?

Al poner comillas le has dicho a awk que el 9 es un texto. Y dos textos se comparan como en un diccionario: letra a letra, empezando por la primera. En un diccionario «casa» va antes que «dado» aunque «casa» sea igual de larga, porque la c va antes que la d. Pues 18230 va antes que 9 porque su primera cifra, el 1, va antes que el 9. Las demás cifras ya ni se miran.

ComparaciónCómo compara awkCon 153 bytes da…
$10 > 9Como números: 153 frente a 9verdadero
$10 > "9"Como textos: «153» frente a «9», letra a letrafalso (el 1 va antes que el 9)

¿Por qué? · En PHP no existe

¿Por qué awk compara como texto si en PHP "153" > "9" funciona?

En PHP, cuando comparas dos textos que parecen números, PHP los convierte a número por su cuenta: "153" > "9" es verdadero. Cómodo, pero es adivinar. Por eso existen === y los (int) que pones por todas partes: para que PHP no adivine mal.

awk no adivina. Sigue una regla fija que depende de dónde viene cada dato:

  1. Lo que tú escribes en el programa es lo que parece: 9 es un número y "9" es un texto. Siempre.
  2. Lo que viene del fichero (un campo como $10) es un número si tiene pinta de número, y un texto si no. $10 vale 153: número. $1 vale 203.0.113.7: texto.
  3. Si los dos lados son números, compara como números. Si uno de los dos es un texto, compara como textos.

¿Qué problema resuelve? Que no hace falta convertir nada: en el PHP de antes pusiste (int) $campos[8], y en awk $9 >= 400 ya compara números. ¿Qué fallo nuevo trae? Que unas comillas de más cambian el resultado sin ningún aviso: el programa funciona, imprime líneas y parece correcto.

Lo peor de este fallo es que a veces acierta de casualidad. Mira los errores, con el 400 entre comillas:

awkprograma.awk
# En PHP: if ($estado >= "400") { ... }
$9 >= "400" { print $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Sale lo mismo que con $9 >= 400. Funciona porque todos los estados tienen tres cifras, y con textos igual de largos el orden del diccionario coincide con el de los números. Con los bytes, que van de 1 a 7 cifras, deja de coincidir. Un programa así pasa todas tus pruebas y falla el día que cambian los datos.

4 · Peticiones grandes

Ya tienes todas las piezas para hacerle al log preguntas de verdad. Por ejemplo: ¿qué respuestas correctas pesan más de 10 000 bytes? Son las que más ancho de banda gastan. Dos condiciones con &&, y los dos números sin comillas:

awkprograma.awk
# En PHP: if ($estado == 200 && $bytes > 10000) { echo $bytes, " ", $url, PHP_EOL; }
$9 == 200 && $10 > 10000 { print $10, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

El PDF de más de un megabyte (1 048 576 bytes) sale el quinto. Para verlo el primero habría que ordenar, y eso llega en el módulo 05. De momento, sube el número del programa a 100000 y se queda solo.

Los textos también se pueden comparar con < y >: van por orden de diccionario, que para textos es justo lo que esperas. $7 > "/c" son las páginas que en un diccionario irían después de /c. Se usa poco; lo normal con textos es ==, != y las expresiones regulares de la lección siguiente.

La pregunta que te vas a hacer

¿Y esto aguanta el log de mi servidor, que pesa 2 GB?

Sí. awk lee una línea, le pasa tus patrones, la olvida y lee la siguiente. Nunca tiene el fichero entero en memoria, así que le da igual que pese 2 KB o 2 GB: solo tarda más. Una comparación de números es de lo más rápido que puede hacer.

En PHP el equivalente es leer con fgets() dentro de un while, no con file(), que sí carga todo el fichero de golpe. En tu servidor sería así (solo los errores de servidor):

$ awk '$9 >= 500 { print $9, $7 }' /var/log/nginx/access.log
500 /api/ventas

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

Todos los errores

El programa solo busca el estado 400, que no sale en el log. Cámbialo para que imprima la IP, el estado y la página de todas las peticiones con estado 400 o más. Para la primera que encuentra debe salir 198.51.100.4 403 /consulta. En PHP sería if ($estado >= 400).

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. ==, !=, <, >, <=, >= son los de PHP y van en el patrón: $9 >= 400 { … } es if ($estado >= 400) { … }.
  2. && es «y», || es «o», ! es «no», como en PHP. No existen and, or ni ===.
  3. Si mezclas && y ||, paréntesis: ($9 == 401 || $9 == 403) && $7 == "/consulta". Sin ellos manda el &&, como en PHP.
  4. Un campo con pinta de número se compara como número con otro número: no hace falta el (int) de PHP.
  5. Con una constante entre comillas compara como texto, letra a letra: $10 > "9" deja fuera 18230. En PHP "18230" > "9" sí es verdadero.
  6. Errores de quien pide: $9 >= 400 && $9 < 500. Errores del servidor: $9 >= 500. Peticiones grandes: $10 > 10000.

Para recordarlo: «Con comillas, diccionario; sin comillas, calculadora»

Antes de ejecutar, mira el valor con el que comparas. Si lleva comillas, awk ordena como un diccionario (letra a letra) y "9" gana a "18230". Si no las lleva, hace cuentas como una calculadora. Los números, siempre sin comillas.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.