Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 2 de 31 · De PHP a awk ✦ WebMCP implementado

Patrón { acción }: el if y el foreach en una línea

8 min de lectura 4 retos

Hasta ahora tu programa hacía lo mismo con todas las líneas del log. En esta lección aprendes a elegir: «solo las visitas que dieron un 404», «solo las de esta IP». En PHP eso es un if dentro del foreach. En awk el if se escribe delante de las llaves y se llama patrón.

¿De dónde vienen los nombres?

patrón = inglés pattern (modelo, plantilla)
La condición que va delante de las llaves. awk la comprueba con cada línea: si se cumple, ejecuta la acción. Es la condición de tu if (...) de PHP.
acción = inglés action
Lo que va entre llaves: qué hacer con la línea que ha pasado el patrón. Es el cuerpo de tu if, lo que en PHP pones entre { y }.
regla = inglés rule
Un patrón con su acción. Un programa awk es una lista de reglas, una detrás de otra.
estado = inglés status code (código de estado)
El número con el que el servidor resume cómo fue la visita: 200 es «todo bien», 404 «esa página no existe», 500 «he fallado yo». En PHP es lo que pones con http_response_code().
En 4 ideas
1/4

En PHP metes un if dentro del foreach. En awk el if va delante de las llaves: $9 == 404 { print $7 }. Eso es patrón { acción }.

1 · El if va delante de las llaves

En el log, el campo 9 es el estado: el número con el que tu servidor resume cómo fue cada visita. Estos son los que salen en nuestro access.log:

EstadoQué significaEjemplo en el log
200Todo bien: aquí tienes la páginaGET / de un visitante normal
302 y 304«Ve a otra dirección» y «no ha cambiado, usa tu copia»El formulario de contacto enviado, el logo
401No has demostrado quién eresUna contraseña mal puesta en /login
403Prohibido: sé quién eres y no te dejoUn POST bloqueado
404Esa página no existeAlguien buscando /wp-login.php
500Ha fallado el servidor (tu código)Una excepción sin capturar en /api/ventas

Vamos a sacar solo las visitas que dieron un 404: quién las hizo y qué página pedía. En PHP añades un if dentro del bucle. En awk escribes la condición delante de las llaves:

PHP 8.5no-existen.php
<?php
$lineas = file("access.log", FILE_IGNORE_NEW_LINES);
foreach ($lineas as $linea) {
    $campos = preg_split('/\s+/', trim($linea));
    // el if: solo las visitas con estado 404
    if ($campos[8] == 404) {
        echo $campos[0], " ", $campos[6], PHP_EOL;
    }
}
awkprograma.awk
# En PHP: if ($campos[8] == 404) { echo $campos[0], " ", $campos[6], PHP_EOL; }
$9 == 404 { print $1, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,40 s · gawk: 620 ms · mawk: 569 ms. awk tarda 2,5 veces menos que PHP.

El programa tiene dos partes, y cada una tiene nombre:

  1. $9 == 404 es el patrón: la pregunta que awk le hace a cada línea. «¿Tu campo 9 vale 404?»
  2. { print $1, $7 } es la acción: lo que se hace solo con las líneas que responden que sí.

Piensa en el portero de una discoteca. El patrón es el portero: mira a cada uno de la cola y decide si pasa. La acción es lo que ocurre dentro. Quien no pasa se va a su casa y no ocurre nada con él: awk salta a la línea siguiente.

¿Por qué? · En PHP no existe

¿Por qué el if va fuera y no dentro, como en PHP?

Porque en awk filtrar líneas es lo que se hace casi siempre. Un log tiene miles de líneas y a ti te interesan veinte. Si lo más habitual del lenguaje es «de todas estas, solo las que…», tiene sentido que sea lo más corto de escribir.

¿Qué fallo de PHP evita? En PHP, el if queda enterrado dentro del foreach, con sus llaves dentro de otras llaves. Si te dejas una sin cerrar, el error aparece veinte líneas más abajo. En awk la condición y lo que haces con ella caben en una línea y se ven de un vistazo.

awk también tiene un if normal para usar dentro de la acción. Lo verás en el módulo 04. Para elegir líneas, el patrón es más corto.

2 · Comparar un campo: == y !=

Para preguntar por un campo tienes los mismos dos símbolos que en PHP: == pregunta «¿es igual a…?» y != pregunta «¿es distinto de…?». Este programa saca todo lo que no fue bien, es decir, lo que no acabó en 200:

awkprograma.awk
# En PHP: if ($campos[8] != 200) { echo $campos[8], " ", $campos[6], PHP_EOL; }
$9 != 200 { print $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Un campo también se puede comparar con un texto. El texto va siempre entre comillas dobles. ¿Quién ha intentado entrar en /login y qué le respondió el servidor?

awkprograma.awk
# En PHP: if ($campos[6] == "/login") { echo $campos[0], " ", $campos[8], PHP_EOL; }
$7 == "/login" { print $1, $9 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Tres veces seguidas la misma IP y las tres con un 401: alguien está probando contraseñas.

QuieresPHPawk
Igual a un númeroif ($estado == 404)$9 == 404
Distinto de un númeroif ($estado != 200)$9 != 200
Igual a un textoif ($url == "/login")$7 == "/login"
Distinto de un textoif ($ip != "66.249.66.1")$1 != "66.249.66.1"

En este módulo solo comparamos un campo con un valor. Mayor y menor (>, <), juntar dos condiciones (&&, ||) y las expresiones regulares llegan en el módulo 03.

¿Por qué? · En PHP no existe

¿Por qué $9 = 404, con un solo igual, no da error y lo imprime todo?

Es el fallo más traicionero de esta lección, y lo conoces de PHP: un = pone un valor y dos == preguntan por él. Ejecuta este programa, que quería sacar solo los 404:

awkprograma.awk
# En PHP: if ($campos[8] = 404) { ... }   (un solo igual: asigna, no compara)
$9 = 404 { print $9, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Han salido las 20 visitas, y todas dicen 404. Han pasado dos cosas, una detrás de otra:

  1. $9 = 404 no pregunta nada: cambia el campo 9 de la línea y le pone 404. Por eso todas las líneas muestran ese estado, también las que eran un 200.
  2. Después awk mira qué ha quedado como resultado del patrón, y es el valor que acabas de poner: 404. Para awk, cualquier número que no sea 0 significa «sí, pasa». Así que todas las líneas pasan.

En PHP ocurre lo mismo con if ($estado = 404): siempre entra, y PHP tampoco avisa. La diferencia es que ahí te lo marca el editor. En la terminal de un servidor no te lo marca nadie, y el programa parece que funciona porque imprime cosas.

Un truco para cazarlo: escribe el número delante, 404 == $9. Funciona igual, y si un día se te escapa un solo igual (404 = $9), awk sí protesta con un syntax error, porque a un 404 no se le puede poner otro valor.

3 · Sin acción o sin patrón

Las dos partes de una regla son opcionales. Puedes quitar una de las dos (no las dos a la vez). Si quitas la acción y dejas solo el patrón, awk imprime entera cada línea que lo cumpla:

awkprograma.awk
# En PHP: if ($campos[8] == 401) { echo $linea, PHP_EOL; }
$9 == 401
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

No hay llaves ni print, y aun así imprime. Cuando una regla no tiene acción, awk usa la acción por defecto, que es { print }. Las dos líneas de abajo son el mismo programa.

awkprograma.awk
$9 == 401
$9 == 401 { print }

Y si quitas el patrón y dejas solo la acción, se ejecuta con todas las líneas. Es lo que hacías en la lección anterior sin saberlo: { print $1 } es una regla sin patrón.

EscribesQué hace awkEn PHP sería
$9 == 404 { print $7 }Con las líneas que cumplen el patrón, ejecuta la acciónif ($estado == 404) { echo $url; }
$9 == 404Imprime enteras las líneas que cumplen el patrónif ($estado == 404) { echo $linea; }
{ print $7 }Ejecuta la acción con todas las líneasecho $url; sin ningún if

¿Por qué? · En PHP no existe

¿Por qué la acción por defecto es imprimir la línea?

Porque es lo que más se pide: «enséñame las líneas que cumplen esto». Los autores de awk lo hicieron para que la tarea más frecuente fuese también la más corta. En la terminal, awk '$9 == 500' access.log son 26 teclas y ya estás viendo los errores de tu web.

En PHP no hay nada parecido: un if sin cuerpo no hace nada. Por eso sorprende la primera vez. Recuérdalo así: un patrón solo es un colador, y lo que pasa por el colador cae en la pantalla.

4 · Varias reglas en un programa

Un programa awk puede tener todas las reglas que quieras, una por línea. awk coge la primera línea del log y la prueba con todas las reglas, de arriba abajo. Después coge la segunda línea del log y vuelve a empezar por la primera regla.

PHP 8.5reglas.php
<?php
$lineas = file("access.log", FILE_IGNORE_NEW_LINES);
foreach ($lineas as $linea) {
    $campos = preg_split('/\s+/', trim($linea));
    // primera regla
    if ($campos[8] == 401) {
        echo "Login fallido: ", $campos[0], PHP_EOL;
    }
    // segunda regla: otro if suelto, no un elseif
    if ($campos[0] == "198.51.100.4") {
        echo "Sospechosa: ", $campos[6], PHP_EOL;
    }
}
awkprograma.awk
# En PHP: if ($campos[8] == 401) { echo "Login fallido: ", $campos[0], PHP_EOL; }
$9 == 401 { print "Login fallido:", $1 }
# En PHP: otro if suelto, no un elseif
$1 == "198.51.100.4" { print "Sospechosa:", $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,74 s · gawk: 820 ms · mawk: 669 ms. awk tarda 2,6 veces menos que PHP.

Mira la salida: las tres visitas a /login salen dos veces, una como «Login fallido» y otra como «Sospechosa». Esas líneas cumplen los dos patrones, así que se ejecutan las dos acciones. Las líneas que no cumplen ninguno no imprimen nada.

¿Por qué? · En PHP no existe

¿Por qué una línea puede entrar en dos reglas? ¿No es un if / elseif?

No. Cada regla es un if independiente. Que una línea entre en la primera no le impide entrar en la segunda. Es como pasar un examen por varios correctores: cada uno mira su pregunta y no sabe lo que han dicho los demás.

¿Qué problema resuelve? Puedes añadir una regla nueva al final sin tocar las que ya funcionan. En PHP, meter una condición más en una cadena de elseif obliga a pensar en qué orden va. ¿Qué fallo nuevo trae? Si esperabas un elseif, verás líneas repetidas. Para decirle a awk «con esta línea ya he terminado» existe next, que se explica en el módulo 03.

5 · ¿Y esto no lo hace ya grep?

La pregunta que te vas a hacer

Para buscar en el log yo uso grep. ¿Qué gano con un patrón de awk?

grep busca un texto en cualquier parte de la línea. awk pregunta por un campo concreto. Parece lo mismo hasta que el texto aparece donde no toca. Busca en la terminal las respuestas de 153 bytes (el tamaño de la página de error de nginx):

$ grep -c 153 access.log
6

grep -c cuenta las líneas que encuentra, y dice 6. Ahora pregunta con awk por el campo de los bytes, que es el 10:

awkprograma.awk
# En PHP: if ($campos[9] == 153) { echo $campos[9], " ", $campos[6], PHP_EOL; }
$10 == 153 { print $10, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Son 4. Las otras dos que contó grep son respuestas de 15300 bytes, que llevan un «153» dentro. Con un estado pasa igual: grep 404 también encuentra una página que se llame /error-404 o una respuesta de 4040 bytes. El patrón de awk no se confunde, porque mira solo el trozo que le dices.

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

Los errores del servidor, enteros

El programa imprime todas las líneas del log. Cámbialo para que imprima enteras solo las líneas con estado 500 (el campo 9). Hazlo con un patrón sin acción: no hace falta ningún print. En PHP sería if ($campos[8] == 500) { echo $linea, PHP_EOL; }.

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. patrón { acción }: el patrón es la condición de tu if de PHP, pero se escribe delante de las llaves y sin la palabra if.
  2. $9 == 404 pregunta y $9 != 200 pregunta lo contrario, como en PHP. Los textos, entre comillas dobles: $7 == "/login".
  3. Un solo = no pregunta: pone. $9 = 404 { ... } cambia el campo y deja pasar todas las líneas, igual que if ($estado = 404) en PHP. awk no avisa.
  4. Patrón sin acción = imprime la línea entera (if (...) echo $linea;). Acción sin patrón = todas las líneas.
  5. Varias reglas son varios if seguidos, no un elseif: una línea puede entrar en más de una.

Para recordarlo: «Dos iguales preguntan; un igual pone»

PPatrón
¿quién pasa? $9 == 404
AAcción
¿qué hago? { print $7 }

Antes de ejecutar un patrón, cuenta los iguales. Y para la forma de la regla, piensa en el portero: fuera de las llaves se decide quién pasa, dentro de las llaves lo que se hace con él.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.