Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 24 de 31 · Varios ficheros y salida ✦ WebMCP implementado

Dos ficheros a la vez: FNR == NR

9 min de lectura 4 retos

Hasta ahora cada programa leía un solo fichero. En esta lección le das dos: la lista de IP bloqueadas y el log. Aprendes a saber en cuál estás (FILENAME, FNR) y el truco más famoso de awk, FNR == NR, para cruzar uno con otro: el JOIN de SQL hecho en dos líneas.

¿De dónde vienen los nombres?

FILENAME = inglés file name (nombre de fichero)
El nombre del fichero que awk está leyendo en este momento, tal como lo escribiste en la línea de comando. En PHP sería tu variable $fichero del foreach.
FNR = File Number of Records (número de registros del fichero)
El número de línea dentro del fichero actual. Vuelve a 1 cada vez que awk abre un fichero nuevo.
NR = Number of Records (número de registros)
Ya lo conoces: el número de línea contando todo lo leído, de todos los ficheros. Nunca vuelve a empezar.
next = inglés next (siguiente)
También lo conoces del módulo 03: deja esta línea y pasa a la siguiente sin probar las reglas que quedan. Es el continue del foreach de PHP.
JOIN = inglés join (unir)
La palabra de SQL para juntar dos tablas por un dato común. Aquí las dos «tablas» son dos ficheros y el dato común es la IP.
En 4 ideas
1/4

Si le das dos ficheros, awk los lee uno detrás de otro como si fueran uno solo. En PHP serían dos foreach seguidos; aquí no escribes ninguno.

1 · Dos ficheros, uno detrás de otro

En tu servidor hay una lista de IP a las que no quieres dejar pasar: ips-bloqueadas.txt. Cada línea tiene una IP y el motivo. Abre su pestaña en la caja de abajo: son tres líneas.

La pregunta de hoy es: ¿alguna de esas IP sale en el log? Para responderla awk tiene que leer los dos ficheros. Se los das los dos en la línea de comando, uno detrás de otro.

awkprograma.awk
# En PHP: foreach ([$lista, $log] as $fichero) { foreach (file($fichero) as $linea) { echo $fichero, ": ", $campos[0], PHP_EOL; } }
{ print FILENAME ": " $1 }
$ awk -f programa.awk ips-bloqueadas.txt access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. ips-bloqueadas.txt access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Mira la línea de comando: awk -f programa.awk ips-bloqueadas.txt access.log. awk ha leído primero las 3 líneas de la lista y después las 20 del log. Para él es como un solo fichero de 23 líneas.

Imagina dos barajas de cartas puestas una encima de otra. Tú vas sacando cartas de arriba sin parar. FILENAME es mirar el dorso de la carta: te dice de cuál de las dos barajas viene.

2 · FNR frente a NR: dos contadores

NR ya lo usas desde el módulo 02: es el número de línea. Con dos ficheros hay una sorpresa: NR no vuelve a empezar. La primera línea del log no es la 1, es la 4, porque antes pasaron las 3 de la lista.

Para saber el número de línea dentro de su fichero está FNR. Este programa imprime los dos contadores en las dos primeras líneas de cada fichero:

awkprograma.awk
# En PHP: if ($en_fichero <= 2) { echo "$fichero NR=$total FNR=$en_fichero", PHP_EOL; }
FNR <= 2 { print FILENAME, "NR=" NR, "FNR=" FNR }
$ awk -f programa.awk ips-bloqueadas.txt access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. ips-bloqueadas.txt access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

En la lista los dos valen lo mismo. Al pasar al log, FNR vuelve a 1 y NR sigue por el 4. Es como una carrera por etapas: FNR es el kilómetro de la etapa de hoy y NR los kilómetros que llevas desde el primer día.

Línea que lee awkFILENAMENRFNR
1ª de la listaips-bloqueadas.txt11
3ª de la lista (la última)ips-bloqueadas.txt33
1ª del logaccess.log41
20ª del log (la última)access.log2320

En PHP esos dos contadores los llevarías tú a mano. Fíjate en cuál de los dos se pone a cero dentro del primer foreach:

PHP 8.5contadores.php
<?php
// el contador de todo lo leído: es NR
$total = 0;
foreach (["ips-bloqueadas.txt", "access.log"] as $fichero) {
    // el contador del fichero vuelve a empezar: es FNR
    $en_fichero = 0;
    foreach (file($fichero, FILE_IGNORE_NEW_LINES) as $linea) {
        $total++;
        $en_fichero++;
        if ($en_fichero === 1) {
            echo "{$fichero} empieza en la línea {$total} del total", PHP_EOL;
        }
    }
}
awkprograma.awk
# En PHP: if ($en_fichero === 1) { echo "{$fichero} empieza en la línea {$total} del total", PHP_EOL; }
FNR == 1 { print FILENAME " empieza en la línea " NR " del total" }
$ awk -f programa.awk ips-bloqueadas.txt access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. ips-bloqueadas.txt access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con ips-bloqueadas.txt + access.log multiplicado hasta 1.999.999 líneas: PHP 8.5: 434 ms · gawk: 570 ms · mawk: 160 ms. awk tarda 2,7 veces menos que PHP.

3 · Cargar un fichero y cruzarlo con otro

Ahora el truco. Queremos las visitas del log cuya IP está en la lista. El plan tiene dos pasos, los mismos que harías en PHP:

  1. Cargar: mientras se lee la lista, guardar cada IP en un array (módulo 05).
  2. Cruzar: mientras se lee el log, mirar si la IP de cada línea está en ese array.

El problema es que awk ejecuta las mismas reglas con todas las líneas, vengan del fichero que vengan. Necesitas una condición que diga «estoy en el primer fichero». Mira la tabla de antes: en el primer fichero FNR y NR valen lo mismo; en el segundo ya no. Esa es la condición.

PHP 8.5cruzar.php
<?php
// 1) cargar la lista pequeña en un array: ip => motivo
$bloqueada = [];
foreach (file("ips-bloqueadas.txt", FILE_IGNORE_NEW_LINES) as $linea) {
    [$ip, $motivo] = explode(" ", $linea);
    $bloqueada[$ip] = $motivo;
}
// 2) recorrer el log y buscar cada ip en el array
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as $linea) {
    $campos = preg_split('/\s+/', trim($linea));
    if (array_key_exists($campos[0], $bloqueada)) {
        echo $campos[0], " ", $campos[6], " ", $bloqueada[$campos[0]], PHP_EOL;
    }
}
awkprograma.awk
# En PHP: $bloqueada[$ip] = $motivo; continue;
FNR == NR { bloqueada[$1] = $2; next }
# En PHP: if (array_key_exists($campos[0], $bloqueada)) { echo ...; }
$1 in bloqueada { print $1, $7, bloqueada[$1] }
$ awk -f programa.awk ips-bloqueadas.txt access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. ips-bloqueadas.txt access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con ips-bloqueadas.txt + access.log multiplicado hasta 1.999.999 líneas: PHP 8.5: 2,13 s · gawk: 969 ms · mawk: 770 ms. awk tarda 2,8 veces menos que PHP.

Léelo despacio, porque este patrón lo vas a ver en todas partes:

  1. FNR == NR solo se cumple con las líneas de la lista. Ahí $1 es la IP y $2 el motivo: se guardan en el array bloqueada.
  2. next dice «con esta línea he terminado, dame la siguiente». Sin él, la línea de la lista seguiría bajando y la segunda regla también la probaría.
  3. Cuando llega el log, la primera regla ya no se cumple nunca. Solo trabaja la segunda: $1 in bloqueada pregunta si la IP de la visita es una clave del array.

¿Por qué? · En PHP no existe

¿Por qué FNR == NR y no algo más claro, como «si es el primer fichero»?

Porque awk no tiene una variable que diga «voy por el fichero número 1». Solo tiene los dos contadores, y la gente descubrió que comparándolos sale gratis: solo coinciden en el primer fichero. En cuanto empieza el segundo, NR va por delante para siempre.

En PHP no hace falta el truco porque tú escribes dos foreach distintos, uno por fichero, y cada uno tiene su código. En awk el bucle es uno solo y no lo ves, así que la separación se hace con una condición.

Si te resulta más claro, puedes escribir el nombre: FILENAME == "ips-bloqueadas.txt" { …; next }. Funciona igual. La pega es que el programa ya solo sirve para un fichero que se llame así.

Esto es justo lo que hace una base de datos con un JOIN: junta dos tablas por un dato que comparten. Aquí la tabla pequeña (la lista) va a la memoria y la grande (el log) pasa línea a línea.

QuieresSQLPHPawk
Las visitas de IP bloqueadasJOIN bloqueadas b ON b.ip = v.iparray_key_exists($ip, $bloqueada)$1 in bloqueada
Las visitas de IP no bloqueadasLEFT JOIN … WHERE b.ip IS NULL!array_key_exists($ip, $bloqueada)!($1 in bloqueada)
El dato de la otra tablab.motivo$bloqueada[$ip]bloqueada[$1]

4 · El orden importa, y el fallo de NR por FNR

El patrón tiene dos trampas. La primera: el orden de los ficheros en la línea de comando. FNR == NR carga «el primero que llegue», sea el que sea. Este es el mismo programa de antes, pero con los ficheros al revés (mira la línea de comando):

awkprograma.awk
# En PHP: los dos foreach, pero con los ficheros cambiados de sitio
FNR == NR { bloqueada[$1] = $2; next }
$1 in bloqueada { print $1, $7, bloqueada[$1] }
$ awk -f programa.awk access.log ips-bloqueadas.txt
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log ips-bloqueadas.txt: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Sale una sola línea y sin sentido. awk ha guardado en el array las IP del log (con un guion como «motivo», que es lo que hay en su $2) y después ha buscado en él las de la lista. No hay ningún error en pantalla: awk hizo lo que le pediste.

La segunda trampa es la del examen de este módulo: usar NR donde querías FNR. Con un solo fichero valen lo mismo, así que llevas seis módulos escribiendo NR sin problema. Con dos, ya no. Aquí se quiere decir en qué línea del log está cada visita bloqueada:

awkprograma.awk
FNR == NR { bloqueada[$1] = $2; next }
# En PHP: echo "NR dice $total, FNR dice $en_fichero: $url", PHP_EOL;
$1 in bloqueada { print "NR dice " NR ", FNR dice " FNR ": " $7 }
$ awk -f programa.awk ips-bloqueadas.txt access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. ips-bloqueadas.txt access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Abre la pestaña access.log y cuenta: /consulta está en la línea 3. FNR acierta. NR dice 6 porque suma las 3 líneas de la lista. Si luego vas al log a buscar «la línea 6», miras otra visita.

¿Por qué? · En PHP no existe

¿Por qué awk no avisa si me equivoco de contador?

Porque para awk no hay ninguna equivocación: NR y FNR son dos números válidos y los dos se pueden imprimir. El programa se ejecuta, la salida tiene buena pinta y los números son creíbles. Solo que están desplazados.

En PHP este fallo es más difícil de cometer: tus contadores se llaman $total y $en_fichero y al leerlos se ve cuál es cuál. En awk se llaman casi igual y se diferencian en una letra.

Truco para acordarte: la F de FNR es de Fichero. Si la frase que tienes en la cabeza es «la línea tal del fichero», quieres FNR.

5 · BEGINFILE y ENDFILE

Ya conoces BEGIN (antes de leer nada) y END (al acabar todo). Solo gawk tiene además dos patrones que se ejecutan al abrir y al cerrar cada fichero:

awkprograma.awk
# En PHP: lo que pondrías justo antes del foreach de cada fichero
BEGINFILE { print "--- empieza " FILENAME }
# En PHP: lo que pondrías justo después de ese foreach
ENDFILE { print "--- acaba " FILENAME " con " FNR " líneas" }
$ awk -f programa.awk ips-bloqueadas.txt access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. ips-bloqueadas.txt access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Son cómodos para sacar un total por fichero. Pero en mawk (el awk de Debian y Ubuntu) y en el awk de macOS no existen, y lo peor es que no dan error: los toman por dos variables vacías y no imprimen nada.

La forma que funciona en cualquier awk ya la tienes: FNR == 1 hace de «empieza un fichero». Para el «acaba un fichero» se guarda el dato por nombre, lineas[FILENAME] = FNR, y se imprime en END.

La pregunta que te vas a hacer

¿Y si el log pesa 2 GB? ¿No se llena la memoria?

No, y por eso importa el orden. Lo único que se guarda en memoria es el array del primer fichero: la lista de IP. Aunque tenga 50 000 líneas, son unos pocos megas. El log pasa línea a línea y cada línea se olvida al leer la siguiente.

En PHP el reflejo es file("access.log"), que carga el fichero entero en un array: con 2 GB revientas el memory_limit. Tendrías que cambiar a fgets() en un bucle. awk ya trabaja así desde el principio.

$ awk 'FNR == NR { bloqueada[$1] = $2; next } $1 in bloqueada { print $1, $7 }' ips-bloqueadas.txt /var/log/nginx/access.log

Buscar en el array también es rápido: es una tabla hash, como el array de PHP. Da igual que tenga 3 claves o 50 000.

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

Una cabecera por fichero

Imprime una línea por cada fichero que diga cómo empieza, con este formato: ips-bloqueadas.txt empieza por 198.51.100.4 (el nombre del fichero, el texto empieza por y el primer campo de su primera línea). El programa de partida solo lo hace con el primero. En PHP sería un if ($en_fichero === 1) dentro del foreach de cada fichero.

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk ips-bloqueadas.txt access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. ips-bloqueadas.txt access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. Varios ficheros en la línea de comando se leen seguidos, con las mismas reglas. En PHP serían varios foreach.
  2. FILENAME es el fichero actual. NR cuenta todo; FNR vuelve a 1 en cada fichero. Son $fichero, $total y $en_fichero.
  3. FNR == NR { tabla[$1] = $2; next } carga el primer fichero en un array. Es el primer foreach de PHP, el que rellena $bloqueada.
  4. $1 in tabla cruza el segundo fichero con el primero: el array_key_exists() de PHP, el JOIN de SQL. Para negar, !($1 in tabla).
  5. El fichero que se consulta va primero; el que se recorre, el último. Y sin next, las líneas del primero también llegan a las demás reglas.
  6. BEGINFILE y ENDFILE son Solo gawk. En cualquier awk: FNR == 1.

Para recordarlo: «Carga, Salta, Cruza»

CCarga
FNR == NR { t[$1] = $2 …
SSalta
… next }
CCruza
$1 in t { … }

Los tres pasos del patrón, en orden. Y para no confundir los contadores: la F de FNR es de Fichero; NR no sabe de ficheros.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.