Lección 24 de 31 · Varios ficheros y salida✦ WebMCP implementado
Dos ficheros a la vez: FNR == NR
9 min de lectura4 retos
Hasta ahora cada programa leía un solo fichero. En esta lección le das dos: la lista de IP bloqueadas y el log. Aprendes a saber en cuál estás (FILENAME, FNR) y el truco más famoso de awk, FNR == NR, para cruzar uno con otro: el JOIN de SQL hecho en dos líneas.
¿De dónde vienen los nombres?
FILENAME = inglés file name (nombre de fichero)
El nombre del fichero que awk está leyendo en este momento, tal como lo escribiste en la línea de comando. En PHP sería tu variable $fichero del foreach.
FNR = File Number of Records (número de registros del fichero)
El número de línea dentro del fichero actual. Vuelve a 1 cada vez que awk abre un fichero nuevo.
NR = Number of Records (número de registros)
Ya lo conoces: el número de línea contando todo lo leído, de todos los ficheros. Nunca vuelve a empezar.
next = inglés next (siguiente)
También lo conoces del módulo 03: deja esta línea y pasa a la siguiente sin probar las reglas que quedan. Es el continue del foreach de PHP.
JOIN = inglés join (unir)
La palabra de SQL para juntar dos tablas por un dato común. Aquí las dos «tablas» son dos ficheros y el dato común es la IP.
En 4 ideas
1/4
Si le das dos ficheros, awk los lee uno detrás de otro como si fueran uno solo. En PHP serían dos foreach seguidos; aquí no escribes ninguno.
FILENAME dice en qué fichero estás. NR cuenta todas las líneas leídas y FNR solo las del fichero actual: son tu $total y tu $en_fichero.
FNR == NR solo es verdad mientras lees el primer fichero. Con eso lo guardas en un array y con next saltas al siguiente registro.
Con el segundo fichero preguntas $1 in bloqueada: es el isset($bloqueada[$ip]) de PHP y el JOIN de SQL.
1 · Dos ficheros, uno detrás de otro
En tu servidor hay una lista de IP a las que no quieres dejar pasar: ips-bloqueadas.txt. Cada línea tiene una IP y el motivo. Abre su pestaña en la caja de abajo: son tres líneas.
La pregunta de hoy es: ¿alguna de esas IP sale en el log? Para responderla awk tiene que leer los dos ficheros. Se los das los dos en la línea de comando, uno detrás de otro.
awkprograma.awk
# En PHP: foreach ([$lista, $log] as $fichero) { foreach (file($fichero) as $linea) { echo $fichero, ": ", $campos[0], PHP_EOL; } }
{ printFILENAME": "$1 }
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Mira la línea de comando: awk -f programa.awk ips-bloqueadas.txt access.log. awk ha leído primero las 3 líneas de la lista y después las 20 del log. Para él es como un solo fichero de 23 líneas.
Imagina dos barajas de cartas puestas una encima de otra. Tú vas sacando cartas de arriba sin parar. FILENAME es mirar el dorso de la carta: te dice de cuál de las dos barajas viene.
2 · FNR frente a NR: dos contadores
NR ya lo usas desde el módulo 02: es el número de línea. Con dos ficheros hay una sorpresa: NR no vuelve a empezar. La primera línea del log no es la 1, es la 4, porque antes pasaron las 3 de la lista.
Para saber el número de línea dentro de su fichero está FNR. Este programa imprime los dos contadores en las dos primeras líneas de cada fichero:
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
En la lista los dos valen lo mismo. Al pasar al log, FNR vuelve a 1 y NR sigue por el 4. Es como una carrera por etapas: FNR es el kilómetro de la etapa de hoy y NR los kilómetros que llevas desde el primer día.
Línea que lee awk
FILENAME
NR
FNR
1ª de la lista
ips-bloqueadas.txt
1
1
3ª de la lista (la última)
ips-bloqueadas.txt
3
3
1ª del log
access.log
4
1
20ª del log (la última)
access.log
23
20
En PHP esos dos contadores los llevarías tú a mano. Fíjate en cuál de los dos se pone a cero dentro del primer foreach:
PHP 8.5contadores.php
<?php// el contador de todo lo leído: es NR$total = 0;
foreach (["ips-bloqueadas.txt", "access.log"] as$fichero) {
// el contador del fichero vuelve a empezar: es FNR$en_fichero = 0;
foreach (file($fichero, FILE_IGNORE_NEW_LINES) as$linea) {
$total++;
$en_fichero++;
if ($en_fichero === 1) {
echo"{$fichero} empieza en la línea {$total} del total", PHP_EOL;
}
}
}
awkprograma.awk
# En PHP: if ($en_fichero === 1) { echo "{$fichero} empieza en la línea {$total} del total", PHP_EOL; }FNR == 1 { printFILENAME" empieza en la línea "NR" del total" }
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
⏱ Medido en el servidor del curso con ips-bloqueadas.txt + access.log multiplicado hasta 1.999.999 líneas: PHP 8.5: 434 ms · gawk: 570 ms · mawk: 160 ms. awk tarda 2,7 veces menos que PHP.
3 · Cargar un fichero y cruzarlo con otro
Ahora el truco. Queremos las visitas del log cuya IP está en la lista. El plan tiene dos pasos, los mismos que harías en PHP:
Cargar: mientras se lee la lista, guardar cada IP en un array (módulo 05).
Cruzar: mientras se lee el log, mirar si la IP de cada línea está en ese array.
El problema es que awk ejecuta las mismas reglas con todas las líneas, vengan del fichero que vengan. Necesitas una condición que diga «estoy en el primer fichero». Mira la tabla de antes: en el primer fichero FNR y NR valen lo mismo; en el segundo ya no. Esa es la condición.
PHP 8.5cruzar.php
<?php// 1) cargar la lista pequeña en un array: ip => motivo$bloqueada = [];
foreach (file("ips-bloqueadas.txt", FILE_IGNORE_NEW_LINES) as$linea) {
[$ip, $motivo] = explode(" ", $linea);
$bloqueada[$ip] = $motivo;
}
// 2) recorrer el log y buscar cada ip en el arrayforeach (file("access.log", FILE_IGNORE_NEW_LINES) as$linea) {
$campos = preg_split('/\s+/', trim($linea));
if (array_key_exists($campos[0], $bloqueada)) {
echo$campos[0], " ", $campos[6], " ", $bloqueada[$campos[0]], PHP_EOL;
}
}
awkprograma.awk
# En PHP: $bloqueada[$ip] = $motivo; continue;FNR == NR { bloqueada[$1] = $2; next }
# En PHP: if (array_key_exists($campos[0], $bloqueada)) { echo ...; }$1in bloqueada { print$1, $7, bloqueada[$1] }
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
⏱ Medido en el servidor del curso con ips-bloqueadas.txt + access.log multiplicado hasta 1.999.999 líneas: PHP 8.5: 2,13 s · gawk: 969 ms · mawk: 770 ms. awk tarda 2,8 veces menos que PHP.
Léelo despacio, porque este patrón lo vas a ver en todas partes:
FNR == NR solo se cumple con las líneas de la lista. Ahí $1 es la IP y $2 el motivo: se guardan en el array bloqueada.
next dice «con esta línea he terminado, dame la siguiente». Sin él, la línea de la lista seguiría bajando y la segunda regla también la probaría.
Cuando llega el log, la primera regla ya no se cumple nunca. Solo trabaja la segunda: $1 in bloqueada pregunta si la IP de la visita es una clave del array.
¿Por qué? · En PHP no existe
¿Por qué FNR == NR y no algo más claro, como «si es el primer fichero»?
Porque awk no tiene una variable que diga «voy por el fichero número 1». Solo tiene los dos contadores, y la gente descubrió que comparándolos sale gratis: solo coinciden en el primer fichero. En cuanto empieza el segundo, NR va por delante para siempre.
En PHP no hace falta el truco porque tú escribes dos foreach distintos, uno por fichero, y cada uno tiene su código. En awk el bucle es uno solo y no lo ves, así que la separación se hace con una condición.
Si te resulta más claro, puedes escribir el nombre: FILENAME == "ips-bloqueadas.txt" { …; next }. Funciona igual. La pega es que el programa ya solo sirve para un fichero que se llame así.
Esto es justo lo que hace una base de datos con un JOIN: junta dos tablas por un dato que comparten. Aquí la tabla pequeña (la lista) va a la memoria y la grande (el log) pasa línea a línea.
Quieres
SQL
PHP
awk
Las visitas de IP bloqueadas
JOIN bloqueadas b ON b.ip = v.ip
array_key_exists($ip, $bloqueada)
$1 in bloqueada
Las visitas de IP no bloqueadas
LEFT JOIN … WHERE b.ip IS NULL
!array_key_exists($ip, $bloqueada)
!($1 in bloqueada)
El dato de la otra tabla
b.motivo
$bloqueada[$ip]
bloqueada[$1]
4 · El orden importa, y el fallo de NR por FNR
El patrón tiene dos trampas. La primera: el orden de los ficheros en la línea de comando. FNR == NR carga «el primero que llegue», sea el que sea. Este es el mismo programa de antes, pero con los ficheros al revés (mira la línea de comando):
awkprograma.awk
# En PHP: los dos foreach, pero con los ficheros cambiados de sitioFNR == NR { bloqueada[$1] = $2; next }
$1in bloqueada { print$1, $7, bloqueada[$1] }
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.logips-bloqueadas.txt: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Sale una sola línea y sin sentido. awk ha guardado en el array las IP del log (con un guion como «motivo», que es lo que hay en su $2) y después ha buscado en él las de la lista. No hay ningún error en pantalla: awk hizo lo que le pediste.
La segunda trampa es la del examen de este módulo: usar NR donde querías FNR. Con un solo fichero valen lo mismo, así que llevas seis módulos escribiendo NR sin problema. Con dos, ya no. Aquí se quiere decir en qué línea del log está cada visita bloqueada:
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Abre la pestaña access.log y cuenta: /consulta está en la línea 3. FNR acierta. NR dice 6 porque suma las 3 líneas de la lista. Si luego vas al log a buscar «la línea 6», miras otra visita.
¿Por qué? · En PHP no existe
¿Por qué awk no avisa si me equivoco de contador?
Porque para awk no hay ninguna equivocación: NR y FNR son dos números válidos y los dos se pueden imprimir. El programa se ejecuta, la salida tiene buena pinta y los números son creíbles. Solo que están desplazados.
En PHP este fallo es más difícil de cometer: tus contadores se llaman $total y $en_fichero y al leerlos se ve cuál es cuál. En awk se llaman casi igual y se diferencian en una letra.
Truco para acordarte: la F de FNR es de Fichero. Si la frase que tienes en la cabeza es «la línea tal del fichero», quieres FNR.
5 · BEGINFILE y ENDFILE
Ya conoces BEGIN (antes de leer nada) y END (al acabar todo). Solo gawk tiene además dos patrones que se ejecutan al abrir y al cerrar cada fichero:
awkprograma.awk
# En PHP: lo que pondrías justo antes del foreach de cada ficheroBEGINFILE { print"--- empieza "FILENAME }
# En PHP: lo que pondrías justo después de ese foreachENDFILE { print"--- acaba "FILENAME" con "FNR" líneas" }
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Son cómodos para sacar un total por fichero. Pero en mawk (el awk de Debian y Ubuntu) y en el awk de macOS no existen, y lo peor es que no dan error: los toman por dos variables vacías y no imprimen nada.
La forma que funciona en cualquier awk ya la tienes: FNR == 1 hace de «empieza un fichero». Para el «acaba un fichero» se guarda el dato por nombre, lineas[FILENAME] = FNR, y se imprime en END.
La pregunta que te vas a hacer
¿Y si el log pesa 2 GB? ¿No se llena la memoria?
No, y por eso importa el orden. Lo único que se guarda en memoria es el array del primer fichero: la lista de IP. Aunque tenga 50 000 líneas, son unos pocos megas. El log pasa línea a línea y cada línea se olvida al leer la siguiente.
En PHP el reflejo es file("access.log"), que carga el fichero entero en un array: con 2 GB revientas el memory_limit. Tendrías que cambiar a fgets() en un bucle. awk ya trabaja así desde el principio.
$ awk 'FNR == NR { bloqueada[$1] = $2; next } $1 in bloqueada { print $1, $7 }' ips-bloqueadas.txt /var/log/nginx/access.log
Buscar en el array también es rápido: es una tabla hash, como el array de PHP. Da igual que tenga 3 claves o 50 000.
Manual de GNU awk: busca «Built-in Variables» para FNR, NR y FILENAME, y «BEGINFILE» para lo que es solo de gawk.
Imprime una línea por cada fichero que diga cómo empieza, con este formato: ips-bloqueadas.txt empieza por 198.51.100.4 (el nombre del fichero, el texto empieza por y el primer campo de su primera línea). El programa de partida solo lo hace con el primero. En PHP sería un if ($en_fichero === 1) dentro del foreach de cada fichero.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista.NR solo vale 1 una vez en todo el programa. ¿Qué contador vuelve a valer 1 cada vez que empieza un fichero?
Reto 2 de 4 · ✓ Resuelto
Las visitas de las IP bloqueadas
Imprime la IP y la página (campos 1 y 7 del log) de las visitas cuya IP está en ips-bloqueadas.txt. Para la primera debe salir 198.51.100.4 /consulta. El programa de partida casi lo hace, pero también imprime líneas que vienen de la lista. En PHP: rellenar $bloqueada en un foreach y preguntar isset($bloqueada[$ip]) en el otro.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Ejecuta y mira las tres primeras líneas de la salida: son las de la lista, que acaban de entrar en el array y la segunda regla las encuentra. Falta decirle a la primera regla que, después de guardar, pase a la línea siguiente.
Reto 3 de 4 · ✓ Resuelto
Con el motivo y el resumen
El programa imprime cada visita de una IP bloqueada con su motivo entre paréntesis: 198.51.100.4 /consulta (escaner). Añade al final una línea de resumen con este formato exacto: 7 de 20 visitas son de IP bloqueadas. El primer número son las visitas bloqueadas y el segundo, las líneas que tiene el log (no las de los dos ficheros juntos). En PHP: un contador $bloqueadas++ y un count($lineas_del_log).
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Cuenta con bloqueadas++ en la segunda regla e imprime en END. Ojo con el segundo número: en END, NR vale las líneas de los dos ficheros. El contador que se quedó con las del último fichero es el otro.
Reto 4 de 4 · ✓ Resuelto
Bloqueadas que hoy no han venido
Ahora al revés. Mira la línea de comando: el log va primero y la lista después. Imprime la IP y el motivo de las IP de ips-bloqueadas.txt que no aparecen en el log, por ejemplo 192.0.2.200 spam. Son las que quizá ya puedes quitar de la lista. En SQL es un LEFT JOIN … WHERE v.ip IS NULL; en PHP, !isset($vista[$ip]).
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.logips-bloqueadas.txt: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Es el mismo patrón de siempre, pero el fichero que se carga es el log: FNR == NR { vista[$1] = 1; next }. En la segunda regla niega la pregunta, con paréntesis: !($1 in vista).
Resumen
Lo que te llevas de esta lección
Varios ficheros en la línea de comando se leen seguidos, con las mismas reglas. En PHP serían varios foreach.
FILENAME es el fichero actual. NR cuenta todo; FNR vuelve a 1 en cada fichero. Son $fichero, $total y $en_fichero.
FNR == NR { tabla[$1] = $2; next }carga el primer fichero en un array. Es el primer foreach de PHP, el que rellena $bloqueada.
$1 in tablacruza el segundo fichero con el primero: el array_key_exists() de PHP, el JOIN de SQL. Para negar, !($1 in tabla).
El fichero que se consulta va primero; el que se recorre, el último. Y sin next, las líneas del primero también llegan a las demás reglas.
BEGINFILE y ENDFILE son Solo gawk. En cualquier awk: FNR == 1.
Para recordarlo: «Carga, Salta, Cruza»
CCarga FNR == NR { t[$1] = $2 …
SSalta … next }
CCruza $1 in t { … }
Los tres pasos del patrón, en orden. Y para no confundir los contadores: la F de FNR es de Fichero; NR no sabe de ficheros.