Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 16 de 31 · Arrays asociativos ✦ WebMCP implementado

for (clave in array), in y delete

9 min de lectura 4 retos

Ya sabes llenar un array y recorrerlo. Ahora toca lo que hay alrededor: por qué el for lo recorre en desorden, cómo saber cuántos elementos tiene, cómo preguntar si una clave existe sin crearla por accidente (el fallo más traicionero del módulo) y cómo borrar. Al final, el truco más famoso de awk: quedarte con las IP únicas en una línea.

¿De dónde vienen los nombres?

in = inglés in (en, dentro de)
Tiene dos usos. En for (ip in visitas) recorre las claves. En if (ip in visitas) pregunta si la clave está. El segundo es el array_key_exists() de PHP.
delete = inglés delete (borrar)
Quita un elemento del array: delete visitas[ip]. Es el unset($visitas[$ip]) de PHP.
length = inglés length (longitud)
Con un array dentro, dice cuántos elementos tiene. Es el count() de PHP.
visto = traducción de seen, el nombre que se le da en inglés
El array del truco !seen[$1]++. Verás seen en todos los foros; en este curso los nombres van en español y lo llamamos visto.
En 4 ideas
1/4

for (ip in visitas) da las claves sin ningún orden fijo, y el orden cambia de gawk a mawk. En PHP el foreach respeta el orden en que se añadieron.

1 · for (clave in array): la clave, no el valor

En la lección anterior usaste for (ip in visitas) para imprimir el recuento. Vamos a mirarlo despacio. En cada vuelta, la variable (ip) recibe una clave del array. El valor no viene: lo pides tú con visitas[ip].

Es como pasar lista en clase con una hoja que solo tiene los nombres. Para saber la nota de cada uno, vas con el nombre a buscarla.

PHP 8.5recorrer.php
<?php
$ips = array_map(
    fn(string $linea) => explode(" ", $linea)[0],
    file("access.log", FILE_IGNORE_NEW_LINES),
);
$visitas = array_count_values($ips);

$distintas = 0;
$total = 0;
// el foreach da la clave y el valor
foreach ($visitas as $ip => $veces) {
    $distintas++;
    $total += $veces;
}
echo $distintas, " IP distintas y ", $total, " visitas", PHP_EOL;
awkprograma.awk
{ visitas[$1]++ }

END {
    # En PHP: foreach ($visitas as $ip => $veces) {
    for (ip in visitas) {
        distintas++
        # En PHP: $total += $veces;
        total += visitas[ip]
    }
    print distintas, "IP distintas y", total, "visitas"
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 885 ms · gawk: 419 ms · mawk: 509 ms. awk tarda 2,1 veces menos que PHP.

Este programa no lleva la línea mágica de PROCINFO y no pasa nada: contar y sumar dan lo mismo en cualquier orden. El problema llega cuando imprimes dentro del bucle.

2 · El orden no está definido

Este es el recuento por IP sin ordenar. Lo hemos ejecutado en la terminal con dos awk distintos, sobre el mismo access.log:

awkprograma.awkSolo lectura: la salida cambia según el awk
{ visitas[$1]++ }

END {
    for (ip in visitas) {
        print ip, visitas[ip]
    }
}
$ gawk -f programa.awk access.log
192.0.2.55 4
192.0.2.140 2
66.249.66.1 2
203.0.113.7 5
198.51.100.4 7

$ mawk -f programa.awk access.log
192.0.2.55 4
192.0.2.140 2
203.0.113.7 5
198.51.100.4 7
66.249.66.1 2

Los mismos datos y dos órdenes distintos. Ninguno es el orden del fichero (la primera IP del log es 203.0.113.7) ni el alfabético. Y con otra versión de gawk puede salir un tercero.

¿Por qué? · En PHP no existe

¿Por qué awk no recorre el array en el orden en que se llenó, como PHP?

Un array asociativo se guarda por dentro en una tabla hash: un armario con muchos cajones donde cada clave va al cajón que le toca según una cuenta hecha con sus letras. Así, encontrar una clave es ir directo a su cajón, sin mirar los demás. Por eso visitas[$1]++ es igual de rápido con 5 IP que con 5 millones.

Al recorrerlo, awk va cajón por cajón. Ese orden depende de la cuenta que hace cada awk, no de cuándo entró cada clave. PHP hace lo mismo y, además, guarda una lista con el orden de llegada; por eso su foreach sale ordenado. awk se ahorra esa lista: menos memoria y un programa más simple.

El fallo que trae es serio si no lo sabes: un programa que «funciona» en tu portátil con gawk da las líneas en otro orden en el servidor con mawk. La regla del curso: dentro de un for … in, o sumas, o has ordenado antes.

3 · length(array): cuántos elementos hay

Para saber cuántas IP distintas hay no hace falta un bucle. length(visitas) devuelve el número de elementos del array. Es el count($visitas) de PHP.

awkprograma.awk
{ visitas[$1]++ }

END {
    # En PHP: echo "Visitas: ", count($lineas), PHP_EOL;
    print "Visitas:", NR
    # En PHP: echo "IP distintas: ", count($visitas), PHP_EOL;
    print "IP distintas:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

4 · (clave in array): preguntar sin crear

Quieres saber si una IP ha visitado la web. Lo que te sale de PHP es mirar su valor: «si está vacío, no ha venido». Ejecuta esto y fíjate en los dos números:

awkprograma.awk
{ visitas[$1]++ }

END {
    print "IP distintas:", length(visitas)
    # En PHP: if (($visitas["10.0.0.1"] ?? "") == "") { ... }
    if (visitas["10.0.0.1"] == "") {
        print "10.0.0.1 no ha venido"
    }
    print "IP distintas:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Había 5 IP y, después de preguntar, hay 6. La respuesta es correcta (no ha venido), pero el array ha cambiado: ahora tiene un elemento 10.0.0.1 vacío. Cualquier cuenta o listado que hagas después lleva una IP fantasma.

¿Por qué? · En PHP no existe

¿Por qué leer un elemento que no existe lo crea?

Es la misma regla que te deja escribir visitas[$1]++ sin inicializar: en awk, nombrar un elemento lo hace nacer vacío. awk no distingue entre nombrarlo para sumarle y nombrarlo para mirarlo. La comodidad de la lección anterior y este fallo son la misma cosa.

En PHP, leer $visitas["10.0.0.1"] sin que exista da un aviso (Undefined array key) y no crea nada. Por eso en PHP usas isset() o array_key_exists(), y si se te olvida, el aviso te lo recuerda. En awk no hay aviso: el programa sigue y los totales salen mal.

La solución es el operador in: ("10.0.0.1" in visitas) vale 1 si la clave está y 0 si no, y no toca el array. Es como mirar la lista de clase para ver si alguien está apuntado, en vez de llamarle y apuntarle para preguntárselo.

awkprograma.awk
{ visitas[$1]++ }

END {
    print "IP distintas:", length(visitas)
    # En PHP: if (!array_key_exists("10.0.0.1", $visitas)) { ... }
    if (!("10.0.0.1" in visitas)) {
        print "10.0.0.1 no ha venido"
    }
    # En PHP: if (array_key_exists("66.249.66.1", $visitas)) { ... }
    if ("66.249.66.1" in visitas) {
        print "66.249.66.1 ha venido", visitas["66.249.66.1"], "veces"
    }
    print "IP distintas:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Ahora los dos números coinciden. Fíjate en el «no»: se escribe !(clave in array), con el in entre paréntesis. Sin ellos, !clave in array niega primero la clave y pregunta por otra cosa.

QuieresPHPawk
¿Existe la clave?array_key_exists($ip, $visitas)(ip in visitas)
¿No existe?!array_key_exists($ip, $visitas)!(ip in visitas)
Leer lo que no existeAviso, y no crea nadaSin aviso, y crea el elemento vacío
Cuántos haycount($visitas)length(visitas)

5 · delete: borrar un elemento o el array entero

delete visitas[clave] quita ese elemento, como unset($visitas[$clave]). delete visitas, sin corchetes, vacía el array entero, como $visitas = []. Borrar una clave que no existe no da error.

awkprograma.awk
{ visitas[$1]++ }

END {
    print "IP distintas:", length(visitas)
    # En PHP: unset($visitas["66.249.66.1"]);
    delete visitas["66.249.66.1"]
    print "Sin el robot de Google:", length(visitas)
    # En PHP: $visitas = [];
    delete visitas
    print "Tras vaciarlo:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

También puedes borrar mientras recorres: el for … in apunta las claves al empezar y no se lía si quitas alguna por el camino. Este programa se queda con las IP que hicieron 3 visitas o más:

awkprograma.awk
{ visitas[$1]++ }

END {
    for (ip in visitas) {
        # En PHP: if ($veces < 3) { unset($visitas[$ip]); }
        if (visitas[ip] < 3) {
            delete visitas[ip]
        }
    }
    print "IP con 3 visitas o más:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

6 · !visto[$1]++: solo la primera vez

Este es el programa de una línea más copiado de awk. Imprime cada IP solo la primera vez que aparece:

awkprograma.awk
# En PHP: if (!isset($visto[$ip])) { echo $ip, PHP_EOL; } $visto[$ip] = true;
!visto[$1]++ { print NR, $1 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Parece magia y son tres cosas que ya sabes, leídas de dentro afuera:

  1. visto[$1] vale vacío (0) la primera vez que sale esa IP y 1, 2, 3… las siguientes.
  2. El ++ va detrás: primero se usa el valor que había y después se suma 1. Igual que $i++ en PHP.
  3. El ! niega ese valor: !0 es verdadero (primera vez: la línea pasa) y !1, !2… son falso (repetida: no pasa).

Como es un patrón, y no un for en END, las líneas salen en el orden del fichero: aquí no hay nada que ordenar. Si le quitas la acción, imprime la línea entera: !visto[$1]++ a secas es «quita las líneas con la IP repetida».

Con un contador en la acción, cuentas valores distintos. ¿Cuántas páginas distintas se han pedido?

awkprograma.awk
# En PHP: $paginas = count(array_unique($urls));
!visto[$7]++ { paginas++ }

END { print paginas, "páginas distintas en", NR, "visitas" }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

La pregunta que te vas a hacer

En mi servidor esto lo hago con sort | uniq. ¿Qué gano con awk?

sort | uniq -c cuenta igual de bien y es lo que verás en muchas guías. Tiene un coste: sort necesita ordenar el fichero entero antes de que uniq pueda contar.

$ awk '{ print $1 }' access.log | sort | uniq -c | sort -rn
      7 198.51.100.4
      5 203.0.113.7
      4 192.0.2.55
      2 66.249.66.1
      2 192.0.2.140

awk va contando según lee, sin ordenar nada, y solo guarda las claves distintas. Además !visto[$1]++ respeta el orden de llegada, cosa que sort -u no hace, y puedes mezclarlo con cualquier condición del log ($9 == 404 && !visto[$1]++). Para un recuento rápido, usa lo que te salga antes; para algo con condiciones, awk.

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

Cuántas IP distintas

Imprime cuántas IP distintas hay en el log, con este formato: IP distintas: 5. El programa ya llena el array, pero imprime el número de líneas. En PHP sería echo "IP distintas: ", count($visitas), PHP_EOL;.

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. for (ip in visitas) da solo la clave y en un orden sin definir, distinto en gawk y en mawk. El foreach de PHP da clave y valor en orden de llegada.
  2. Dentro de ese for, o sumas, o has ordenado antes (PROCINFO["sorted_in"], Solo gawk, en la siguiente lección).
  3. length(visitas) es el count($visitas) de PHP.
  4. (ip in visitas) pregunta sin crear: es array_key_exists(). Mirar visitas[ip] == "" crea el elemento vacío y descuadra las cuentas. El «no» es !(ip in visitas).
  5. delete visitas[ip] es unset($visitas[$ip]) y delete visitas es $visitas = [].
  6. !visto[$1]++ deja pasar solo la primera línea de cada IP, en el orden del fichero: es array_unique().

Para recordarlo: «Preguntar con corchetes apunta; preguntar con in solo mira»

LLongitud
length(visitas)
IIn
(ip in visitas)
DDelete
delete visitas[ip]

Si vas a comprobar si una clave existe, que no haya corchetes en la pregunta. Y para el resto de la lección, Longitud, In, Delete: los tres verbos de un array, además de llenarlo.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.