Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 15 de 31 · Arrays asociativos ✦ WebMCP implementado

Arrays asociativos: contar visitas por IP

9 min de lectura 4 retos

Hasta ahora contabas con una variable: un número para todo el fichero. Para saber cuántas visitas hizo cada IP necesitas un contador por IP, y no sabes cuántas IP hay. Para eso están los arrays asociativos, que son el array de PHP que ya conoces. En esta lección cuentas y sumas por IP, por página y por estado.

¿De dónde vienen los nombres?

array = inglés array (formación, cosas puestas en orden)
Un montón de valores guardados bajo un mismo nombre. En PHP lo escribes $visitas = []. En awk no hay que crearlo: aparece al usarlo.
asociativo = de asociar: cada clave va unida a su valor
En vez de posiciones 0, 1, 2… usas la clave que quieras: una IP, una página, un estado. Es el $visitas["203.0.113.7"] de PHP.
in = inglés in (en, dentro de)
for (ip in visitas) se lee «para cada ip que haya en visitas». Es el foreach de PHP, pero te da solo la clave.
PROCINFO = PROCess INFOrmation (información del proceso)
Un array que gawk trae ya hecho con datos y ajustes del programa en marcha. Aquí lo usamos solo para pedirle que recorra los arrays en orden. Solo existe en gawk.
En 4 ideas
1/4

Un array de awk es el array asociativo de PHP: visitas[$1] es $visitas[$ip]. La clave puede ser cualquier texto: una IP, una URL, un estado.

1 · Un contador por cada IP

En el módulo 04 contaste visitas con una variable: n++ en cada línea y print n en END. Eso da un número para todo el log. Ahora quieres un número por cada IP.

Piensa en el recuento de unas elecciones del colegio. Hay una pizarra con una fila por candidato. Sacas una papeleta, buscas la fila con ese nombre y pintas un palito. Si el nombre no está en la pizarra, añades la fila y pintas el primer palito. Eso es un array asociativo: la clave es el nombre y el valor son los palitos.

En awk se escribe con corchetes, igual que en PHP. La papeleta es $1 (la IP) y pintar un palito es ++:

awkprograma.awk
# En PHP: $visitas[$ip] = ($visitas[$ip] ?? 0) + 1;
{ visitas[$1]++ }
# En PHP: echo $visitas["198.51.100.4"], PHP_EOL;
END { print visitas["198.51.100.4"] }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Sale 7: esa IP aparece en 7 líneas del log. La primera regla no tiene patrón, así que se ejecuta en todas las líneas y va llenando la pizarra. La regla END se ejecuta al acabar y mira una sola fila.

Este es el mismo programa en PHP y en awk. El PHP usa lo más corto que tiene para contar, array_count_values(), que recibe una lista y devuelve cuántas veces sale cada valor:

PHP 8.5visitas.php
<?php
// PHP 8.5: operador pipe |>
$visitas = file("access.log", FILE_IGNORE_NEW_LINES)
    // quedarse con la ip de cada línea
    |> (fn(array $lineas) => array_map(fn(string $linea) => explode(" ", $linea)[0], $lineas))
    // contar cuántas veces sale cada una
    |> array_count_values(...);

echo $visitas["192.0.2.55"], PHP_EOL;
awkprograma.awk
# En PHP: array_count_values($ips)
{ visitas[$1]++ }
# En PHP: echo $visitas["192.0.2.55"], PHP_EOL;
END { print visitas["192.0.2.55"] }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 848 ms · gawk: 419 ms · mawk: 509 ms. awk tarda 2,0 veces menos que PHP.

2 · No se declaran ni se inicializan

Mira lo que no hay en el programa de antes: ningún visitas = [] al principio y ningún «si la IP no está, ponla a 0». En PHP las dos cosas hacen falta.

¿Por qué? · En PHP no existe

¿Por qué visitas[$1]++ funciona la primera vez, si esa IP aún no está en el array?

En el módulo 04 viste que una variable de awk nace vacía la primera vez que la nombras, y que vacío vale "" como texto y 0 como número. Con los elementos de un array pasa lo mismo: la primera vez que nombras visitas["203.0.113.7"], awk crea ese hueco vacío. Después el ++ le suma 1 a 0.

En PHP, $visitas[$ip]++ sobre una clave que no existe da un aviso (Undefined array key). Por eso acabas escribiendo $visitas[$ip] = ($visitas[$ip] ?? 0) + 1. awk te ahorra esa línea, y en un programa de una sola línea se nota.

El precio es el de siempre en awk: no avisa. Si llenas visitas y luego imprimes vistas[ip], no hay error: vistas es otro array, nuevo y vacío, y te sale una columna en blanco. Cuando un array «no tiene nada», mira primero si has escrito igual el nombre en los dos sitios.

QuieresPHPawk
Crear el array$visitas = [];Nada: nace al usarlo
Contar$visitas[$ip] = ($visitas[$ip] ?? 0) + 1;visitas[$1]++
Sumar$bytes[$ip] = ($bytes[$ip] ?? 0) + $n;bytes[$1] += $10
Leer un valor$visitas["192.0.2.55"]visitas["192.0.2.55"]
Guardar un valor$visitas[$ip] = 0;visitas[$1] = 0

3 · Imprimir todo el array en END

Mirar una IP está bien, pero lo normal es querer la pizarra entera. Para recorrer un array awk tiene un for especial: for (ip in visitas). En cada vuelta, ip vale una clave del array. El valor lo sacas tú con visitas[ip].

PHP 8.5visitas.php
<?php
$visitas = [];
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as $linea) {
    $ip = explode(" ", $linea)[0];
    $visitas[$ip] = ($visitas[$ip] ?? 0) + 1;
}

// ordenar por la clave, comparando como texto
ksort($visitas, SORT_STRING);
// el foreach da la clave y el valor a la vez
foreach ($visitas as $ip => $total) {
    echo $ip, " ", $total, PHP_EOL;
}
awkprograma.awk
# En PHP: $visitas[$ip] = ($visitas[$ip] ?? 0) + 1;
{ visitas[$1]++ }

END {
    # En PHP: ksort($visitas, SORT_STRING);
    # Solo gawk: recorre el array en orden (en mawk el orden no esta definido)
    PROCINFO["sorted_in"] = "@ind_str_asc"
    # En PHP: foreach ($visitas as $ip => $total) {
    for (ip in visitas) {
        # En PHP: echo $ip, " ", $total, PHP_EOL;
        print ip, visitas[ip]
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 844 ms · gawk: 419 ms. awk tarda 2,0 veces menos que PHP.

Dos diferencias con PHP. La primera: el foreach de PHP te da clave y valor ($ip => $total); el for … in de awk te da solo la clave. La segunda es la línea de PROCINFO.

Como el orden alfabético compara texto, 192.0.2.140 sale antes que 192.0.2.55: el carácter 1 va antes que el 5. Es lo mismo que hace ksort($a, SORT_STRING) en PHP.

Si solo quieres un total, no hace falta ordenar nada: una suma da lo mismo en cualquier orden. Este programa cuenta cuántas IP hicieron más de 3 visitas:

awkprograma.awk
{ visitas[$1]++ }

END {
    # En PHP: foreach ($visitas as $ip => $total) {
    for (ip in visitas) {
        # En PHP: if ($total > 3) { $habituales++; }
        if (visitas[ip] > 3) {
            habituales++
        }
    }
    print "IP con más de 3 visitas:", habituales
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

4 · Sumar por clave: los bytes de cada IP

Contar es sumar 1. Si en vez de 1 sumas un campo, tienes el total de ese campo por clave. Los bytes de cada respuesta están en $10, así que bytes[$1] += $10 lleva la cuenta de cuánto se ha descargado cada IP.

Puedes tener varios arrays a la vez con la misma clave, como dos columnas de la misma pizarra. Con visitas y bytes sale la media de bytes por visita:

awkprograma.awk
{
    # En PHP: $visitas[$ip] = ($visitas[$ip] ?? 0) + 1;
    visitas[$1]++
    # En PHP: $bytes[$ip] = ($bytes[$ip] ?? 0) + $campos[9];
    bytes[$1] += $10
}

END {
    # Solo gawk: recorre el array en orden (en mawk el orden no esta definido)
    PROCINFO["sorted_in"] = "@ind_str_asc"
    for (ip in visitas) {
        # En PHP: printf("%-13s %2d visitas %8d bytes  media %.1f\n", ...);
        printf "%-13s %2d visitas %8d bytes  media %.1f\n", ip, visitas[ip], bytes[ip], bytes[ip] / visitas[ip]
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

De un vistazo: 192.0.2.140 vino dos veces y se llevó más de un mega (el PDF), y 198.51.100.4 hizo 7 peticiones que casi no pesan. Esa segunda es la que probaba /wp-login.php y /.env: muchas peticiones pequeñas con error son la huella de un escáner.

5 · Las claves siempre son texto

En awk la clave de un array es siempre un texto. Si pones un número, awk lo convierte a texto antes de buscar. Por eso visitas[200] y visitas["200"] son el mismo elemento:

awkprograma.awk
BEGIN {
    visitas[200] = "con número"
    # la misma clave: pisa el valor anterior
    visitas["200"] = "con texto"
    print visitas[200]
    # En PHP: $visitas[100 + 100]
    print visitas[100 + 100]
}
$ awk -f programa.awk
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. Sin fichero de datos: este programa solo tiene BEGIN, así que no lee nada.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Las dos líneas imprimen con texto: solo hay un elemento. En el log esto te viene bien. El estado $9 llega como texto ("404") y tú puedes preguntar por por_estado[404] sin pensar en comillas.

¿Por qué? · En PHP no existe

¿Por qué awk convierte las claves a texto y PHP las convierte a número?

PHP hace justo lo contrario: si la clave es un texto que parece un entero, como "200", la guarda como el entero 200. Lo hace porque su array sirve a la vez de lista (posiciones 0, 1, 2…) y de diccionario.

awk no tiene listas: todos sus arrays son diccionarios. Como los datos que lee son siempre texto (trozos de una línea), usar texto para todas las claves es lo más simple. Cuando en el módulo 06 veas arrays con índices 1, 2, 3…, por dentro seguirán siendo las claves "1", "2", "3".

El fallo que trae: ordenar. Como las claves son texto, el orden alfabético pone "10" antes que "9". Para ordenar claves como números hay otro valor de la línea mágica, que verás en «Ordenar el resultado».

6 · En tu servidor

La pregunta que te vas a hacer

¿Y con un log de 2 GB? ¿El array no revienta la memoria, como file() en PHP?

No. file() mete en memoria todas las líneas. awk sigue leyendo línea a línea y en el array guarda una entrada por cada clave distinta, no una por línea. Un log con diez millones de visitas de 5.000 IP distintas ocupa en el array 5.000 contadores.

Solo hay que tener cuidado cuando la clave casi nunca se repite, por ejemplo la línea entera o la fecha con segundos: ahí el array sí crece tanto como el fichero.

En la terminal de tu servidor, el recuento por IP es esta línea. La salida se ordena aparte con sort, que verás en «Ordenar el resultado»:

$ awk '{ visitas[$1]++ } END { for (ip in visitas) print visitas[ip], ip }' /var/log/nginx/access.log | sort -rn | head -3
7 198.51.100.4
5 203.0.113.7
4 192.0.2.55

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

¿Cuántos 404?

El programa quiere decir cuántas visitas acabaron en 404, pero cuenta por IP en vez de por estado (el campo 9) y la cuenta sale vacía. Arréglalo para que imprima 404: 3 con el log que ves. En PHP sería $por_estado[$estado] = ($por_estado[$estado] ?? 0) + 1;.

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. visitas[$1]++ cuenta por clave: es array_count_values(), o $visitas[$ip] = ($visitas[$ip] ?? 0) + 1 en PHP.
  2. El array no se declara: nace al usarlo y cada elemento nuevo empieza vacío (0 al sumar). En PHP harían falta $visitas = [] y el ?? 0.
  3. Se rellena en la regla de cada línea y se imprime en END con for (ip in visitas), que da solo la clave: el valor es visitas[ip]. En PHP, foreach ($visitas as $ip => $total).
  4. El orden de ese for no está definido. O imprimes un total, o pones PROCINFO["sorted_in"] = "@ind_str_asc" (Solo gawk) al principio de END. En PHP es ksort().
  5. bytes[$1] += $10 suma por clave. Dos arrays con la misma clave dan medias: bytes[ip] / visitas[ip].
  6. Las claves son siempre texto: a[200] y a["200"] son el mismo elemento. PHP hace lo contrario y convierte "200" en el entero 200.

Para recordarlo: «Corchete y más-más: un palito por papeleta»

CClave
visitas[$1]
SSuma
++ o += $10
FFinal
END { for (ip in visitas) … }

Contar con awk es el recuento de la pizarra: Clave entre corchetes, Suma con ++ o +=, Final en END con un for. Clave, Suma, Final.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.