Lección 16 de 31 · Arrays asociativos✦ WebMCP implementado
for (clave in array), in y delete
9 min de lectura4 retos
Ya sabes llenar un array y recorrerlo. Ahora toca lo que hay alrededor: por qué el for lo recorre en desorden, cómo saber cuántos elementos tiene, cómo preguntar si una clave existe sin crearla por accidente (el fallo más traicionero del módulo) y cómo borrar. Al final, el truco más famoso de awk: quedarte con las IP únicas en una línea.
¿De dónde vienen los nombres?
in = inglés in (en, dentro de)
Tiene dos usos. En for (ip in visitas) recorre las claves. En if (ip in visitas)pregunta si la clave está. El segundo es el array_key_exists() de PHP.
delete = inglés delete (borrar)
Quita un elemento del array: delete visitas[ip]. Es el unset($visitas[$ip]) de PHP.
length = inglés length (longitud)
Con un array dentro, dice cuántos elementos tiene. Es el count() de PHP.
visto = traducción de seen, el nombre que se le da en inglés
El array del truco !seen[$1]++. Verás seen en todos los foros; en este curso los nombres van en español y lo llamamos visto.
En 4 ideas
1/4
for (ip in visitas) da las claves sin ningún orden fijo, y el orden cambia de gawk a mawk. En PHP el foreach respeta el orden en que se añadieron.
length(visitas) dice cuántos elementos hay: es el count($visitas) de PHP.
Para saber si una clave existe se pregunta con (ip in visitas), el array_key_exists() de PHP. Leer visitas[ip] para mirarlo crea el elemento vacío.
delete visitas[ip] borra un elemento y delete visitas vacía el array: el unset() de PHP. Y !visto[$1]++ deja pasar solo la primera vez de cada IP: tu array_unique().
1 · for (clave in array): la clave, no el valor
En la lección anterior usaste for (ip in visitas) para imprimir el recuento. Vamos a mirarlo despacio. En cada vuelta, la variable (ip) recibe una clave del array. El valor no viene: lo pides tú con visitas[ip].
Es como pasar lista en clase con una hoja que solo tiene los nombres. Para saber la nota de cada uno, vas con el nombre a buscarla.
PHP 8.5recorrer.php
<?php$ips = array_map(
fn(string $linea) => explode(" ", $linea)[0],
file("access.log", FILE_IGNORE_NEW_LINES),
);
$visitas = array_count_values($ips);
$distintas = 0;
$total = 0;
// el foreach da la clave y el valorforeach ($visitasas$ip => $veces) {
$distintas++;
$total += $veces;
}
echo$distintas, " IP distintas y ", $total, " visitas", PHP_EOL;
awkprograma.awk
{ visitas[$1]++ }
END {
# En PHP: foreach ($visitas as $ip => $veces) {for (ip in visitas) {
distintas++
# En PHP: $total += $veces;
total += visitas[ip]
}
print distintas, "IP distintas y", total, "visitas"
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
⏱ Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 885 ms · gawk: 419 ms · mawk: 509 ms. awk tarda 2,1 veces menos que PHP.
Este programa no lleva la línea mágica de PROCINFO y no pasa nada: contar y sumar dan lo mismo en cualquier orden. El problema llega cuando imprimes dentro del bucle.
2 · El orden no está definido
Este es el recuento por IP sin ordenar. Lo hemos ejecutado en la terminal con dos awk distintos, sobre el mismo access.log:
awkprograma.awkSolo lectura: la salida cambia según el awk
{ visitas[$1]++ }
END {
for (ip in visitas) {
print ip, visitas[ip]
}
}
Los mismos datos y dos órdenes distintos. Ninguno es el orden del fichero (la primera IP del log es 203.0.113.7) ni el alfabético. Y con otra versión de gawk puede salir un tercero.
¿Por qué? · En PHP no existe
¿Por qué awk no recorre el array en el orden en que se llenó, como PHP?
Un array asociativo se guarda por dentro en una tabla hash: un armario con muchos cajones donde cada clave va al cajón que le toca según una cuenta hecha con sus letras. Así, encontrar una clave es ir directo a su cajón, sin mirar los demás. Por eso visitas[$1]++ es igual de rápido con 5 IP que con 5 millones.
Al recorrerlo, awk va cajón por cajón. Ese orden depende de la cuenta que hace cada awk, no de cuándo entró cada clave. PHP hace lo mismo y, además, guarda una lista con el orden de llegada; por eso su foreach sale ordenado. awk se ahorra esa lista: menos memoria y un programa más simple.
El fallo que trae es serio si no lo sabes: un programa que «funciona» en tu portátil con gawk da las líneas en otro orden en el servidor con mawk. La regla del curso: dentro de un for … in, o sumas, o has ordenado antes.
3 · length(array): cuántos elementos hay
Para saber cuántas IP distintas hay no hace falta un bucle. length(visitas) devuelve el número de elementos del array. Es el count($visitas) de PHP.
awkprograma.awk
{ visitas[$1]++ }
END {
# En PHP: echo "Visitas: ", count($lineas), PHP_EOL;print"Visitas:", NR# En PHP: echo "IP distintas: ", count($visitas), PHP_EOL;print"IP distintas:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
4 · (clave in array): preguntar sin crear
Quieres saber si una IP ha visitado la web. Lo que te sale de PHP es mirar su valor: «si está vacío, no ha venido». Ejecuta esto y fíjate en los dos números:
awkprograma.awk
{ visitas[$1]++ }
END {
print"IP distintas:", length(visitas)
# En PHP: if (($visitas["10.0.0.1"] ?? "") == "") { ... }if (visitas["10.0.0.1"] == "") {
print"10.0.0.1 no ha venido"
}
print"IP distintas:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Había 5 IP y, después de preguntar, hay 6. La respuesta es correcta (no ha venido), pero el array ha cambiado: ahora tiene un elemento 10.0.0.1 vacío. Cualquier cuenta o listado que hagas después lleva una IP fantasma.
¿Por qué? · En PHP no existe
¿Por qué leer un elemento que no existe lo crea?
Es la misma regla que te deja escribir visitas[$1]++ sin inicializar: en awk, nombrar un elemento lo hace nacer vacío. awk no distingue entre nombrarlo para sumarle y nombrarlo para mirarlo. La comodidad de la lección anterior y este fallo son la misma cosa.
En PHP, leer $visitas["10.0.0.1"] sin que exista da un aviso (Undefined array key) y no crea nada. Por eso en PHP usas isset() o array_key_exists(), y si se te olvida, el aviso te lo recuerda. En awk no hay aviso: el programa sigue y los totales salen mal.
La solución es el operador in: ("10.0.0.1" in visitas) vale 1 si la clave está y 0 si no, y no toca el array. Es como mirar la lista de clase para ver si alguien está apuntado, en vez de llamarle y apuntarle para preguntárselo.
awkprograma.awk
{ visitas[$1]++ }
END {
print"IP distintas:", length(visitas)
# En PHP: if (!array_key_exists("10.0.0.1", $visitas)) { ... }if (!("10.0.0.1"in visitas)) {
print"10.0.0.1 no ha venido"
}
# En PHP: if (array_key_exists("66.249.66.1", $visitas)) { ... }if ("66.249.66.1"in visitas) {
print"66.249.66.1 ha venido", visitas["66.249.66.1"], "veces"
}
print"IP distintas:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Ahora los dos números coinciden. Fíjate en el «no»: se escribe !(clave in array), con el in entre paréntesis. Sin ellos, !clave in array niega primero la clave y pregunta por otra cosa.
Quieres
PHP
awk
¿Existe la clave?
array_key_exists($ip, $visitas)
(ip in visitas)
¿No existe?
!array_key_exists($ip, $visitas)
!(ip in visitas)
Leer lo que no existe
Aviso, y no crea nada
Sin aviso, y crea el elemento vacío
Cuántos hay
count($visitas)
length(visitas)
5 · delete: borrar un elemento o el array entero
delete visitas[clave] quita ese elemento, como unset($visitas[$clave]). delete visitas, sin corchetes, vacía el array entero, como $visitas = []. Borrar una clave que no existe no da error.
awkprograma.awk
{ visitas[$1]++ }
END {
print"IP distintas:", length(visitas)
# En PHP: unset($visitas["66.249.66.1"]);delete visitas["66.249.66.1"]
print"Sin el robot de Google:", length(visitas)
# En PHP: $visitas = [];delete visitas
print"Tras vaciarlo:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
También puedes borrar mientras recorres: el for … in apunta las claves al empezar y no se lía si quitas alguna por el camino. Este programa se queda con las IP que hicieron 3 visitas o más:
awkprograma.awk
{ visitas[$1]++ }
END {
for (ip in visitas) {
# En PHP: if ($veces < 3) { unset($visitas[$ip]); }if (visitas[ip] < 3) {
delete visitas[ip]
}
}
print"IP con 3 visitas o más:", length(visitas)
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
6 · !visto[$1]++: solo la primera vez
Este es el programa de una línea más copiado de awk. Imprime cada IP solo la primera vez que aparece:
awkprograma.awk
# En PHP: if (!isset($visto[$ip])) { echo $ip, PHP_EOL; } $visto[$ip] = true;
!visto[$1]++ { printNR, $1 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Parece magia y son tres cosas que ya sabes, leídas de dentro afuera:
visto[$1] vale vacío (0) la primera vez que sale esa IP y 1, 2, 3… las siguientes.
El ++ va detrás: primero se usa el valor que había y después se suma 1. Igual que $i++ en PHP.
El ! niega ese valor: !0 es verdadero (primera vez: la línea pasa) y !1, !2… son falso (repetida: no pasa).
Como es un patrón, y no un for en END, las líneas salen en el orden del fichero: aquí no hay nada que ordenar. Si le quitas la acción, imprime la línea entera: !visto[$1]++ a secas es «quita las líneas con la IP repetida».
Con un contador en la acción, cuentas valores distintos. ¿Cuántas páginas distintas se han pedido?
awkprograma.awk
# En PHP: $paginas = count(array_unique($urls));
!visto[$7]++ { paginas++ }
END { print paginas, "páginas distintas en", NR, "visitas" }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
La pregunta que te vas a hacer
En mi servidor esto lo hago con sort | uniq. ¿Qué gano con awk?
sort | uniq -c cuenta igual de bien y es lo que verás en muchas guías. Tiene un coste: sort necesita ordenar el fichero entero antes de que uniq pueda contar.
awk va contando según lee, sin ordenar nada, y solo guarda las claves distintas. Además !visto[$1]++respeta el orden de llegada, cosa que sort -u no hace, y puedes mezclarlo con cualquier condición del log ($9 == 404 && !visto[$1]++). Para un recuento rápido, usa lo que te salga antes; para algo con condiciones, awk.
Imprime cuántas IP distintas hay en el log, con este formato: IP distintas: 5. El programa ya llena el array, pero imprime el número de líneas. En PHP sería echo "IP distintas: ", count($visitas), PHP_EOL;.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista.NR cuenta líneas, no IP. Hay una función que dice cuántos elementos tiene un array.
Reto 2 de 4 · ✓ Resuelto
La primera página de cada IP
Imprime, para cada IP, solo su primera visita: la IP y la página (campos 1 y 7), en el orden en que aparecen en el log. Con el log que ves, la primera línea es 203.0.113.7 / y la segunda 198.51.100.4 /consulta. El programa imprime todas las visitas. En PHP guardarías las IP ya vistas en un array y mirarías con isset().
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Falta el patrón delante de la acción. El truco de «solo la primera vez» es !visto[$1]++.
Reto 3 de 4 · ✓ Resuelto
¿Ha venido o no?
El programa dice si han visitado la web dos IP sospechosas y después cuántas IP distintas hay. Las dos primeras líneas salen bien, pero el total sale inflado porque las preguntas crean elementos. Cambia las dos preguntas para que no toquen el array. Con el log que ves debe salir:
198.51.100.4: ha venido10.0.0.1: no ha venidoIP distintas: 5
En PHP preguntarías con array_key_exists($ip, $visitas).
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista.visitas["10.0.0.1"] != "" lee el elemento, y leerlo lo crea. La pregunta que no crea nada es ("10.0.0.1" in visitas).
Reto 4 de 4 · ✓ Resuelto
Solo las IP habituales
Llamamos habitual a la IP con 3 visitas o más. Borra del array las que tengan menos y después imprime cuántas IP quedan y cuántas visitas suman entre todas, así:
IP habituales: 3Visitas: 16
El programa de partida no borra nada. En PHP sería un unset($visitas[$ip]) dentro del foreach, o un array_filter().
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Antes de sumar, recorre el array con otro for (ip in visitas) y haz delete visitas[ip] cuando visitas[ip] < 3.
Resumen
Lo que te llevas de esta lección
for (ip in visitas) da solo la clave y en un orden sin definir, distinto en gawk y en mawk. El foreach de PHP da clave y valor en orden de llegada.
Dentro de ese for, o sumas, o has ordenado antes (PROCINFO["sorted_in"], Solo gawk, en la siguiente lección).
length(visitas) es el count($visitas) de PHP.
(ip in visitas) pregunta sin crear: es array_key_exists(). Mirar visitas[ip] == "" crea el elemento vacío y descuadra las cuentas. El «no» es !(ip in visitas).
delete visitas[ip] es unset($visitas[$ip]) y delete visitas es $visitas = [].
!visto[$1]++ deja pasar solo la primera línea de cada IP, en el orden del fichero: es array_unique().
Para recordarlo: «Preguntar con corchetes apunta; preguntar con in solo mira»
LLongitud length(visitas)
IIn (ip in visitas)
DDelete delete visitas[ip]
Si vas a comprobar si una clave existe, que no haya corchetes en la pregunta. Y para el resto de la lección, Longitud, In, Delete: los tres verbos de un array, además de llenarlo.