Lección 17 de 31 · Arrays asociativos✦ WebMCP implementado
Ordenar el resultado: el top de IP
10 min de lectura4 retos
Un recuento desordenado sirve de poco: lo que quieres saber es quién va primero. En esta lección ves las tres formas de ordenar el resultado de un array (la de toda la vida con sort, la línea mágica de gawk por fin explicada y las funciones asort y asorti) y montas el clásico top de IP.
¿De dónde vienen los nombres?
sort = inglés sort (ordenar, clasificar)
Un programa de la terminal, aparte de awk, que ordena las líneas que recibe. Está en todos los servidores Unix. Es el sort() de PHP, pero para líneas de texto.
sorted_in = inglés sorted in: ordenado en el in
El elemento de PROCINFO que decide en qué orden recorre gawk un for (clave in array). De ahí el in del nombre.
@ind_str_asc = index + string + ascending
Por índice (la clave), comparando como texto, de menor a mayor. Las otras piezas: val de value (el valor), num de number (como número) y desc de descending (de mayor a menor).
asort y asorti = array sort y array sort by indices
Funciones de gawk que ordenan un array: asort por sus valores y asorti por sus claves (índices). Ojo: el asort() de PHP conserva las claves y el de awk las pierde.
En 4 ideas
1/4
awk no tiene sort(), ksort() ni arsort(). La forma de siempre es sacar el recuento sin ordenar y pasárselo al programa sort de la terminal: … | sort -rn.
En gawk, PROCINFO["sorted_in"] = "@val_num_desc" hace que el for … in recorra de mayor a menor valor: es el arsort() de PHP. Es Solo gawk.
El nombre del orden se lee por piezas: ind o val (clave o valor), str o num (texto o número), asc o desc. @ind_str_asc es ksort().
El top N es un for ordenado, un contador y un break. En PHP sería arsort() y array_slice($a, 0, 3, true).
1 · La de toda la vida: una tubería a sort
En PHP, después de contar, llamas a arsort($visitas) y listo. El awk original no trae nada parecido. No es un despiste: awk nació para trabajar en cadena con otros programas pequeños de la terminal, y uno de ellos, sort, ya sabía ordenar.
Así que la receta clásica es: awk cuenta y escribe el recuento desordenado, y sort lo ordena. Se unen con una tubería (|), que manda la salida de un programa a la entrada del siguiente. Es como una cadena de montaje: uno cuenta y el de al lado ordena.
awkprograma.awkSolo lectura: necesita la terminal
{ visitas[$1]++ }
END {
for (ip in visitas) {
# el número va delante: sort ordena por el principio de la líneaprint visitas[ip], ip | "sort -rn"
}
}
print … | "sort -rn" manda cada línea al programa sort en vez de a la pantalla. Las dos letras son opciones de sort: -n de numeric (ordena como números, no como texto) y -r de reverse (al revés: de mayor a menor).
Lo más habitual es poner la tubería fuera, en la línea de comando, y cortar con head -3 para quedarte con los tres primeros:
$ awk '{ visitas[$1]++ } END { for (ip in visitas) print visitas[ip], ip }' access.log | sort -rn | head -3
7 198.51.100.4
5 203.0.113.7
4 192.0.2.55
2 · PROCINFO["sorted_in"]: la línea mágica, por dentro
Llevas dos lecciones copiando PROCINFO["sorted_in"] = "@ind_str_asc". Vamos a abrirla. PROCINFO es un array que gawk trae ya creado. Si le pones un elemento llamado "sorted_in", gawk lo mira cada vez que empieza un for (clave in array) y recorre las claves en el orden que diga su valor.
Solo gawk. En mawk y en macOS PROCINFO es un array cualquiera: guardar algo en él no da error y no ordena nada. Al final de la lección tienes qué hacer en ese caso.
Hasta ahora ordenabas por la clave. Cambia el valor por @val_num_desc y ordena por el valor, de mayor a menor. Los bytes que se ha llevado cada IP, del más tragón al menos:
PHP 8.5bytes.php
<?php$bytes = [];
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as$linea) {
$campos = explode(" ", $linea);
$bytes[$campos[0]] = ($bytes[$campos[0]] ?? 0) + (int) $campos[9];
}
// ordenar por valor, de mayor a menor, conservando las clavesarsort($bytes, SORT_NUMERIC);
foreach ($bytesas$ip => $total) {
echo$ip, " ", $total, PHP_EOL;
}
awkprograma.awk
# En PHP: $bytes[$ip] = ($bytes[$ip] ?? 0) + (int) $campos[9];
{ bytes[$1] += $10 }
END {
# En PHP: arsort($bytes, SORT_NUMERIC);# Solo gawk: recorre el array en orden (en mawk el orden no esta definido)PROCINFO["sorted_in"] = "@val_num_desc"for (ip in bytes) {
print ip, bytes[ip]
}
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
⏱ Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 922 ms · gawk: 620 ms. awk tarda 1,5 veces menos que PHP.
El nombre del orden parece una contraseña, pero son tres piezas separadas por guiones bajos, siempre en el mismo orden:
Pieza
Opciones
Qué decide
1.ª
ind (índice: la clave) o val (el valor)
Por qué se ordena
2.ª
str (texto) o num (número)
Cómo se compara
3.ª
asc (de menor a mayor) o desc (de mayor a menor)
Hacia dónde
Valor de sorted_in
Ordena por…
En PHP
@ind_str_asc
Clave, como texto, A→Z
ksort($a, SORT_STRING)
@ind_str_desc
Clave, como texto, Z→A
krsort($a, SORT_STRING)
@ind_num_asc
Clave, como número, de menor a mayor
ksort($a, SORT_NUMERIC)
@ind_num_desc
Clave, como número, de mayor a menor
krsort($a, SORT_NUMERIC)
@val_num_asc
Valor, como número, de menor a mayor
asort($a, SORT_NUMERIC)
@val_num_desc
Valor, como número, de mayor a menor
arsort($a, SORT_NUMERIC)
@val_str_asc
Valor, como texto, A→Z
asort($a, SORT_STRING)
@val_str_desc
Valor, como texto, Z→A
arsort($a, SORT_STRING)
3 · str o num: el 9 que va después del 10
La pieza del medio es la que más fallos da. Este programa cuenta las respuestas por tamaño (la clave es el campo de los bytes) e imprime las claves dos veces: primero ordenadas como texto y después como número.
awkprograma.awk
{ por_tamano[$10]++ }
END {
# En PHP: ksort($por_tamano, SORT_STRING);# Solo gawk: recorre el array en orden (en mawk el orden no esta definido)PROCINFO["sorted_in"] = "@ind_str_asc"for (tamano in por_tamano) {
printf"%s ", tamano
}
print""# En PHP: ksort($por_tamano, SORT_NUMERIC);# Solo gawk: recorre el array en orden (en mawk el orden no esta definido)PROCINFO["sorted_in"] = "@ind_num_asc"for (tamano in por_tamano) {
printf"%s ", tamano
}
print""
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
En la primera línea, 1048576 (un mega) sale el segundo, delante de 153. En la segunda, cada cosa está en su sitio.
¿Por qué? · En PHP no existe
¿Por qué como texto 1048576 va antes que 153?
Comparar como texto es ordenar como un diccionario: se mira la primera letra; si empatan, la segunda; y así. 1048576 y 153 empatan en el 1. Después se compara 0 con 5, gana el 0 y ya no se mira más. Que uno tenga siete cifras da igual, como da igual que «casa» sea más corta que «casamiento».
Ya lo viste en el módulo 03 al comparar campos: "153" > "9" es falso como texto. Aquí pesa más, porque las claves de un array son siempre texto y gawk no adivina si quieres tratarlas como números: se lo dices tú con num.
En PHP el fallo es el mismo con otro nombre: sort($a, SORT_STRING) frente a sort($a, SORT_NUMERIC). La regla: si lo que ordenas son cantidades (visitas, bytes, estados, horas), num. Si son nombres (IP, páginas, navegadores), str.
4 · Top N: un contador y un break
Con el orden resuelto, el top es fácil: recorres de mayor a menor, cuentas las vueltas y, cuando llevas las que querías, sales con break (lo viste en el módulo 04). Las 3 IP que más bytes se han llevado, con su puesto:
awkprograma.awk
{ bytes[$1] += $10 }
END {
# En PHP: arsort($bytes, SORT_NUMERIC);# Solo gawk: recorre el array en orden (en mawk el orden no esta definido)PROCINFO["sorted_in"] = "@val_num_desc"for (ip in bytes) {
puesto++
# En PHP: printf("%d. %s %d bytes\n", $puesto, $ip, $total);printf"%d. %s %d bytes\n", puesto, ip, bytes[ip]
# En PHP: array_slice($bytes, 0, 3, true) hace este corteif (puesto == 3) {
break
}
}
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Es el sort -rn | head -3 de la terminal, hecho dentro de awk. En PHP no hace falta el contador: array_slice($bytes, 0, 3, true) corta el array ya ordenado (el true conserva las claves).
5 · asort y asorti: ordenar en otro array
gawk tiene además dos funciones que ordenan y dejan el resultado en un array nuevo, numerado desde 1. Las dos devuelven cuántos elementos hay. Son Solo gawk.
n = asorti(origen, destino): mete en destino[1], destino[2]… las claves de origen, ordenadas como texto.
n = asort(origen, destino): mete en destino los valores de origen, ordenados. Las claves se pierden.
Como el destino va numerado, se recorre con el for (i = 1; i <= n; i++) de toda la vida, que sí tiene un orden fijo. Las páginas del log, en orden alfabético, con sus visitas:
awkprograma.awk
{ visitas[$7]++ }
END {
# En PHP: $paginas = array_keys($visitas); sort($paginas, SORT_STRING);
n = asorti(visitas, paginas)
# En PHP: foreach ($paginas as $i => $url) {for (i = 1; i <= n; i++) {
url = paginas[i]
print i, url, visitas[url]
}
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Con asort te quedas con los valores sueltos. Sirve cuando la clave ya no te importa: el mínimo y el máximo, por ejemplo.
awkprograma.awk
{ bytes[$1] += $10 }
END {
# En PHP: $ordenados = array_values($bytes); sort($ordenados);
n = asort(bytes, ordenados)
print"La IP que menos:", ordenados[1], "bytes"print"La IP que más:", ordenados[n], "bytes"
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
6 · ¿Y si no tengo gawk?
Forma
¿Dónde funciona?
Cuándo usarla
… | sort -rn
En cualquier awk, con terminal
En el servidor, para una consulta rápida
PROCINFO["sorted_in"]
Solo gawk
Dentro de un programa: la que usa este curso
asort / asorti
Solo gawk
Cuando quieres el resultado en un array numerado
La pregunta que te vas a hacer
Mi servidor es Debian o Ubuntu y su awk es mawk. ¿Qué hago con todo esto?
Lo primero, saber qué tienes. awk --version contesta «GNU Awk» si es gawk. Si da error o dice otra cosa, prueba awk -W version: mawk contesta con su nombre.
Con mawk tienes dos caminos:
Ordenar fuera. Quita la línea de PROCINFO, imprime el número delante y añade | sort -rn (o | sort a secas para orden alfabético) al final del comando. Funciona siempre.
Instalar gawk. Es un paquete normal: sudo apt install gawk. Después puedes llamarlo por su nombre (gawk -f programa.awk access.log) y tus programas con PROCINFO funcionan tal cual.
Lo peligroso es no hacer nada: en mawk la línea mágica no da error. El programa se ejecuta, imprime todas las líneas y salen desordenadas. En un top 3, eso significa tres IP cualesquiera.
El programa cuenta cuántas respuestas hay de cada tamaño (la clave es el campo 10, los bytes) e imprime el tamaño y las veces. Tiene que salir ordenado por tamaño de menor a mayor, como número: con el log que ves, empieza por 0 2, 68 1, 153 4 y acaba en 1048576 1. Ahora ordena como texto y el mega sale el segundo. En PHP sería ksort($por_tamano, SORT_NUMERIC).
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Solo hay que cambiar una pieza del nombre del orden: la del medio, la que dice cómo se compara.
Reto 2 de 4 · ✓ Resuelto
Las IP, de más a menos bytes
Imprime cada IP con el total de bytes que se ha llevado (campo 10), de mayor a menor total. Con el log que ves, la primera línea es 192.0.2.140 1063876 y la última 198.51.100.4 1242. El programa ya suma, pero ordena por IP. En PHP: arsort($bytes, SORT_NUMERIC).
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Ahora ordena por índice (ind), como texto y ascendente. Quieres las tres piezas contrarias: por valor, como número y descendente.
Reto 3 de 4 · ✓ Resuelto
Top 3 de páginas por bytes
Imprime solo las 3 páginas que más bytes han servido en total (la página es el campo 7 y los bytes el 10), de mayor a menor: la página, un espacio y el total. Con el log que ves, la primera línea es /descuento/precio.pdf 1048576. El programa ya ordena, pero imprime todas. En PHP cortarías con array_slice($bytes, 0, 3, true).
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Cuenta las vueltas con una variable (puesto++) y sal del for con break cuando llegue a 3.
Reto 4 de 4 · ✓ Resuelto
El podio, con porcentaje
Imprime el podio de IP por bytes: las 3 que más bytes se han llevado, de mayor a menor, con su puesto y qué porcentaje del total de bytes del log supone cada una, con un decimal. Formato exacto de la primera línea con el log que ves: 1. 192.0.2.140 1063876 bytes (91.2%). El programa de partida las saca todas, de menor a mayor y sin porcentaje. Te hace falta el total de bytes de todo el log. En PHP: printf("%d. %s %d bytes (%.1f%%)\n", …).
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Tres cambios: el orden (@val_num_desc), un total_bytes += $10 en la regla de cada línea para poder calcular bytes[ip] * 100 / total_bytes, y el break al llegar al puesto 3. El % de verdad se escribe %% en printf.
Resumen
Lo que te llevas de esta lección
awk no ordena solo. La forma universal es la tubería: … | sort -rn | head -3. En PHP sería arsort() y array_slice().
En gawk, PROCINFO["sorted_in"] fija el orden de los for … in que vengan después. Solo gawk: en mawk no da error y no ordena.
El orden se lee por piezas: ind/val (clave o valor), str/num (texto o número), asc/desc. @val_num_desc es arsort($a, SORT_NUMERIC).
Cantidades con num, nombres con str. Como texto, 1048576 va antes que 153: el mismo fallo que SORT_STRING en PHP.
Top N = for ordenado + contador + break. En PHP, array_slice($a, 0, 3, true).
asorti deja las claves ordenadas en un array numerado desde 1; asort deja los valores y pierde las claves (al revés que el asort() de PHP).
Para recordarlo: «Qué, cómo y hacia dónde»
QQué ind · val
CCómo str · num
HHacia dónde asc · desc
El nombre del orden contesta tres preguntas en fila. ¿Qué ordeno? ind o val. ¿Cómo comparo? str o num. ¿Hacia dónde? asc o desc. Para un top: valor, número, descendente.