Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 17 de 31 · Arrays asociativos ✦ WebMCP implementado

Ordenar el resultado: el top de IP

10 min de lectura 4 retos

Un recuento desordenado sirve de poco: lo que quieres saber es quién va primero. En esta lección ves las tres formas de ordenar el resultado de un array (la de toda la vida con sort, la línea mágica de gawk por fin explicada y las funciones asort y asorti) y montas el clásico top de IP.

¿De dónde vienen los nombres?

sort = inglés sort (ordenar, clasificar)
Un programa de la terminal, aparte de awk, que ordena las líneas que recibe. Está en todos los servidores Unix. Es el sort() de PHP, pero para líneas de texto.
sorted_in = inglés sorted in: ordenado en el in
El elemento de PROCINFO que decide en qué orden recorre gawk un for (clave in array). De ahí el in del nombre.
@ind_str_asc = index + string + ascending
Por índice (la clave), comparando como texto, de menor a mayor. Las otras piezas: val de value (el valor), num de number (como número) y desc de descending (de mayor a menor).
asort y asorti = array sort y array sort by indices
Funciones de gawk que ordenan un array: asort por sus valores y asorti por sus claves (índices). Ojo: el asort() de PHP conserva las claves y el de awk las pierde.
En 4 ideas
1/4

awk no tiene sort(), ksort() ni arsort(). La forma de siempre es sacar el recuento sin ordenar y pasárselo al programa sort de la terminal: … | sort -rn.

1 · La de toda la vida: una tubería a sort

En PHP, después de contar, llamas a arsort($visitas) y listo. El awk original no trae nada parecido. No es un despiste: awk nació para trabajar en cadena con otros programas pequeños de la terminal, y uno de ellos, sort, ya sabía ordenar.

Así que la receta clásica es: awk cuenta y escribe el recuento desordenado, y sort lo ordena. Se unen con una tubería (|), que manda la salida de un programa a la entrada del siguiente. Es como una cadena de montaje: uno cuenta y el de al lado ordena.

awkprograma.awkSolo lectura: necesita la terminal
{ visitas[$1]++ }

END {
    for (ip in visitas) {
        # el número va delante: sort ordena por el principio de la línea
        print visitas[ip], ip | "sort -rn"
    }
}
$ awk -f programa.awk access.log
7 198.51.100.4
5 203.0.113.7
4 192.0.2.55
2 66.249.66.1
2 192.0.2.140

print … | "sort -rn" manda cada línea al programa sort en vez de a la pantalla. Las dos letras son opciones de sort: -n de numeric (ordena como números, no como texto) y -r de reverse (al revés: de mayor a menor).

Lo más habitual es poner la tubería fuera, en la línea de comando, y cortar con head -3 para quedarte con los tres primeros:

$ awk '{ visitas[$1]++ } END { for (ip in visitas) print visitas[ip], ip }' access.log | sort -rn | head -3
7 198.51.100.4
5 203.0.113.7
4 192.0.2.55

2 · PROCINFO["sorted_in"]: la línea mágica, por dentro

Llevas dos lecciones copiando PROCINFO["sorted_in"] = "@ind_str_asc". Vamos a abrirla. PROCINFO es un array que gawk trae ya creado. Si le pones un elemento llamado "sorted_in", gawk lo mira cada vez que empieza un for (clave in array) y recorre las claves en el orden que diga su valor.

Solo gawk. En mawk y en macOS PROCINFO es un array cualquiera: guardar algo en él no da error y no ordena nada. Al final de la lección tienes qué hacer en ese caso.

Hasta ahora ordenabas por la clave. Cambia el valor por @val_num_desc y ordena por el valor, de mayor a menor. Los bytes que se ha llevado cada IP, del más tragón al menos:

PHP 8.5bytes.php
<?php
$bytes = [];
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as $linea) {
    $campos = explode(" ", $linea);
    $bytes[$campos[0]] = ($bytes[$campos[0]] ?? 0) + (int) $campos[9];
}

// ordenar por valor, de mayor a menor, conservando las claves
arsort($bytes, SORT_NUMERIC);
foreach ($bytes as $ip => $total) {
    echo $ip, " ", $total, PHP_EOL;
}
awkprograma.awk
# En PHP: $bytes[$ip] = ($bytes[$ip] ?? 0) + (int) $campos[9];
{ bytes[$1] += $10 }

END {
    # En PHP: arsort($bytes, SORT_NUMERIC);
    # Solo gawk: recorre el array en orden (en mawk el orden no esta definido)
    PROCINFO["sorted_in"] = "@val_num_desc"
    for (ip in bytes) {
        print ip, bytes[ip]
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 922 ms · gawk: 620 ms. awk tarda 1,5 veces menos que PHP.

El nombre del orden parece una contraseña, pero son tres piezas separadas por guiones bajos, siempre en el mismo orden:

PiezaOpcionesQué decide
1.ªind (índice: la clave) o val (el valor)Por qué se ordena
2.ªstr (texto) o num (número)Cómo se compara
3.ªasc (de menor a mayor) o desc (de mayor a menor)Hacia dónde
Valor de sorted_inOrdena por…En PHP
@ind_str_ascClave, como texto, A→Zksort($a, SORT_STRING)
@ind_str_descClave, como texto, Z→Akrsort($a, SORT_STRING)
@ind_num_ascClave, como número, de menor a mayorksort($a, SORT_NUMERIC)
@ind_num_descClave, como número, de mayor a menorkrsort($a, SORT_NUMERIC)
@val_num_ascValor, como número, de menor a mayorasort($a, SORT_NUMERIC)
@val_num_descValor, como número, de mayor a menorarsort($a, SORT_NUMERIC)
@val_str_ascValor, como texto, A→Zasort($a, SORT_STRING)
@val_str_descValor, como texto, Z→Aarsort($a, SORT_STRING)

3 · str o num: el 9 que va después del 10

La pieza del medio es la que más fallos da. Este programa cuenta las respuestas por tamaño (la clave es el campo de los bytes) e imprime las claves dos veces: primero ordenadas como texto y después como número.

awkprograma.awk
{ por_tamano[$10]++ }

END {
    # En PHP: ksort($por_tamano, SORT_STRING);
    # Solo gawk: recorre el array en orden (en mawk el orden no esta definido)
    PROCINFO["sorted_in"] = "@ind_str_asc"
    for (tamano in por_tamano) {
        printf "%s ", tamano
    }
    print ""

    # En PHP: ksort($por_tamano, SORT_NUMERIC);
    # Solo gawk: recorre el array en orden (en mawk el orden no esta definido)
    PROCINFO["sorted_in"] = "@ind_num_asc"
    for (tamano in por_tamano) {
        printf "%s ", tamano
    }
    print ""
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

En la primera línea, 1048576 (un mega) sale el segundo, delante de 153. En la segunda, cada cosa está en su sitio.

¿Por qué? · En PHP no existe

¿Por qué como texto 1048576 va antes que 153?

Comparar como texto es ordenar como un diccionario: se mira la primera letra; si empatan, la segunda; y así. 1048576 y 153 empatan en el 1. Después se compara 0 con 5, gana el 0 y ya no se mira más. Que uno tenga siete cifras da igual, como da igual que «casa» sea más corta que «casamiento».

Ya lo viste en el módulo 03 al comparar campos: "153" > "9" es falso como texto. Aquí pesa más, porque las claves de un array son siempre texto y gawk no adivina si quieres tratarlas como números: se lo dices tú con num.

En PHP el fallo es el mismo con otro nombre: sort($a, SORT_STRING) frente a sort($a, SORT_NUMERIC). La regla: si lo que ordenas son cantidades (visitas, bytes, estados, horas), num. Si son nombres (IP, páginas, navegadores), str.

4 · Top N: un contador y un break

Con el orden resuelto, el top es fácil: recorres de mayor a menor, cuentas las vueltas y, cuando llevas las que querías, sales con break (lo viste en el módulo 04). Las 3 IP que más bytes se han llevado, con su puesto:

awkprograma.awk
{ bytes[$1] += $10 }

END {
    # En PHP: arsort($bytes, SORT_NUMERIC);
    # Solo gawk: recorre el array en orden (en mawk el orden no esta definido)
    PROCINFO["sorted_in"] = "@val_num_desc"
    for (ip in bytes) {
        puesto++
        # En PHP: printf("%d. %s %d bytes\n", $puesto, $ip, $total);
        printf "%d. %s %d bytes\n", puesto, ip, bytes[ip]
        # En PHP: array_slice($bytes, 0, 3, true) hace este corte
        if (puesto == 3) {
            break
        }
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Es el sort -rn | head -3 de la terminal, hecho dentro de awk. En PHP no hace falta el contador: array_slice($bytes, 0, 3, true) corta el array ya ordenado (el true conserva las claves).

5 · asort y asorti: ordenar en otro array

gawk tiene además dos funciones que ordenan y dejan el resultado en un array nuevo, numerado desde 1. Las dos devuelven cuántos elementos hay. Son Solo gawk.

  • n = asorti(origen, destino): mete en destino[1], destino[2]… las claves de origen, ordenadas como texto.
  • n = asort(origen, destino): mete en destino los valores de origen, ordenados. Las claves se pierden.

Como el destino va numerado, se recorre con el for (i = 1; i <= n; i++) de toda la vida, que sí tiene un orden fijo. Las páginas del log, en orden alfabético, con sus visitas:

awkprograma.awk
{ visitas[$7]++ }

END {
    # En PHP: $paginas = array_keys($visitas); sort($paginas, SORT_STRING);
    n = asorti(visitas, paginas)
    # En PHP: foreach ($paginas as $i => $url) {
    for (i = 1; i <= n; i++) {
        url = paginas[i]
        print i, url, visitas[url]
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Con asort te quedas con los valores sueltos. Sirve cuando la clave ya no te importa: el mínimo y el máximo, por ejemplo.

awkprograma.awk
{ bytes[$1] += $10 }

END {
    # En PHP: $ordenados = array_values($bytes); sort($ordenados);
    n = asort(bytes, ordenados)
    print "La IP que menos:", ordenados[1], "bytes"
    print "La IP que más:", ordenados[n], "bytes"
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

6 · ¿Y si no tengo gawk?

Forma¿Dónde funciona?Cuándo usarla
… | sort -rnEn cualquier awk, con terminalEn el servidor, para una consulta rápida
PROCINFO["sorted_in"]Solo gawkDentro de un programa: la que usa este curso
asort / asortiSolo gawkCuando quieres el resultado en un array numerado

La pregunta que te vas a hacer

Mi servidor es Debian o Ubuntu y su awk es mawk. ¿Qué hago con todo esto?

Lo primero, saber qué tienes. awk --version contesta «GNU Awk» si es gawk. Si da error o dice otra cosa, prueba awk -W version: mawk contesta con su nombre.

Con mawk tienes dos caminos:

  1. Ordenar fuera. Quita la línea de PROCINFO, imprime el número delante y añade | sort -rn (o | sort a secas para orden alfabético) al final del comando. Funciona siempre.
  2. Instalar gawk. Es un paquete normal: sudo apt install gawk. Después puedes llamarlo por su nombre (gawk -f programa.awk access.log) y tus programas con PROCINFO funcionan tal cual.

Lo peligroso es no hacer nada: en mawk la línea mágica no da error. El programa se ejecuta, imprime todas las líneas y salen desordenadas. En un top 3, eso significa tres IP cualesquiera.

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

Respuestas por tamaño

El programa cuenta cuántas respuestas hay de cada tamaño (la clave es el campo 10, los bytes) e imprime el tamaño y las veces. Tiene que salir ordenado por tamaño de menor a mayor, como número: con el log que ves, empieza por 0 2, 68 1, 153 4 y acaba en 1048576 1. Ahora ordena como texto y el mega sale el segundo. En PHP sería ksort($por_tamano, SORT_NUMERIC).

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. awk no ordena solo. La forma universal es la tubería: … | sort -rn | head -3. En PHP sería arsort() y array_slice().
  2. En gawk, PROCINFO["sorted_in"] fija el orden de los for … in que vengan después. Solo gawk: en mawk no da error y no ordena.
  3. El orden se lee por piezas: ind/val (clave o valor), str/num (texto o número), asc/desc. @val_num_desc es arsort($a, SORT_NUMERIC).
  4. Cantidades con num, nombres con str. Como texto, 1048576 va antes que 153: el mismo fallo que SORT_STRING en PHP.
  5. Top N = for ordenado + contador + break. En PHP, array_slice($a, 0, 3, true).
  6. asorti deja las claves ordenadas en un array numerado desde 1; asort deja los valores y pierde las claves (al revés que el asort() de PHP).

Para recordarlo: «Qué, cómo y hacia dónde»

QQué
ind · val
CCómo
str · num
HHacia dónde
asc · desc

El nombre del orden contesta tres preguntas en fila. ¿Qué ordeno? ind o val. ¿Cómo comparo? str o num. ¿Hacia dónde? asc o desc. Para un top: valor, número, descendente.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.