Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 29 de 31 · Proyecto final: el informe del log ✦ WebMCP implementado

Fase 3 · Top de páginas y visitas por hora

10 min de lectura 3 retos

Tu informe ya sabe cuántas visitas reales hubo. Ahora toca contestar las tres preguntas que se hace cualquiera que tenga una web: qué páginas se leen más, quién viene más y a qué hora. Son tres arrays y dos formas de enseñarlos: una lista ordenada con los primeros puestos y un gráfico de barras hecho con almohadillas.

¿De dónde vienen los nombres?

top = inglés top (la parte de arriba)
Los primeros puestos de una lista ordenada: el «top 3» son los tres con más visitas. En SQL es el ORDER BY visitas DESC LIMIT 3.
PROCINFO["sorted_in"] = process information, sorted in (ordenado en…)
El array de gawk con datos del propio programa. Su casilla sorted_in dice en qué orden recorren los arrays los for (clave in array). Puede valer un orden ya hecho (@ind_str_asc) o el nombre de una función tuya.
barra() = de barra, como en «gráfico de barras»
La función del informe que convierte un número en una tira de #. En PHP sería un str_repeat("#", $n).
En 4 ideas
1/4

Tres arrays en la última regla del embudo: paginas[url()]++, visitas_ip[ip()]++, por_hora[hora()]++. Es el $a[$k] = ($a[$k] ?? 0) + 1 de PHP, tres veces.

1 · Tres arrays en el fondo del embudo

Al fondo del embudo de la fase 2 solo llegan las visitas reales. Ahí había un visitas++. Ahora, además de contarlas, las repartes en cajones: uno por página, uno por IP y uno por hora.

awkprograma.awk
{
    visitas++
    # En PHP: $paginas[$url] = ($paginas[$url] ?? 0) + 1;
    paginas[url()]++
    visitas_ip[ip()]++
    por_hora[hora()]++
}

No hay nada nuevo: es el contador por clave del módulo 05. Lo que cambia es que las claves ya no son $7 o $1, sino lo que devuelven tus funciones de la fase 1. Como url() quita la query string y hora() devuelve solo dos cifras, cada visita cae en el cajón que le toca.

Llenar los arrays es la parte fácil. La difícil es enseñarlos: un array de awk no tiene orden, y un informe que cada día sale ordenado de una forma no sirve para comparar.

2 · El problema del empate

En la lección ordenar-resultados aprendiste a recorrer un array de mayor a menor valor con @val_num_desc (Solo gawk). Pruébalo con todas las URL pedidas en el log, sin filtrar, para que haya variedad:

awkprograma.awk
function url(    ruta) {
    ruta = $7
    sub(/\?.*/, "", ruta)
    return ruta
}

{
    pedidas[url()]++
}

END {
    # En PHP: arsort($pedidas);
    PROCINFO["sorted_in"] = "@val_num_desc"
    for (clave in pedidas) {
        printf "%-25s %4d\n", clave, pedidas[clave]
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Arriba está /login, con 3. Bien. Ahora mira las dos que tienen 2, y las trece que tienen 1. ¿Por qué han salido en ese orden y no en otro? Tú no has dicho nada sobre eso. @val_num_desc solo promete una cosa: que los valores van de mayor a menor. Entre los que empatan, el orden lo pone gawk como le viene bien.

Es como ordenar una clase por nota. Si dos alumnos tienen un 7, ¿quién va primero en la lista? Si no pones una segunda regla («a igual nota, por apellido»), cada profesor los pondrá de una manera.

3 · Tu propia regla de orden

En PHP, cuando arsort() no te basta, usas usort() o uksort() y le pasas una función que compara dos elementos. gawk hace lo mismo: en PROCINFO["sorted_in"], en lugar de un orden ya hecho, pones el nombre de una función tuya (Solo gawk).

gawk llamará a esa función cada vez que necesite saber cuál de dos elementos va antes. Le pasa cuatro cosas: la clave y el valor del primero, y la clave y el valor del segundo. La función contesta con un número:

DevuelvesSignificaEn PHP (<=>)
Un número negativoEl primero va antes-1
CeroDa igual0
Un número positivoEl primero va después1
PHP 8.5top.php
<?php
$pedidas = [];
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as $linea) {
    $url = explode(" ", $linea)[6];
    $pedidas[$url] = ($pedidas[$url] ?? 0) + 1;
}

// primero quien más tiene; si empatan, por orden alfabético
uksort($pedidas, fn(string $a, string $b): int => [$pedidas[$b], $a] <=> [$pedidas[$a], $b]);

$puesto = 0;
foreach (array_slice($pedidas, 0, 5, true) as $url => $veces) {
    printf("%d. %-25s %4d\n", ++$puesto, $url, $veces);
}
awkprograma.awk
function url(    ruta) {
    ruta = $7
    sub(/\?.*/, "", ruta)
    return ruta
}

# En PHP: fn($a, $b) => [$pedidas[$b], $a] <=> [$pedidas[$a], $b]
function por_valor_y_clave(clave1, valor1, clave2, valor2) {
    # primero, quien mas tiene
    if (valor1 != valor2) {
        return valor2 - valor1
    }
    # si empatan, por orden alfabetico de la clave
    if (clave1 < clave2) {
        return -1
    }
    return clave1 > clave2
}

{
    pedidas[url()]++
}

END {
    # En PHP: uksort($pedidas, ...);
    PROCINFO["sorted_in"] = "por_valor_y_clave"
    for (clave in pedidas) {
        puesto++
        if (puesto > 5) {
            break
        }
        printf "%d. %-25s %4d\n", puesto, clave, pedidas[clave]
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 815 ms · gawk: 819 ms. Aquí PHP gana: awk tarda 1,0 veces más.

Ahora las empatadas a 2 salen por orden alfabético, y las empatadas a 1 también. El resultado es el mismo hoy, mañana y con cualquier versión de gawk.

  • valor2 - valor1 es el truco para ordenar números de mayor a menor: si el segundo tiene más, sale positivo y el primero se va detrás. Para ordenar de menor a mayor sería valor1 - valor2.
  • Las dos últimas líneas comparan las claves como texto. clave1 > clave2 vale 1 si es mayor y 0 si son iguales: justo lo que hay que devolver.

¿Por qué? · En PHP no existe

¿Por qué una función con cuatro parámetros y no dos, como en PHP?

El callback de uksort() recibe solo las dos claves, y el de uasort() solo los dos valores. Si quieres mirar las dos cosas a la vez, como aquí, en PHP tienes que ir a buscar el valor al array desde dentro de la función ($pedidas[$a]).

gawk te lo da todo de una vez: clave y valor de cada uno. Por eso con una sola función puedes ordenar por valor, por clave o por una mezcla de los dos. La de tu informe se llama por_valor_y_clave para que el nombre diga las dos reglas y su orden.

El fallo que trae: el nombre de la función va entre comillas, como un texto. Si lo escribes mal ("por_valor_y_clabe"), gawk se para con un error que dice que esa función no existe. Aquí, por una vez, awk sí avisa.

4 · imprimir_top(): una función para todos los tops

El informe va a tener un top de páginas y otro de IP. Los dos hacen lo mismo con un array distinto: ordenar, numerar los puestos y cortar al llegar a N. Eso pide una función que reciba el array. En awk los arrays se pasan por referencia (módulo 06), así que no se copia nada. Dentro ordena con por_valor_y_clave, así que también es Solo gawk.

awkprograma.awk
function ip() {
    return $1
}

function url(    ruta) {
    ruta = $7
    sub(/\?.*/, "", ruta)
    return ruta
}

function por_valor_y_clave(clave1, valor1, clave2, valor2) {
    if (valor1 != valor2) {
        return valor2 - valor1
    }
    if (clave1 < clave2) {
        return -1
    }
    return clave1 > clave2
}

# En PHP: function imprimir_top(string $texto, array $cuenta, int $cuantos): void
function imprimir_top(texto, cuenta, cuantos,    clave, puesto) {
    print texto
    PROCINFO["sorted_in"] = "por_valor_y_clave"
    for (clave in cuenta) {
        puesto++
        if (puesto > cuantos) {
            break
        }
        printf "%d. %-25s %4d\n", puesto, clave, cuenta[clave]
    }
    if (puesto == 0) {
        print "(sin datos)"
    }
}

BEGIN {
    # En PHP: $top = (int) ($argv[1] ?? 3);
    if (top == "") {
        top = 3
    }
}

{
    pedidas[url()]++
    peticiones_ip[ip()]++
}

END {
    imprimir_top("TOP " top " URL PEDIDAS", pedidas, top)
    print ""
    imprimir_top("TOP " top " IP", peticiones_ip, top)
    print ""
    imprimir_top("TOP " top " DE UN ARRAY VACIO", nada, top)
}
$ awk -v top=2 -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -v top=2: v de variable. Crea esa variable antes de leer la primera línea, para pasarle un dato desde fuera sin tocar el programa.
  3. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  4. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Cuántos puestos se imprimen lo decide la variable top, que llega desde la terminal con -v top=2. Si no la pasas, el BEGIN le pone 3. Prueba a quitar el -v: en la caja no puedes cambiar la línea de comando, pero sí escribir top = 5 dentro del BEGIN.

¿Por qué? · En PHP no existe

¿Por qué clave y puesto van en los paréntesis, si nadie se los pasa?

En PHP, una variable que estrenas dentro de una función nace y muere con ella. Cada vez que llamas a imprimir_top(), $puesto empieza de cero sin que hagas nada.

En awk es al revés: toda variable es global, salvo los parámetros. Si puesto no estuviera en los paréntesis, sería la misma variable en todas las llamadas. La primera llamada la dejaría en 3 (el corte salta cuando vale 3 con top=2). La segunda empezaría en 3, sumaría 1, vería que 4 es mayor que 2 y cortaría sin imprimir nada. El segundo top saldría vacío, sin ningún error.

Por eso se declaran como parámetros de más, separados por cuatro espacios para que se vea que no son para quien llama. Un parámetro que nadie pasa nace vacío en cada llamada: es la única variable local que tiene awk. Con clave pasa lo mismo: si fuera global, pisaría a cualquier otra clave del programa.

5 · Visitas por hora: una barra de #

Una columna de números se lee; una barra se ve. Para saber de un vistazo a qué hora hay más gente, cada hora lleva al lado una tira de #: cuanto más larga, más visitas.

La idea sencilla es poner un # por visita. Con las 9 visitas del curso funciona. Con el log de un día de verdad, una hora con 4.000 visitas serían 4.000 almohadillas y cien líneas de pantalla. La barra tiene que ir a escala: la hora con más visitas ocupa 20 caracteres, y las demás, lo que les toque en proporción.

Es una regla de tres, la de los mapas: si maximo visitas son 20 caracteres, valor visitas son valor * 20 / maximo. Como no se puede dibujar media almohadilla, int() quita los decimales.

awkprograma.awk
function hora() {
    return substr($4, 14, 2)
}

# En PHP: return str_repeat("#", intdiv($valor * 20, $maximo));
function barra(valor, maximo,    largo, texto, i) {
    largo = int(valor * 20 / maximo)
    for (i = 1; i <= largo; i++) {
        texto = texto "#"
    }
    return texto
}

{
    por_hora[hora()]++
}

END {
    # primera vuelta: buscar la hora con mas peticiones
    for (franja in por_hora) {
        if (por_hora[franja] > maximo) {
            maximo = por_hora[franja]
        }
    }
    # segunda vuelta: imprimir por orden de hora
    PROCINFO["sorted_in"] = "@ind_str_asc"
    for (franja in por_hora) {
        printf "%sh %-20s %4d\n", franja, barra(por_hora[franja], maximo), por_hora[franja]
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

  • awk no tiene str_repeat(). La tira se construye pegando un # en cada vuelta del bucle, como harías en PHP con $texto .= "#".
  • Hacen falta dos vueltas al array: una para encontrar el máximo y otra para imprimir. La primera no necesita orden (el máximo es el mismo se recorra como se recorra); la segunda sí, y por eso el PROCINFO va justo delante de ella.
  • Las horas se ordenan como texto (@ind_str_asc) y sale bien porque todas tienen dos cifras: "08" va antes que "10".
  • En el printf, %-20s reserva siempre 20 huecos para la barra. Así el número de la derecha queda en columna aunque la barra sea corta.

6 · Tu informe al acabar la fase 3

Al programa de la fase 2 se le añaden cuatro funciones (por_valor_y_clave, barra, imprimir_top, imprimir_horas), un BEGIN para el valor por defecto de top, los tres arrays en la última regla y tres líneas más en el END. Todo lo demás está como lo dejaste (y sigue siendo Solo gawk: sin PROCINFO los tops salen desordenados):

awkprograma.awk
# informe.awk · fase 3 (necesita gawk)
# ---------- Fase 1: sacar los datos de la linea ----------
# En PHP: public function ip(): string { return $this->campos[0]; }
function ip() {
    return $1
}

function hora() {
    return substr($4, 14, 2)
}

function metodo() {
    return substr($6, 2)
}

function url(    ruta) {
    ruta = $7
    sub(/\?.*/, "", ruta)
    return ruta
}

function estado() {
    return $9
}

function bytes() {
    return $10 + 0
}

function agente(    trozos) {
    split($0, trozos, "\"")
    return trozos[6]
}

function navegador(    texto) {
    texto = agente()
    if (texto ~ /Firefox\//) {
        return "Firefox"
    }
    if (texto ~ /Chrome\//) {
        return "Chrome"
    }
    if (texto ~ /Safari\//) {
        return "Safari"
    }
    return "otro"
}

function linea_valida() {
    return NF >= 12 && estado() ~ /^[0-9][0-9][0-9]$/
}

# ---------- Fase 2: filtrar y contar ----------
# En PHP: return preg_match('/bot|spider|crawl|curl|wget|python-requests/i', $agente) === 1;
function es_bot() {
    return tolower(agente()) ~ /bot|spider|crawl|curl|wget|python-requests/
}

function es_estatico() {
    return tolower(url()) ~ /\.(css|js|png|jpg|jpeg|gif|svg|ico|woff2)$/
}

# ---------- Fase 3: ordenar y dibujar ----------
# En PHP: fn($a, $b) => [$cuenta[$b], $a] <=> [$cuenta[$a], $b]
function por_valor_y_clave(clave1, valor1, clave2, valor2) {
    if (valor1 != valor2) {
        return valor2 - valor1
    }
    if (clave1 < clave2) {
        return -1
    }
    return clave1 > clave2
}

function barra(valor, maximo,    largo, texto, i) {
    largo = int(valor * 20 / maximo)
    for (i = 1; i <= largo; i++) {
        texto = texto "#"
    }
    return texto
}

# ---------- Las secciones del informe ----------
function imprimir_resumen() {
    print "RESUMEN"
    printf "%-20s %7d\n", "Lineas leidas", leidas
    printf "%-20s %7d\n", "Lineas rotas", rotas
    printf "%-20s %7d\n", "Peticiones de bots", de_bots
    printf "%-20s %7d\n", "Ficheros estaticos", estaticos
    printf "%-20s %7d\n", "Visitas reales", visitas
    printf "%-20s %7d\n", "Bytes servidos", total_bytes
}

function imprimir_estados(    codigo) {
    print "ESTADOS"
    PROCINFO["sorted_in"] = "@ind_str_asc"
    for (codigo in por_estado) {
        printf "%-20s %7d\n", codigo, por_estado[codigo]
    }
}

function imprimir_top(texto, cuenta, cuantos,    clave, puesto) {
    print texto
    PROCINFO["sorted_in"] = "por_valor_y_clave"
    for (clave in cuenta) {
        puesto++
        if (puesto > cuantos) {
            break
        }
        printf "%d. %-25s %4d\n", puesto, clave, cuenta[clave]
    }
    if (puesto == 0) {
        print "(sin datos)"
    }
}

function imprimir_horas(    franja, maximo) {
    print "VISITAS POR HORA"
    for (franja in por_hora) {
        if (por_hora[franja] > maximo) {
            maximo = por_hora[franja]
        }
    }
    PROCINFO["sorted_in"] = "@ind_str_asc"
    for (franja in por_hora) {
        printf "%sh %-20s %4d\n", franja, barra(por_hora[franja], maximo), por_hora[franja]
    }
}

# ---------- El programa ----------
BEGIN {
    if (top == "") {
        top = 3
    }
}

{
    leidas++
}

!linea_valida() {
    rotas++
    next
}

{
    total_bytes += bytes()
    por_estado[estado()]++
}

es_bot() {
    de_bots++
    next
}

es_estatico() {
    estaticos++
    next
}

{
    visitas++
    paginas[url()]++
    visitas_ip[ip()]++
    por_hora[hora()]++
}

END {
    imprimir_resumen()
    print ""
    imprimir_estados()
    print ""
    imprimir_top("TOP " top " PAGINAS", paginas, top)
    print ""
    imprimir_top("TOP " top " IP", visitas_ip, top)
    print ""
    imprimir_horas()
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Mira el top de páginas: en el log del curso cada página tiene una sola visita real, así que las nueve empatan. Salen las tres primeras por orden alfabético, que es lo que dice tu función. Sin ella, ese top sería una lotería.

Y el END sigue siendo un índice: se lee de arriba abajo y dice qué secciones tiene el informe y en qué orden.

La pregunta que te vas a hacer

¿Y esto aguanta con el log de un mes, con millones de líneas?

Sí, y la razón está en qué guarda awk en memoria. Las líneas no se guardan: se leen, se cuentan y se olvidan. Lo que se guarda son los arrays, y esos crecen con las claves distintas, no con las líneas. Un millón de visitas a 300 páginas son 300 casillas.

El array que más puede crecer es el de las IP, porque distintas hay muchas. Aun así, cien mil IP distintas ocupan unas decenas de megas como mucho. En PHP el equivalente es leer con fgets() en un bucle en vez de cargar el fichero con file(): la memoria depende de lo que acumulas, no del tamaño del log.

Hora de practicar

Retos · 0/3 resueltos

Reto 1 de 3

Las páginas que más fallan

Este informe cuenta las páginas que respondieron con un error (estado 400 o más) y las imprime de más a menos fallos. Tiene dos problemas: las empatadas salen en el orden que quiere gawk y no hay corte. Haz que por_valor_y_clave desempate por orden alfabético de la página y que solo se impriman los 3 primeros puestos. Con el log del curso la primera línea es 1. /login 3 y la segunda 2. /.env 1. En PHP: uksort($fallos, fn($a, $b) => [$fallos[$b], $a] <=> [$fallos[$a], $b]) y un array_slice($fallos, 0, 3, true).

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. Las visitas reales se reparten en tres arrays: paginas[url()]++, visitas_ip[ip()]++, por_hora[hora()]++. En PHP, tres $a[$k] = ($a[$k] ?? 0) + 1.
  2. @val_num_desc no dice nada de los empates. Un top necesita una segunda regla, igual que un ORDER BY visitas DESC, url ASC de SQL.
  3. PROCINFO["sorted_in"] = "por_valor_y_clave" (Solo gawk) ordena con tu función, que recibe clave y valor de dos elementos y devuelve negativo, cero o positivo. Es el callback de uksort().
  4. imprimir_top(texto, cuenta, cuantos, clave, puesto): las variables de trabajo van en los paréntesis para que sean locales. Si no, la segunda llamada hereda el puesto de la primera.
  5. PROCINFO["sorted_in"] es global: se asigna justo antes de cada for (… in …) que necesite orden.
  6. La barra se dibuja a escala: int(valor * 20 / maximo) almohadillas, pegadas en un bucle. Es str_repeat("#", intdiv($valor * 20, $maximo)).

Para recordarlo: «A igual nota, por apellido»

Todo orden de tu informe lleva dos reglas: la que importa y la que desempata. Y toda función que cuente algo lleva sus contadores en los paréntesis: «lo que es de la función, entre sus paréntesis».

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.