Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 28 de 31 · Proyecto final: el informe del log ✦ WebMCP implementado

Fase 2 · Filtrar bots y contar

10 min de lectura 3 retos

Tu informe ya sabe leer una línea. Ahora tiene que saber cuáles cuentan. De las 20 líneas del log, menos de la mitad son personas mirando una página: el resto son robots y ficheros sueltos. En esta fase escribes las dos funciones que los apartan y pones los primeros contadores.

¿De dónde vienen los nombres?

bot = abreviatura de robot
Un programa que visita webs sin que haya una persona detrás: el rastreador de Google, un script con curl, un escáner. En el log se le reconoce por su user agent.
es_bot(), es_estatico() = es + lo que se pregunta
Funciones que contestan sí o no. El nombre empieza por es_ para que la regla se lea como una frase. En PHP las llamarías esBot() o isBot() y devolverían bool.
estático = del griego statikós (que está quieto)
Un fichero que el servidor entrega tal cual, sin ejecutar PHP: hojas de estilo, imágenes, JavaScript. No es una página que alguien haya ido a leer.
En 4 ideas
1/4

Una petición no es una visita. El navegador pide la página y después su CSS y sus imágenes; y la mitad del tráfico son robots. En PHP tampoco contarías los <img> como lectores.

1 · Una petición no es una visita

Si le preguntas al log «¿cuánta gente ha venido hoy?» y cuentas líneas, te dirá 20. Es mentira. Mira lo que hay dentro de esas 20 líneas:

Tipo de líneaEjemplo en el log¿Es una persona leyendo?
Una páginaGET /bodega/ropa con ChromeSí
Un fichero de la páginaGET /css/app.css, GET /img/logo.pngNo: lo pide el navegador solo, al pintar la página
Un robot buenoGET /robots.txt de GooglebotNo: es Google apuntando tu web en su buscador
Un robot maloGET /.env con curlNo: alguien probando a ver qué encuentra

Es como contar la gente que entra en una tienda con un sensor en la puerta. El repartidor, el cartero y el que entra tres veces a por las bolsas también hacen sonar el sensor. Para saber cuántos clientes hubo, hay que descontarlos.

Tu informe llamará visita real a lo que queda después de quitar los robots y los ficheros estáticos. Necesitas dos funciones que contesten sí o no.

2 · es_bot(): mirar el user agent

Los robots honrados se presentan: llevan su nombre en el user agent. Googlebot dice Googlebot, un script hecho con curl dice curl/8.5.0. Basta con buscar unas cuantas palabras en lo que devuelve agente(), la función de la fase 1:

PHP 8.5bots.php
<?php
function agente(string $linea): string
{
    return explode('"', $linea)[5] ?? "";
}

function es_bot(string $linea): bool
{
    // la i del final: no distingue mayúsculas
    return preg_match('/bot|spider|crawl|curl|wget|python-requests/i', agente($linea)) === 1;
}

foreach (file("access.log", FILE_IGNORE_NEW_LINES) as $linea) {
    if (es_bot($linea)) {
        echo explode(" ", $linea)[0], " ", agente($linea), PHP_EOL;
    }
}
awkprograma.awk
function ip() {
    return $1
}

function agente(    trozos) {
    split($0, trozos, "\"")
    return trozos[6]
}

# En PHP: return preg_match('/bot|spider|crawl|curl|wget|python-requests/i', agente($linea)) === 1;
function es_bot() {
    return tolower(agente()) ~ /bot|spider|crawl|curl|wget|python-requests/
}

# En PHP: if (es_bot($linea)) { echo ...; }
es_bot() {
    print ip(), agente()
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,52 s · gawk: 8,66 s · mawk: 919 ms. awk tarda 1,7 veces menos que PHP.

Una comparación con ~ vale 1 si casa y 0 si no. La función devuelve ese resultado directamente: no hace falta un if que devuelva 1 y un else que devuelva 0.

¿Por qué? · En PHP no existe

¿Por qué tolower() y no una i al final de la regex, como en PHP?

En PHP escribes /bot/i y la regex deja de distinguir mayúsculas. En awk las regex no tienen modificadores: después de la barra final no va nada.

Hay robots que se llaman AhrefsBot (con B mayúscula) y otros bingbot (con minúscula). Para cazar a los dos con una sola regex, se pasa el texto entero a minúsculas con tolower() y se escribe la regex en minúsculas. Funciona en cualquier awk.

gawk tiene además la variable IGNORECASE (la viste en regex-en-awk), pero afecta a todas las comparaciones del programa, también a las que sí quieres exactas. tolower() solo toca la comparación donde lo pones.

La pregunta que te vas a hacer

¿Y si un robot miente y dice que es Chrome?

Puede hacerlo: el user agent lo escribe quien hace la petición, como el remitente de una carta. es_bot() solo aparta a los robots que se presentan, que son la mayoría del tráfico automático: buscadores, monitores y scripts sin disfrazar.

A los que mienten no se les caza por lo que dicen sino por lo que hacen: piden páginas que no existen, prueban contraseñas, hacen cien peticiones por segundo. De eso se ocupa la fase 4. Y si necesitas reconocer navegadores y robots con precisión de verdad, hay listas mantenidas por mucha gente:

3 · es_estatico(): mirar la extensión

Un fichero estático se reconoce por cómo termina su nombre: .css, .js, .png… La regex lleva un $ al final para exigir que la página acabe en la extensión, no que la contenga:

awkprograma.awk
function url(    ruta) {
    ruta = $7
    sub(/\?.*/, "", ruta)
    return ruta
}

# En PHP: return preg_match('/\.(css|js|png|jpg|jpeg|gif|svg|ico|woff2)$/i', $url) === 1;
function es_estatico() {
    return tolower(url()) ~ /\.(css|js|png|jpg|jpeg|gif|svg|ico|woff2)$/
}

es_estatico() {
    print "estatico:", url()
}

!es_estatico() && url() ~ /\./ {
    print "con punto, pero no estatico:", url()
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

  • El punto va escapado (\.): sin la barra significaría «cualquier carácter» y /blog/css contaría como estático.
  • url() ya viene sin la query string (fase 1). Por eso /favicon.ico?v=3 también termina en .ico para tu informe.
  • El PDF del manual no está en la lista a propósito: alguien ha ido a descargarlo, es una visita. Tampoco robots.txt ni un .php. La lista es tuya: añade o quita extensiones según tu web.

4 · El embudo: una función como patrón

En el módulo 01 aprendiste que el patrón es un if que va delante de las llaves. Pues una llamada a una función también vale como patrón: si devuelve algo distinto de cero, la acción se ejecuta. Con eso el programa se lee de arriba abajo como una lista de preguntas:

awkprograma.awk
function url(    ruta) {
    ruta = $7
    sub(/\?.*/, "", ruta)
    return ruta
}

function agente(    trozos) {
    split($0, trozos, "\"")
    return trozos[6]
}

function es_bot() {
    return tolower(agente()) ~ /bot|spider|crawl|curl|wget|python-requests/
}

function es_estatico() {
    return tolower(url()) ~ /\.(css|js|png|jpg|jpeg|gif|svg|ico|woff2)$/
}

# En PHP: if (es_bot($linea)) { $de_bots++; continue; }
es_bot() {
    de_bots++
    next
}

# En PHP: if (es_estatico($linea)) { $estaticos++; continue; }
es_estatico() {
    estaticos++
    next
}

# En PHP: $visitas++;
{
    visitas++
    print "visita real:", url()
}

END {
    print "bots: " de_bots ", estaticos: " estaticos ", visitas reales: " visitas
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Es un embudo, como los coladores que se ponen uno encima de otro para separar la arena gruesa de la fina. Cada línea cae desde arriba. Si es de un robot, se queda en el primer colador: se cuenta ahí y next la saca. Si es un fichero estático, se queda en el segundo. Lo que llega al fondo es una visita real.

¿Por qué? · En PHP no existe

¿Por qué next y no un if … else if … else?

Podrías meterlo todo en una sola acción con un if encadenado, como harías en PHP. Funciona. Pero cada vez que quieras añadir un filtro tendrás que abrir esa cadena y meterte en medio.

Con una regla por pregunta, añadir un filtro es añadir un bloque en el sitio que toca, sin tocar los demás. En la fase 4 meterás dos reglas nuevas en el embudo y no cambiarás ni una línea de las que ya tienes.

El fallo que trae: si se te olvida un next, la línea sigue cayendo y se cuenta dos veces, como robot y como visita. awk no avisa: es exactamente lo mismo que olvidar un continue en un foreach de PHP. Si un total no te cuadra, lo primero que se mira son los next.

5 · Dónde va cada contador

Un contador cuenta lo que pasa por delante de él. Según a qué altura del embudo lo pongas, cuenta una cosa u otra:

ContadorDónde estáQué cuenta
leidasArriba del todo, antes del porteroTodas las líneas del fichero
rotasEn la regla de !linea_valida()Las que el portero no deja pasar
total_bytes, por_estado[]Después del portero, antes de los filtrosTodo lo que el servidor contestó, robots incluidos
de_bots, estaticosCada uno en su coladorLo que se queda en ese colador
visitasAbajo del todoLo que ha pasado todos los filtros

Los bytes y los estados se cuentan antes de filtrar, y es una decisión, no un descuido. Un robot que se descarga tu web entera gasta tu ancho de banda igual que una persona. Y un error 500 es un error tuyo, lo provoque quien lo provoque.

Los estados van en un array, como en el módulo 05: por_estado[estado()]++. La clave es el código (200, 404…) y el valor, cuántas veces ha salido. Al imprimirlo en el END se ordena por la clave con PROCINFO["sorted_in"] = "@ind_str_asc" (Solo gawk), porque el orden de un for (clave in array) no está definido.

6 · Tu informe al acabar la fase 2

Las funciones de la fase 1 siguen arriba, sin cambios. Debajo están las dos nuevas, las dos secciones y el programa, donde la salida de control de la fase 1 ha dejado su sitio al embudo. La lista de estados sale ordenada gracias a PROCINFO (Solo gawk): con mawk saldría en cualquier orden.

awkprograma.awk
# informe.awk · fase 2 (necesita gawk)
# ---------- Fase 1: sacar los datos de la linea ----------
# En PHP: public function ip(): string { return $this->campos[0]; }
function ip() {
    return $1
}

function hora() {
    return substr($4, 14, 2)
}

function metodo() {
    return substr($6, 2)
}

function url(    ruta) {
    ruta = $7
    sub(/\?.*/, "", ruta)
    return ruta
}

function estado() {
    return $9
}

function bytes() {
    return $10 + 0
}

function agente(    trozos) {
    split($0, trozos, "\"")
    return trozos[6]
}

function navegador(    texto) {
    texto = agente()
    if (texto ~ /Firefox\//) {
        return "Firefox"
    }
    if (texto ~ /Chrome\//) {
        return "Chrome"
    }
    if (texto ~ /Safari\//) {
        return "Safari"
    }
    return "otro"
}

function linea_valida() {
    return NF >= 12 && estado() ~ /^[0-9][0-9][0-9]$/
}

# ---------- Fase 2: filtrar y contar ----------
# En PHP: return preg_match('/bot|spider|crawl|curl|wget|python-requests/i', $agente) === 1;
function es_bot() {
    return tolower(agente()) ~ /bot|spider|crawl|curl|wget|python-requests/
}

function es_estatico() {
    return tolower(url()) ~ /\.(css|js|png|jpg|jpeg|gif|svg|ico|woff2)$/
}

# ---------- Las secciones del informe ----------
function imprimir_resumen() {
    print "RESUMEN"
    printf "%-20s %7d\n", "Lineas leidas", leidas
    printf "%-20s %7d\n", "Lineas rotas", rotas
    printf "%-20s %7d\n", "Peticiones de bots", de_bots
    printf "%-20s %7d\n", "Ficheros estaticos", estaticos
    printf "%-20s %7d\n", "Visitas reales", visitas
    printf "%-20s %7d\n", "Bytes servidos", total_bytes
}

function imprimir_estados(    codigo) {
    print "ESTADOS"
    PROCINFO["sorted_in"] = "@ind_str_asc"
    for (codigo in por_estado) {
        printf "%-20s %7d\n", codigo, por_estado[codigo]
    }
}

# ---------- El programa ----------
{
    leidas++
}

!linea_valida() {
    rotas++
    next
}

{
    total_bytes += bytes()
    por_estado[estado()]++
}

es_bot() {
    de_bots++
    next
}

es_estatico() {
    estaticos++
    next
}

{
    visitas++
}

END {
    imprimir_resumen()
    print ""
    imprimir_estados()
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Comprueba que las cuentas cuadran: 9 de robots + 2 estáticos + 9 visitas reales = 20 líneas leídas. Y la suma de la columna de estados también da 20. Cuando un informe tiene dos caminos para llegar al mismo número y coinciden, puedes fiarte de él.

En imprimir_resumen() todos los printf usan el mismo formato, %-20s %7d: la etiqueta en 20 huecos pegada a la izquierda y el número en 7 pegado a la derecha. Lo viste en la lección de printf: así las columnas quedan rectas aunque los números tengan distinto tamaño.

Hora de practicar

Retos · 0/3 resueltos

Reto 1 de 3

es_estatico(): todas las extensiones

es_estatico() solo reconoce los .css. Hazla devolver verdadero cuando la página termine en una de estas extensiones, en mayúsculas o en minúsculas: css, js, png, jpg, jpeg, gif, svg, ico, woff2. Al comprobar se prueban siete páginas fabricadas (/JS/APP.JS es estático; /blog/css-para-novatos y /descuento/precio.pdf no) y después tu informe cuenta las del log: Ficheros estaticos: 2 de 20. En PHP: preg_match('/\.(css|js|…)$/i', $url) === 1.

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. Petición no es visita: hay que apartar robots y ficheros estáticos. Es el filtro que pondrías en PHP antes de sumar un contador de lecturas.
  2. es_bot() busca palabras en tolower(agente()); es_estatico() mira cómo termina url(). En PHP serían dos preg_match('/…/i', …) === 1.
  3. awk no tiene la i de las regex de PHP: se pasa el texto a minúsculas con tolower().
  4. Una función sirve de patrón: es_bot() { de_bots++; next } es el if (…) { …; continue; } de tu foreach.
  5. Las reglas son un embudo: se prueban en orden y next saca la línea. Un next olvidado cuenta la línea dos veces y nadie avisa.
  6. Un contador cuenta lo que pasa por delante: los bytes y los estados van antes de los filtros; las visitas, al final.

Para recordarlo: «Cada colador, su contador y su next»

PPregunta
es_bot()
CCuenta
de_bots++
SSaca
next

Una regla del embudo siempre hace las mismas tres cosas: Pregunta (la función del patrón), Cuenta (su contador) y Saca la línea (next). Si a una le falta la S, la línea se cuela al siguiente colador.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.