Lección 28 de 31 · Proyecto final: el informe del log✦ WebMCP implementado
Fase 2 · Filtrar bots y contar
10 min de lectura3 retos
Tu informe ya sabe leer una línea. Ahora tiene que saber cuáles cuentan. De las 20 líneas del log, menos de la mitad son personas mirando una página: el resto son robots y ficheros sueltos. En esta fase escribes las dos funciones que los apartan y pones los primeros contadores.
¿De dónde vienen los nombres?
bot = abreviatura de robot
Un programa que visita webs sin que haya una persona detrás: el rastreador de Google, un script con curl, un escáner. En el log se le reconoce por su user agent.
es_bot(), es_estatico() = es + lo que se pregunta
Funciones que contestan sí o no. El nombre empieza por es_ para que la regla se lea como una frase. En PHP las llamarías esBot() o isBot() y devolverían bool.
estático = del griego statikós (que está quieto)
Un fichero que el servidor entrega tal cual, sin ejecutar PHP: hojas de estilo, imágenes, JavaScript. No es una página que alguien haya ido a leer.
En 4 ideas
1/4
Una petición no es una visita. El navegador pide la página y después su CSS y sus imágenes; y la mitad del tráfico son robots. En PHP tampoco contarías los <img> como lectores.
es_bot() y es_estatico() devuelven verdadero o falso mirando el user agent y la página. Son tus preg_match(…) === 1 de PHP, con tolower() en lugar de la i del final.
Una función puede ser el patrón de una regla: es_bot() { de_bots++; next }. Es el if (es_bot($linea)) { $de_bots++; continue; } de tu foreach.
Las reglas forman un embudo: se prueban de arriba abajo y next saca la línea. Dónde pones cada contador decide qué cuenta, igual que el orden de los continue en PHP.
1 · Una petición no es una visita
Si le preguntas al log «¿cuánta gente ha venido hoy?» y cuentas líneas, te dirá 20. Es mentira. Mira lo que hay dentro de esas 20 líneas:
Tipo de línea
Ejemplo en el log
¿Es una persona leyendo?
Una página
GET /bodega/ropa con Chrome
Sí
Un fichero de la página
GET /css/app.css, GET /img/logo.png
No: lo pide el navegador solo, al pintar la página
Un robot bueno
GET /robots.txt de Googlebot
No: es Google apuntando tu web en su buscador
Un robot malo
GET /.env con curl
No: alguien probando a ver qué encuentra
Es como contar la gente que entra en una tienda con un sensor en la puerta. El repartidor, el cartero y el que entra tres veces a por las bolsas también hacen sonar el sensor. Para saber cuántos clientes hubo, hay que descontarlos.
Tu informe llamará visita real a lo que queda después de quitar los robots y los ficheros estáticos. Necesitas dos funciones que contesten sí o no.
2 · es_bot(): mirar el user agent
Los robots honrados se presentan: llevan su nombre en el user agent. Googlebot dice Googlebot, un script hecho con curl dice curl/8.5.0. Basta con buscar unas cuantas palabras en lo que devuelve agente(), la función de la fase 1:
PHP 8.5bots.php
<?phpfunctionagente(string $linea): string
{
returnexplode('"', $linea)[5] ?? "";
}
functiones_bot(string $linea): bool
{
// la i del final: no distingue mayúsculasreturnpreg_match('/bot|spider|crawl|curl|wget|python-requests/i', agente($linea)) === 1;
}
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as$linea) {
if (es_bot($linea)) {
echoexplode(" ", $linea)[0], " ", agente($linea), PHP_EOL;
}
}
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
⏱ Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,52 s · gawk: 8,66 s · mawk: 919 ms. awk tarda 1,7 veces menos que PHP.
Una comparación con ~ vale 1 si casa y 0 si no. La función devuelve ese resultado directamente: no hace falta un if que devuelva 1 y un else que devuelva 0.
¿Por qué? · En PHP no existe
¿Por qué tolower() y no una i al final de la regex, como en PHP?
En PHP escribes /bot/i y la regex deja de distinguir mayúsculas. En awk las regex no tienen modificadores: después de la barra final no va nada.
Hay robots que se llaman AhrefsBot (con B mayúscula) y otros bingbot (con minúscula). Para cazar a los dos con una sola regex, se pasa el texto entero a minúsculas con tolower() y se escribe la regex en minúsculas. Funciona en cualquier awk.
gawk tiene además la variable IGNORECASE (la viste en regex-en-awk), pero afecta a todas las comparaciones del programa, también a las que sí quieres exactas. tolower() solo toca la comparación donde lo pones.
La pregunta que te vas a hacer
¿Y si un robot miente y dice que es Chrome?
Puede hacerlo: el user agent lo escribe quien hace la petición, como el remitente de una carta. es_bot() solo aparta a los robots que se presentan, que son la mayoría del tráfico automático: buscadores, monitores y scripts sin disfrazar.
A los que mienten no se les caza por lo que dicen sino por lo que hacen: piden páginas que no existen, prueban contraseñas, hacen cien peticiones por segundo. De eso se ocupa la fase 4. Y si necesitas reconocer navegadores y robots con precisión de verdad, hay listas mantenidas por mucha gente:
device-detector de Matomo: librería PHP con miles de patrones de robots y navegadores, actualizada cada semana.
3 · es_estatico(): mirar la extensión
Un fichero estático se reconoce por cómo termina su nombre: .css, .js, .png… La regex lleva un $ al final para exigir que la página acabe en la extensión, no que la contenga:
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
El punto va escapado (\.): sin la barra significaría «cualquier carácter» y /blog/css contaría como estático.
url() ya viene sin la query string (fase 1). Por eso /favicon.ico?v=3 también termina en .ico para tu informe.
El PDF del manual no está en la lista a propósito: alguien ha ido a descargarlo, es una visita. Tampoco robots.txt ni un .php. La lista es tuya: añade o quita extensiones según tu web.
4 · El embudo: una función como patrón
En el módulo 01 aprendiste que el patrón es un if que va delante de las llaves. Pues una llamada a una función también vale como patrón: si devuelve algo distinto de cero, la acción se ejecuta. Con eso el programa se lee de arriba abajo como una lista de preguntas:
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Es un embudo, como los coladores que se ponen uno encima de otro para separar la arena gruesa de la fina. Cada línea cae desde arriba. Si es de un robot, se queda en el primer colador: se cuenta ahí y next la saca. Si es un fichero estático, se queda en el segundo. Lo que llega al fondo es una visita real.
¿Por qué? · En PHP no existe
¿Por qué next y no un if … else if … else?
Podrías meterlo todo en una sola acción con un if encadenado, como harías en PHP. Funciona. Pero cada vez que quieras añadir un filtro tendrás que abrir esa cadena y meterte en medio.
Con una regla por pregunta, añadir un filtro es añadir un bloque en el sitio que toca, sin tocar los demás. En la fase 4 meterás dos reglas nuevas en el embudo y no cambiarás ni una línea de las que ya tienes.
El fallo que trae: si se te olvida un next, la línea sigue cayendo y se cuenta dos veces, como robot y como visita. awk no avisa: es exactamente lo mismo que olvidar un continue en un foreach de PHP. Si un total no te cuadra, lo primero que se mira son los next.
5 · Dónde va cada contador
Un contador cuenta lo que pasa por delante de él. Según a qué altura del embudo lo pongas, cuenta una cosa u otra:
Contador
Dónde está
Qué cuenta
leidas
Arriba del todo, antes del portero
Todas las líneas del fichero
rotas
En la regla de !linea_valida()
Las que el portero no deja pasar
total_bytes, por_estado[]
Después del portero, antes de los filtros
Todo lo que el servidor contestó, robots incluidos
de_bots, estaticos
Cada uno en su colador
Lo que se queda en ese colador
visitas
Abajo del todo
Lo que ha pasado todos los filtros
Los bytes y los estados se cuentan antes de filtrar, y es una decisión, no un descuido. Un robot que se descarga tu web entera gasta tu ancho de banda igual que una persona. Y un error 500 es un error tuyo, lo provoque quien lo provoque.
Los estados van en un array, como en el módulo 05: por_estado[estado()]++. La clave es el código (200, 404…) y el valor, cuántas veces ha salido. Al imprimirlo en el END se ordena por la clave con PROCINFO["sorted_in"] = "@ind_str_asc" (Solo gawk), porque el orden de un for (clave in array) no está definido.
6 · Tu informe al acabar la fase 2
Las funciones de la fase 1 siguen arriba, sin cambios. Debajo están las dos nuevas, las dos secciones y el programa, donde la salida de control de la fase 1 ha dejado su sitio al embudo. La lista de estados sale ordenada gracias a PROCINFO (Solo gawk): con mawk saldría en cualquier orden.
awkprograma.awk
# informe.awk · fase 2 (necesita gawk)# ---------- Fase 1: sacar los datos de la linea ----------# En PHP: public function ip(): string { return $this->campos[0]; }functionip() {
return$1
}
functionhora() {
returnsubstr($4, 14, 2)
}
functionmetodo() {
returnsubstr($6, 2)
}
functionurl( ruta) {
ruta = $7sub(/\?.*/, "", ruta)
return ruta
}
functionestado() {
return$9
}
functionbytes() {
return$10 + 0
}
functionagente( trozos) {
split($0, trozos, "\"")
return trozos[6]
}
functionnavegador( texto) {
texto = agente()
if (texto ~ /Firefox\//) {
return"Firefox"
}
if (texto ~ /Chrome\//) {
return"Chrome"
}
if (texto ~ /Safari\//) {
return"Safari"
}
return"otro"
}
functionlinea_valida() {
returnNF >= 12 && estado() ~ /^[0-9][0-9][0-9]$/
}
# ---------- Fase 2: filtrar y contar ----------# En PHP: return preg_match('/bot|spider|crawl|curl|wget|python-requests/i', $agente) === 1;functiones_bot() {
returntolower(agente()) ~ /bot|spider|crawl|curl|wget|python-requests/
}
functiones_estatico() {
returntolower(url()) ~ /\.(css|js|png|jpg|jpeg|gif|svg|ico|woff2)$/
}
# ---------- Las secciones del informe ----------functionimprimir_resumen() {
print"RESUMEN"printf"%-20s %7d\n", "Lineas leidas", leidas
printf"%-20s %7d\n", "Lineas rotas", rotas
printf"%-20s %7d\n", "Peticiones de bots", de_bots
printf"%-20s %7d\n", "Ficheros estaticos", estaticos
printf"%-20s %7d\n", "Visitas reales", visitas
printf"%-20s %7d\n", "Bytes servidos", total_bytes
}
functionimprimir_estados( codigo) {
print"ESTADOS"PROCINFO["sorted_in"] = "@ind_str_asc"for (codigo in por_estado) {
printf"%-20s %7d\n", codigo, por_estado[codigo]
}
}
# ---------- El programa ----------
{
leidas++
}
!linea_valida() {
rotas++
next
}
{
total_bytes += bytes()
por_estado[estado()]++
}
es_bot() {
de_bots++
next
}
es_estatico() {
estaticos++
next
}
{
visitas++
}
END {
imprimir_resumen()
print""imprimir_estados()
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Comprueba que las cuentas cuadran: 9 de robots + 2 estáticos + 9 visitas reales = 20 líneas leídas. Y la suma de la columna de estados también da 20. Cuando un informe tiene dos caminos para llegar al mismo número y coinciden, puedes fiarte de él.
En imprimir_resumen() todos los printf usan el mismo formato, %-20s %7d: la etiqueta en 20 huecos pegada a la izquierda y el número en 7 pegado a la derecha. Lo viste en la lección de printf: así las columnas quedan rectas aunque los números tengan distinto tamaño.
Hora de practicar
Retos · 0/3 resueltos
Reto 1 de 3 · ✓ Resuelto
es_estatico(): todas las extensiones
es_estatico() solo reconoce los .css. Hazla devolver verdadero cuando la página termine en una de estas extensiones, en mayúsculas o en minúsculas: css, js, png, jpg, jpeg, gif, svg, ico, woff2. Al comprobar se prueban siete páginas fabricadas (/JS/APP.JS es estático; /blog/css-para-novatos y /descuento/precio.pdf no) y después tu informe cuenta las del log: Ficheros estaticos: 2 de 20. En PHP: preg_match('/\.(css|js|…)$/i', $url) === 1.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Las alternativas van entre paréntesis y separadas por barras: /\.(css|js|png)$/. Para las mayúsculas no hay i: compara tolower(url()) con una regex escrita en minúsculas.
Reto 2 de 3 · ✓ Resuelto
es_bot(): que no se escape ninguno
es_bot() busca la palabra bot tal cual, así que se le escapan curl, Wget y los robots que no llevan esa palabra. Hazla devolver verdadero si el user agent contiene, en mayúsculas o minúsculas, alguna de estas: bot, spider, crawl, curl, wget, python-requests. Ojo: se mira el user agent, no la página (un Firefox que pide /robots.txt es una persona). Después de las pruebas tu informe imprime Peticiones de bots: 9 de 20. En PHP: preg_match('/bot|spider|…/i', $agente) === 1.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Pasa el user agent a minúsculas con tolower(agente()) y compáralo con una regex de alternativas: /bot|spider|crawl|…/. No compares contra $0: la línea entera incluye la página.
Reto 3 de 3 · ✓ Resuelto
El embudo tiene agujeros
Este informe cuenta robots, estáticos y visitas reales, pero las cuentas no cuadran: dice que hay 20 visitas reales, las mismas que líneas. Arregla el embudo para que una línea de robot o de fichero estático no llegue a la última regla. La salida correcta con el log del curso empieza por Peticiones de bots 9 y tiene Visitas reales 9; Bytes de visitas suma solo los bytes de las visitas reales. En PHP sería poner el continue que falta en cada if.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Las reglas se prueban todas, una detrás de otra, con la misma línea. ¿Qué instrucción le dice a awk «con esta línea he terminado, pasa a la siguiente»? Falta en dos sitios.
Resumen
Lo que te llevas de esta lección
Petición no es visita: hay que apartar robots y ficheros estáticos. Es el filtro que pondrías en PHP antes de sumar un contador de lecturas.
es_bot() busca palabras en tolower(agente()); es_estatico() mira cómo termina url(). En PHP serían dos preg_match('/…/i', …) === 1.
awk no tiene la i de las regex de PHP: se pasa el texto a minúsculas con tolower().
Una función sirve de patrón: es_bot() { de_bots++; next } es el if (…) { …; continue; } de tu foreach.
Las reglas son un embudo: se prueban en orden y next saca la línea. Un next olvidado cuenta la línea dos veces y nadie avisa.
Un contador cuenta lo que pasa por delante: los bytes y los estados van antes de los filtros; las visitas, al final.
Para recordarlo: «Cada colador, su contador y su next»
PPregunta es_bot()
CCuenta de_bots++
SSaca next
Una regla del embudo siempre hace las mismas tres cosas: Pregunta (la función del patrón), Cuenta (su contador) y Saca la línea (next). Si a una le falta la S, la línea se cuela al siguiente colador.