Lección 30 de 31 · Proyecto final: el informe del log✦ WebMCP implementado
Fase 4 · Detectar escaneos y fuerza bruta
10 min de lectura3 retos
En la fase 2 apartaste a los robots para contar visitas. Pero no todos los robots son iguales: unos apuntan tu web en un buscador y otros buscan por dónde colarse. En esta fase tu informe aprende a reconocer dos ataques por lo que hacen, no por lo que dicen ser, y a decirte si esa IP ya la tenías bloqueada.
¿De dónde vienen los nombres?
escaneo = de escanear, del inglés to scan (examinar)
Pedir una detrás de otra rutas conocidas (/wp-login.php, /.env, /phpmyadmin/) para ver si alguna existe. Es alguien probando todas las puertas del pasillo.
fuerza bruta = traducción del inglés brute force
Probar contraseñas una tras otra hasta acertar, sin ninguna astucia. En el log se ve como muchos 401 seguidos de la misma IP en /login.
umbral = del antiguo lumbral, y este del latín liminaris (de la entrada)
El valor a partir del cual algo cuenta. Aquí, cuántos fallos de contraseña hacen falta para llamar a una IP sospechosa. En PHP sería una constante o un valor de configuración.
FILENAME = inglés file name (nombre de fichero)
La variable de awk con el nombre del fichero que se está leyendo en este momento. La viste en el módulo 07.
En 4 ideas
1/4
Un ataque se reconoce por lo que hace: un 404 en una ruta que tu web nunca ha tenido, o varios 401 en /login. Son dos funciones más, es_escaneo() y es_login_fallido(), como dos métodos bool en PHP.
Sus reglas van antes del colador de robots y sin next: apuntan a la IP y dejan que la línea siga cayendo. En un foreach de PHP sería un if sin continue.
El umbral de la fuerza bruta llega con -v umbral=5 y tiene un valor por defecto en BEGIN. Es tu $umbral = (int) ($argv[1] ?? 3);.
La lista de IP bloqueadas se carga con una regla que mira FILENAME, y se consulta con in. Es el isset($bloqueada[$ip]) de PHP, que tampoco crea la clave.
1 · Dos formas de atacar una web
Cualquier web publicada en internet recibe ataques a diario, por pequeña que sea. No es nada personal: son programas que recorren todas las direcciones IP del mundo, una a una, probando lo mismo en todas. En el log dejan dos huellas muy claras:
Ataque
Qué hace
Cómo se ve en el log
En la vida real
Escaneo
Pide rutas típicas de otros programas, por si las tienes
404 en /wp-login.php, /.env, /phpmyadmin/
Alguien probando todas las manillas del portal
Fuerza bruta
Prueba contraseñas en tu formulario de entrada
Varios 401 en /login desde la misma IP
Alguien probando llaves en tu cerradura, una tras otra
Un 404 suelto no es un ataque: puede ser un enlace viejo. Un 401 suelto tampoco: es alguien que se ha equivocado de contraseña. Lo que delata es la ruta en el primer caso y la repetición en el segundo.
En el log del curso hay una IP, 198.51.100.4, que hace las dos cosas. Vamos a hacer que tu informe la encuentre solo.
2 · Escaneos: 404 en rutas trampa
Tu web no tiene WordPress ni phpMyAdmin, y el fichero .env no se sirve. Nadie que navegue por ella llegará jamás a esas direcciones. Quien las pide y recibe un 404 no se ha perdido: está buscando. La función junta las dos condiciones:
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
estado() == 404 va primero. Si un día instalas un blog y /wp-login.php responde 200, deja de ser una ruta trampa: alguien que entra ahí es un usuario tuyo.
La lista de rutas es una regex de alternativas sobre tolower(url()), como en es_bot(). Las de este informe son las más habituales; con el tiempo añadirás las que veas en tu propio log.
\/admin lleva la barra escapada porque la regex va entre barras. Y \.env lleva el punto escapado para que sea un punto de verdad.
¿Por qué? · En PHP no existe
¿Por qué esta regla va antes de la de los robots y no lleva next?
Piensa en el embudo de la fase 2. El primer colador era es_bot() { de_bots++; next }. El atacante del curso usa curl, así que es un robot: sus líneas se quedan en ese colador y no bajan más.
Si pusieras la regla de los escaneos debajo, no vería ni una sola de esas líneas. El informe diría «cero escaneos» sin dar ningún error. Por eso las reglas que vigilan van arriba, antes de los coladores.
Y no llevan next porque su trabajo es apuntar, no apartar. La línea sigue cayendo y más abajo se cuenta como petición de robot, que es lo que es. En PHP es la diferencia entre un if con continue dentro y un if sin él.
3 · Fuerza bruta: el umbral llega con -v
Para la fuerza bruta la función es aún más corta: estado 401 y página /login. Lo interesante viene después. ¿Cuántos fallos hacen falta para sospechar? Con uno o dos, es una persona despistada. Con cincuenta, no. Ese número es el umbral, y no debe estar escrito dentro del programa: en una web pequeña querrás 3 y en una con mucha gente, 20.
Es justo para lo que sirve -v (módulo 04): pasarle un dato al programa desde la terminal.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-v umbral=2: v de variable. Crea esa variable antes de leer la primera línea, para pasarle un dato desde fuera sin tocar el programa.
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
⏱ Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 856 ms · gawk: 719 ms · mawk: 620 ms. awk tarda 1,4 veces menos que PHP.
¿Por qué? · En PHP no existe
¿Por qué if (umbral == "") y no umbral = 3 a secas?
Las variables de -v se asignan antes de que se ejecute el BEGIN. Si en el BEGIN escribes umbral = 3, pisas lo que venía de la terminal: da igual que ejecutes con -v umbral=20, siempre valdrá 3. Y awk no avisa, porque asignar una variable dos veces no es ningún error.
Una variable que nadie ha tocado vale vacío. Preguntar umbral == "" es preguntar «¿me han pasado algo?». Solo si no, se pone el valor por defecto. Es lo mismo que hace el ?? de PHP en $argv[1] ?? 3.
En PHP el fallo equivalente sería escribir $umbral = 3; debajo de la línea que lee $argv. Ahí lo verías al momento, porque las dos líneas están juntas. En awk una está en la terminal y la otra en el fichero: por eso es más traicionero.
4 · Cruzar con las IP ya bloqueadas
Encontrar a un atacante sirve de poco si no sabes qué hacer con él. Lo primero es saber si ya lo tenías bloqueado. El curso trae ips-bloqueadas.txt, con una IP y un motivo por línea. Lo cruzaste con el log en el módulo 07; ahora se lo das a tu informe.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Mira la línea de comando de la caja: ahora hay dos ficheros. awk los lee seguidos, y la regla FILENAME ~ /bloqueadas/ atrapa las líneas del primero: guarda la IP con su motivo y hace next, para que no lleguen al resto del programa.
etiqueta_bloqueo() pregunta con in, como aprendiste en recorrer-y-borrar. Preguntar bloqueada[ip] != "" también funcionaría, pero crearía una casilla vacía por cada IP consultada. Con in el array se queda como estaba, igual que con isset() en PHP.
¿Por qué? · En PHP no existe
¿Por qué FILENAME y no el FNR == NR del módulo 07?
FNR == NR significa «estoy en el primer fichero». Funciona mientras la lista vaya siempre la primera. Pero un informe se usa muchas veces y con prisa. El día que alguien ejecute gawk -f informe.awk access.log sin la lista, el primer fichero será el log: la regla se comería todas sus líneas como si fueran IP bloqueadas y el informe saldría a cero. Sin ningún error.
Mirando el nombre, la regla solo atrapa lo que tiene que atrapar. Si no hay lista, no atrapa nada y todas las IP salen como SIN BLOQUEAR, que es verdad. Y da igual el orden: como el cruce se hace en el END, cuando ya se ha leído todo, la lista puede ir delante o detrás del log.
El precio: el fichero tiene que llevar bloqueadas en el nombre. Es un acuerdo entre tú y tu informe, como el nombre de una tabla en PHP. Apúntalo en el comentario de la primera línea.
5 · Tu informe al acabar la fase 4
Las dos listas de sospechosas se imprimen igual: ordenadas de más a menos con por_valor_y_clave (la función de la fase 3; Solo gawk, como todo lo que ordena en tu informe), con su etiqueta, y un (ninguna) si no hay. Por eso hay una función, imprimir_sospechosas(), que recibe el array y el mínimo para salir en la lista: 1 para los escaneos y umbral para la fuerza bruta.
Tiene un detalle fino. Como el array se recorre de mayor a menor, en cuanto aparece una IP por debajo del mínimo, todas las que quedan también lo están: se sale con break en vez de seguir mirando.
awkprograma.awk
# informe.awk · fase 4 (necesita gawk)# ---------- Fase 1: sacar los datos de la linea ----------# En PHP: public function ip(): string { return $this->campos[0]; }functionip() {
return$1
}
functionhora() {
returnsubstr($4, 14, 2)
}
functionmetodo() {
returnsubstr($6, 2)
}
functionurl( ruta) {
ruta = $7sub(/\?.*/, "", ruta)
return ruta
}
functionestado() {
return$9
}
functionbytes() {
return$10 + 0
}
functionagente( trozos) {
split($0, trozos, "\"")
return trozos[6]
}
functionnavegador( texto) {
texto = agente()
if (texto ~ /Firefox\//) {
return"Firefox"
}
if (texto ~ /Chrome\//) {
return"Chrome"
}
if (texto ~ /Safari\//) {
return"Safari"
}
return"otro"
}
functionlinea_valida() {
returnNF >= 12 && estado() ~ /^[0-9][0-9][0-9]$/
}
# ---------- Fase 2: filtrar y contar ----------# En PHP: return preg_match('/bot|spider|crawl|curl|wget|python-requests/i', $agente) === 1;functiones_bot() {
returntolower(agente()) ~ /bot|spider|crawl|curl|wget|python-requests/
}
functiones_estatico() {
returntolower(url()) ~ /\.(css|js|png|jpg|jpeg|gif|svg|ico|woff2)$/
}
# ---------- Fase 3: ordenar y dibujar ----------# En PHP: fn($a, $b) => [$cuenta[$b], $a] <=> [$cuenta[$a], $b]functionpor_valor_y_clave(clave1, valor1, clave2, valor2) {
if (valor1 != valor2) {
return valor2 - valor1
}
if (clave1 < clave2) {
return -1
}
return clave1 > clave2
}
functionbarra(valor, maximo, largo, texto, i) {
largo = int(valor * 20 / maximo)
for (i = 1; i <= largo; i++) {
texto = texto "#"
}
return texto
}
# ---------- Fase 4: ataques ----------functiones_escaneo() {
returnestado() == 404 && tolower(url()) ~ /wp-login|wp-admin|phpmyadmin|\.env|\.git|\/admin|backup/
}
functiones_login_fallido() {
returnestado() == 401 && url() == "/login"
}
# En PHP: return isset($bloqueada[$ip]) ? "YA BLOQUEADA ({$bloqueada[$ip]})" : "SIN BLOQUEAR";functionetiqueta_bloqueo(ip_sospechosa) {
if (ip_sospechosa in bloqueada) {
return"YA BLOQUEADA (" bloqueada[ip_sospechosa] ")"
}
return"SIN BLOQUEAR"
}
# ---------- Las secciones del informe ----------functionimprimir_resumen() {
print"RESUMEN"printf"%-20s %7d\n", "Lineas leidas", leidas
printf"%-20s %7d\n", "Lineas rotas", rotas
printf"%-20s %7d\n", "Peticiones de bots", de_bots
printf"%-20s %7d\n", "Ficheros estaticos", estaticos
printf"%-20s %7d\n", "Visitas reales", visitas
printf"%-20s %7d\n", "Bytes servidos", total_bytes
}
functionimprimir_estados( codigo) {
print"ESTADOS"PROCINFO["sorted_in"] = "@ind_str_asc"for (codigo in por_estado) {
printf"%-20s %7d\n", codigo, por_estado[codigo]
}
}
functionimprimir_top(texto, cuenta, cuantos, clave, puesto) {
print texto
PROCINFO["sorted_in"] = "por_valor_y_clave"for (clave in cuenta) {
puesto++
if (puesto > cuantos) {
break
}
printf"%d. %-25s %4d\n", puesto, clave, cuenta[clave]
}
if (puesto == 0) {
print"(sin datos)"
}
}
functionimprimir_horas( franja, maximo) {
print"VISITAS POR HORA"for (franja in por_hora) {
if (por_hora[franja] > maximo) {
maximo = por_hora[franja]
}
}
PROCINFO["sorted_in"] = "@ind_str_asc"for (franja in por_hora) {
printf"%sh %-20s %4d\n", franja, barra(por_hora[franja], maximo), por_hora[franja]
}
}
functionimprimir_sospechosas(texto, cuenta, minimo, clave, cuantas) {
print texto
PROCINFO["sorted_in"] = "por_valor_y_clave"for (clave in cuenta) {
if (cuenta[clave] < minimo) {
break
}
cuantas++
printf" %-15s %4d %s\n", clave, cuenta[clave], etiqueta_bloqueo(clave)
}
if (cuantas == 0) {
print" (ninguna)"
}
}
functionimprimir_ataques() {
print"ATAQUES"imprimir_sospechosas("Escaneos (404 a rutas trampa):", escaneos, 1)
imprimir_sospechosas("Fuerza bruta (" umbral " o mas 401 en /login):", fallos_login, umbral)
}
# ---------- El programa ----------BEGIN {
if (top == "") {
top = 3
}
if (umbral == "") {
umbral = 3
}
}
FILENAME ~ /bloqueadas/ {
bloqueada[$1] = $2next
}
{
leidas++
}
!linea_valida() {
rotas++
next
}
{
total_bytes += bytes()
por_estado[estado()]++
}
es_escaneo() {
escaneos[ip()]++
}
es_login_fallido() {
fallos_login[ip()]++
}
es_bot() {
de_bots++
next
}
es_estatico() {
estaticos++
next
}
{
visitas++
paginas[url()]++
visitas_ip[ip()]++
por_hora[hora()]++
}
END {
imprimir_resumen()
print""imprimir_estados()
print""imprimir_top("TOP " top " PAGINAS", paginas, top)
print""imprimir_top("TOP " top " IP", visitas_ip, top)
print""imprimir_horas()
print""imprimir_ataques()
}
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Al final del informe está lo nuevo: la misma IP en las dos listas, y en las dos YA BLOQUEADA (escaner). Buena noticia: esa IP ya está en tu lista.
La pregunta que te vas a hacer
¿Puedo hacer que el informe bloquee la IP él solo?
Poder, se puede: awk tiene system() para ejecutar comandos (módulo 07). No lo hagas. Un log es texto que escriben desconocidos: la página, el referer y el user agent los elige quien hace la petición. Si metes un trozo del log dentro de un comando, le estás dejando escribir en tu terminal. Es la misma inyección que en PHP con exec("… $dato").
Tu informe avisa; bloquear es trabajo de herramientas hechas para eso, que llevan años aguantando trampas:
fail2ban: vigila los logs y bloquea en el cortafuegos las IP que repiten fallos. Hace en serio lo que esta lección hace en pequeño.
limit_req de nginx: limita cuántas peticiones por segundo acepta /login de una misma IP, antes de que lleguen a PHP.
es_escaneo() solo mira si la página contiene wp-login, sin fijarse en el estado. Hazla devolver verdadero cuando el estado sea 404 y la página contenga, en mayúsculas o minúsculas, alguna de estas rutas trampa: wp-login, wp-admin, phpmyadmin, .env, .git, /admin, backup. Al comprobar se prueban siete peticiones fabricadas (/.git/config con 404 es escaneo; /wp-login.php con 200 no lo es) y después tu informe imprime cada IP con sus escaneos: 198.51.100.4 3. En PHP: $estado === 404 && preg_match('/wp-login|…/i', $url) === 1.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Dos condiciones con &&: estado() == 404 y tolower(url()) ~ /…/. En la regex, escapa el punto de .env y .git (\.) y la barra de /admin (\/).
Reto 2 de 3 · ✓ Resuelto
El umbral que no hace caso
Este informe lista las IP con fallos de contraseña en /login. Se ejecuta con -v umbral=2, pero el título sigue diciendo 3 o mas: el programa no hace caso a la terminal. Arréglalo para que umbral valga 3 solo si no se ha pasado con -v. Además, cuando ninguna IP llegue al umbral debe imprimirse una línea (ninguna) (con dos espacios delante). Con el log del curso sale Fuerza bruta (2 o mas fallos en /login): y debajo 198.51.100.4 3. En PHP: $umbral = (int) ($argv[1] ?? 3);.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -v umbral=2 -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-v umbral=2: v de variable. Crea esa variable antes de leer la primera línea, para pasarle un dato desde fuera sin tocar el programa.
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. En el BEGIN, asigna solo if (umbral == ""). Para el (ninguna), cuenta en una variable cuántas IP imprimes dentro del bucle y, al salir, mira si sigue valiendo 0.
Reto 3 de 3 · ✓ Resuelto
¿Ya estaba bloqueada?
El programa se ejecuta con dos ficheros: ips-bloqueadas.txt (IP y motivo) y access.log. Ahora mismo trata las líneas de la lista como si fueran del log y dice que todas las IP están SIN BLOQUEAR. Añade la regla que carga la lista en el array bloqueada (mirando FILENAME) y haz que etiqueta_bloqueo() devuelva YA BLOQUEADA (motivo) si la IP está en él y SIN BLOQUEAR si no. Con los ficheros del curso sale Lineas del log: 20 y 198.51.100.4 3 YA BLOQUEADA (escaner). En PHP: isset($bloqueada[$ip]) ? "YA BLOQUEADA ({$bloqueada[$ip]})" : "SIN BLOQUEAR".
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
ips-bloqueadas.txtaccess.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. La regla es FILENAME ~ /bloqueadas/ { bloqueada[$1] = $2; next } y tiene que ir antes de { leidas++ }, o las tres líneas de la lista se contarán como del log. En la función, pregunta con ip_sospechosa in bloqueada.
Resumen
Lo que te llevas de esta lección
Escaneo = 404 en una ruta trampa; fuerza bruta = varios 401 en /login de la misma IP. Dos funciones es_…() más, como dos métodos bool de PHP.
Las reglas que vigilan van antes de los coladores y sin next: apuntan y dejan pasar. Debajo de es_bot() { …; next } no verían al atacante.
El umbral llega con -v umbral=5; el valor por defecto se pone con if (umbral == ""). Un umbral = 3 a secas en BEGIN pisa lo que venga de la terminal. Es el $argv[1] ?? 3 de PHP.
La lista se carga con FILENAME ~ /bloqueadas/ { bloqueada[$1] = $2; next }, la primera regla del programa. No depende del orden de los ficheros ni de que la lista exista.
Se consulta con ip in bloqueada, que no crea la clave: el isset() de PHP.
El informe avisa, no bloquea: nunca metas texto del log en un system(). Para bloquear están fail2ban y limit_req.
Para recordarlo: «El vigilante, arriba; el colador, abajo»
Las reglas que apuntan sospechosos van antes que las que apartan líneas. Y para acordarte de qué delata a cada ataque: el escaneo se ve por la puerta que prueba y la fuerza bruta por las veces que llama.