Lección 4 de 31 · De PHP a awk✦ WebMCP implementado
Una línea o un fichero: awk '…' y awk -f
9 min de lectura2 retos
En el curso pulsas Ejecutar y ya está. En tu servidor no hay botón: hay una terminal. En esta lección ves las dos formas de lanzar awk (el programa escrito en la misma línea o guardado en un fichero), por qué en la terminal va entre comillas simples y cómo se escribe un programa de varias líneas.
¿De dónde vienen los nombres?
-f = inglés file (fichero)
La opción que le dice a awk «el programa no está aquí escrito: léelo de este fichero». Es como php script.php, donde el código está en script.php.
tubería = inglés pipe (tubo), el símbolo |
Conecta dos programas de la terminal: lo que imprime el de la izquierda le entra al de la derecha, como el agua por un tubo. En PHP es lo que haces con |> entre funciones, pero aquí entre programas.
cat = inglés concatenate (concatenar)
Programa de la terminal que imprime un fichero tal cual (o varios, uno detrás de otro: de ahí el nombre). Es un echo file_get_contents(...).
tail = inglés tail (cola)
Programa de la terminal que imprime el final de un fichero. Con -f (de follow, seguir) se queda esperando e imprime cada línea nueva que llega.
mawk = Mike's awk
El awk que escribió Mike Brennan. Es pequeño y muy rápido, y es el awk que viene instalado en Debian y Ubuntu.
POSIX = Portable Operating System Interface (la X viene de Unix)
La norma que dice qué tiene que hacer un awk para llamarse awk. Lo que cumple POSIX funciona igual en gawk, en mawk y en macOS.
En 4 ideas
1/4
awk 'programa' fichero para algo corto, escrito en la misma línea. Es como php -r '...': código de usar y tirar.
awk -f programa.awk fichero cuando el programa crece: se guarda en un fichero, como php script.php. Es lo que hace el curso en cada caja.
En la terminal el programa va entre comillas simples para que bash no toque los $1. Es la diferencia entre '$a' y "$a" de PHP.
Dentro de un programa: # empieza un comentario (el // de PHP), el salto de línea acaba la instrucción y el ; solo hace falta para poner dos en la misma línea.
1 · En una línea: awk 'programa' fichero
La forma más rápida de usar awk es escribir el programa en la propia línea de comando, entre comillas simples, y detrás el fichero que tiene que leer. Esto es lo que escribirías en tu servidor para ver qué visitas acabaron en un error 500:
La línea tiene tres trozos, y la terminal los separa por los espacios que quedan fuera de las comillas:
awk: el programa que se ejecuta.
'$9 == 500 { print $1, $7 }': tu programa. Las comillas simples hacen que todo eso viaje junto, como un solo paquete, aunque lleve espacios dentro.
access.log: el fichero que awk va a leer línea a línea.
A esto se le llama un one-liner («de una línea»): no se guarda en ningún sitio, lo escribes, miras el resultado y te olvidas. Es como usar una calculadora: no guardas la cuenta, solo quieres el número.
Quieres
PHP
awk
Código suelto, de usar y tirar
php -r 'echo 1 + 1;'
awk '{ print $1 }' access.log
Código guardado en un fichero
php informe.php access.log
awk -f informe.awk access.log
2 · Por qué comillas simples
La terminal es otro lenguaje de programación. Se llama bash (o shell) y tiene sus propias variables, que también empiezan por dólar. Antes de arrancar awk, bash lee tu línea y cambia lo que reconoce como suyo. Y $1 es suyo: para bash significa «el primer argumento que me han pasado», que casi siempre está vacío.
Se ve muy bien con echo, que es el programa de la terminal que repite lo que le des. Primero con comillas dobles y después con simples:
Con dobles, bash ha borrado $9, $1 y $7 (los ha cambiado por sus variables, que estaban vacías). Con simples no ha tocado nada. Así que si le das a awk el programa entre comillas dobles, lo que le llega es un programa roto:
Fíjate en que el propio mensaje de error te enseña el programa que ha recibido awk: sin los dólares. Aquí ha habido suerte, porque ha fallado. Lo peligroso es cuando no falla:
Querías solo la IP y ha salido la línea entera. bash ha vaciado el $1, a awk le ha llegado { print } y un print sin nada imprime la línea completa. Ni un aviso.
¿Por qué? · En PHP no existe
¿Por qué las comillas simples protegen y las dobles no?
Lo conoces de PHP, que heredó la idea de las terminales de Unix. En PHP, "Hola $nombre" cambia la variable por su valor y 'Hola $nombre' deja el texto tal cual, con su dólar. En bash es idéntico: dentro de dobles se sustituyen las variables; dentro de simples no se toca nada.
Es como mandar una carta. Con comillas dobles la mandas en un sobre abierto y el cartero (bash) la lee y tacha lo que cree que es para él. Con comillas simples va en un sobre cerrado: llega a awk como la escribiste.
¿Qué fallo evita? Que tu programa cambie según lo que haya en las variables de la terminal en ese momento. Y explica una regla que viste en la primera lección: en awk los textos van entre comillas dobles porque las simples ya están ocupadas envolviendo el programa.
3 · En un fichero: awk -f programa.awk
Cuando el programa pasa de una línea, o lo vas a usar más de una vez, se guarda en un fichero. La extensión .awk es una costumbre (a awk le da igual el nombre). Para ejecutarlo se usa la opción -f, de file:
Es la misma idea que php errores.php access.log: primero el fichero con el código y después el fichero con los datos. A la izquierda, ese script de PHP; a la derecha, el errores.awk. Es la forma que usa el curso en todas las cajas: mira la línea de comando que hay debajo del código.
PHP 8.5errores.php
<?php// se ejecuta con: php errores.php access.log// $argv[1] es el primer argumento: el nombre del fichero$lineas = file($argv[1], FILE_IGNORE_NEW_LINES);
foreach ($lineasas$linea) {
$campos = preg_split('/\s+/', trim($linea));
if ($campos[8] == 500) {
echo$campos[0], " ", $campos[6], PHP_EOL;
}
}
awkprograma.awk
# errores.awk: las visitas que acabaron en un error del servidor# En PHP: if ($campos[8] == 500) { echo $campos[0], " ", $campos[6], PHP_EOL; }$9 == 500 { print$1, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Dentro del fichero ya no hay comillas simples alrededor del programa: bash no lee ese fichero, así que no hay nada de lo que protegerse. Tampoco hay $argv: awk recoge él solo los nombres de fichero que le pongas detrás.
awk 'programa' fichero
awk -f programa.awk fichero
Dónde está el código
En la línea de comando
En un fichero aparte
Comillas simples
Sí, alrededor del programa
No hacen falta
Para qué
Una consulta rápida que no vas a repetir
Programas largos, con comentarios, que guardas en git
En PHP
php -r '...'
php script.php
4 · Saltos de línea y punto y coma
En un fichero el programa se puede repartir en varias líneas para que se lea mejor. La acción se abre con la llave, cada instrucción va en su línea y se cierra la llave al final:
awkprograma.awk
# Avisos de seguridad del log# En PHP: if ($campos[8] == 401) {$9 == 401 {
# En PHP: echo "Login fallido", PHP_EOL;print"Login fallido"# En PHP: echo " desde ", $campos[0], PHP_EOL;print" desde", $1
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
No hay ningún punto y coma. En PHP cada instrucción tiene que acabar en ;. En awk la instrucción se acaba donde se acaba la línea. El punto y coma solo hace falta para lo contrario: meter dos instrucciones en la misma línea, que es lo normal en un one-liner.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Si por costumbre de PHP pones un ; al final de cada línea, no pasa nada: awk lo acepta. Lo que no puedes hacer es poner dos print seguidos en la misma línea sin nada en medio: { print $1 print $7 } es un syntax error.
PHP
awk
Fin de instrucción
; obligatorio
El salto de línea (o ;)
Dos instrucciones en una línea
echo $a; echo $b;
print $1; print $7
Comentario de una línea
// ... o # ...
# ...
Comentario de bloque
/* ... */
No existe
La llave que abre
Donde quieras
En la misma línea que el patrón
La última fila de la tabla es la trampa. En PHP puedes bajar la llave a la línea siguiente y no cambia nada. Prueba a hacerlo en awk:
awkprograma.awk
# En PHP no importaria: if (...) y la llave en la linea de abajo es lo mismo$9 == 500
{ print$1, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Querías la IP y la página de los errores 500, que es una sola línea. Han salido la IP y la página de las 20 visitas y, en medio, la línea entera del 500.
¿Por qué? · En PHP no existe
¿Por qué bajar la llave a la línea siguiente cambia el programa?
Porque en awk el salto de línea significa algo: «aquí se acaba esto». Al acabar la línea después de $9 == 500, awk da esa regla por terminada. Es un patrón sin acción, así que imprime la línea entera. Y la línea de abajo, { print $1, $7 }, es otra regla: una acción sin patrón, que se ejecuta con todas las líneas.
En PHP los saltos de línea no cuentan, porque el que manda es el ;. awk te ahorra los puntos y coma, y a cambio el salto de línea deja de ser un adorno. Es como en un mensaje de móvil sin puntos: dónde cortas la línea cambia lo que se entiende.
¿Qué fallo trae? Este mismo. No da error, imprime cosas y parece que funciona. La regla para no caer: la llave que abre va siempre en la misma línea que su patrón. Dentro de las llaves ya puedes saltar de línea todo lo que quieras.
5 · Varios ficheros y tuberías
Detrás del programa puedes poner más de un fichero. awk los lee uno detrás de otro, como si fueran uno solo más largo. En esta caja hay dos ficheros de entrada (mira las pestañas): el log y una lista de IP bloqueadas.
awkprograma.awk
# En PHP: foreach (["access.log", "ips-bloqueadas.txt"] as $fichero) { foreach (file($fichero) as $linea) { ... } }
{ printNF, $1 }
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.logips-bloqueadas.txt: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Las 20 primeras líneas son del log y las 3 últimas, de la lista de IP (se nota porque solo tienen 2 campos). El programa es el mismo para los dos: no sabe ni le importa dónde acaba un fichero y empieza el otro. En el servidor sirve para leer de golpe el log de hoy y el de ayer, que nginx guarda con otro nombre:
Saber de qué fichero viene cada línea, y cruzar un fichero con otro, es el tema del módulo 07.
¿Y si no pones ningún fichero? Entonces awk lee lo que le llegue por la entrada estándar, que es lo que le manda otro programa a través de una tubería (el símbolo |). Lo que imprime el programa de la izquierda le entra a awk por la derecha:
El primero hace lo mismo que darle el fichero directamente. El segundo ya es más útil: tail -n 3 saca las 3 últimas líneas del log y awk trabaja solo con ellas. Y este es el que usarás de verdad cuando algo esté fallando ahora mismo:
tail -f no termina nunca: se queda mirando el log y suelta cada línea nueva en cuanto nginx la escribe. awk las va recibiendo y te enseña solo los errores 500, en directo. Se para con Ctrl+C.
6 · Qué ficheros puede leer awk
awk lee texto: un fichero que puedes abrir con un editor y que está partido en líneas. Para cada línea hace lo mismo: la corta en campos y ejecuta tu programa. No le importa que el fichero sea un log, un CSV o una lista de IP; solo necesita saltos de línea y algo que separe los campos.
Lo que no sea texto (un fichero comprimido, un Excel, un Parquet) awk no lo entiende tal cual. La solución es siempre la misma: otro programa lo convierte a texto y se lo pasa a awk por una tubería (|).
Formato
¿awk lo lee?
Cómo
Logs de nginx o Apache, .txt
Sí
Directamente: es para lo que nació.
CSV y TSV
Sí
Con -F ';' o -F '\t'. Si hay comas dentro de comillas: FPAT o --csv (Solo gawk, módulo 07).
Columnas de ancho fijo
Sí
Con substr() (módulo 06).
Comprimido .gz
No tal cual
zcat fichero.gz | awk …: zcat lo descomprime al vuelo.
JSON
No bien
jq lo pasa a TSV y awk sigue: jq -r '… | @tsv' | awk ….
XML y HTML
No bien
Un programa que entienda XML (xmllint, xq) o, mejor, PHP.
Excel .xlsx
No
Es un zip con XML dentro. Guárdalo como CSV o conviértelo con ssconvert o libreoffice --convert-to csv.
Parquet
No
Es binario. duckdb o parquet-tools lo pasan a CSV.
Ejemplo real con un log comprimido, que es como guarda nginx los de días anteriores (access.log.2.gz):
Parquet (se escribe así; en inglés es parquet, el suelo de tablillas de madera) es un formato de datos para análisis. Guarda los datos por columnas y no por filas: todas las IP juntas, todas las URL juntas, y cada columna comprimida y en binario.
Es justo lo contrario de lo que awk necesita. No hay líneas, no hay separadores y no hay texto legible: si abres un Parquet con un editor ves símbolos raros. Para awk sería como leer un .zip con file() en PHP: los bytes están ahí, pero no son líneas.
A cambio, Parquet es muy rápido para preguntas como «suma la columna bytes» sobre millones de filas, porque solo lee esa columna. Si tus datos ya están en Parquet, lo normal es preguntarle directamente a una herramienta que lo entienda (DuckDB, que habla SQL) y usar awk solo para retocar el texto que salga.
La pregunta que te vas a hacer
Vale, pero… ¿y si mis datos están en JSON o en Parquet?
Conviértelos a texto con la herramienta de cada formato y encadena awk detrás con |. Con un JSON de una visita por línea y jq, que lo pasa a columnas separadas por tabuladores (@tsv):
Con un Parquet, DuckDB lo lee y lo saca como CSV (-csv); NR > 1 se salta la cabecera. Este comando no se ha ejecutado aquí: DuckDB no está instalado en el servidor del curso.
En el navegador de este curso no hay otros programas: estas tuberías solo funcionan en tu terminal.
7 · ¿Qué awk tengo?
«awk» es el nombre del lenguaje, y hay varios programas que lo entienden. El comando awk de tu máquina es uno de ellos, según el sistema:
Sistema
Qué es su awk
Notas
Este curso (tu navegador)
gawk 5.4.1
El de GNU: el más completo
Fedora, RHEL, AlmaLinux, Arch
gawk
Viene instalado
Debian y Ubuntu
mawk
Pequeño y rápido. gawk se instala con apt install gawk
macOS
El awk original de Unix
El que mantiene Brian Kernighan, la K de awk
Alpine (muchas imágenes de Docker)
El awk de BusyBox
Una versión reducida. gawk se instala con apk add gawk
Para saber cuál tienes, pregúntaselo. gawk responde a --version:
$ awk --version
GNU Awk 5.2.1, API 3.2, PMA Avon 8-g1, (GNU MPFR 4.2.1, GNU MP 6.3.0)
…
$ mawk -W version
mawk 1.3.4 20240123
…
Si la primera línea dice «GNU Awk», es gawk. Si --version da un error o dice otra cosa, prueba awk -W version: es la forma que entiende mawk.
La pregunta que te vas a hacer
¿Y me tengo que preocupar de cuál hay en mi servidor?
Para casi todo, no. Todos cumplen la norma POSIX, y lo que has visto en este módulo (patrones, acciones, campos, NF, -f) funciona igual en cualquiera. El curso enseña primero esa base común.
gawk añade cosas propias que no están en los demás: funciones de fechas, ordenar resultados, capturas en expresiones regulares. Cuando una lección use algo así, lo verás marcado con la etiqueta Solo gawk y te diremos cómo hacerlo en mawk o en macOS. Si tu servidor es Debian o Ubuntu y quieres ir sobre seguro, instala gawk: son unos pocos megas y convive con mawk sin problema.
Cómo se ejecuta gawk: todas las formas y opciones, en el manual de GNU (en inglés).
Alguien ha pasado un one-liner a un fichero y, por costumbre de PHP, ha bajado la llave a la línea siguiente. El programa debería imprimir solo un aviso por cada login fallido (estado 401) con este formato: Login fallido: 198.51.100.4. Ahora imprime un aviso por cada visita y además las líneas enteras de los 401. Arréglalo sin cambiar el patrón ni el print.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. En awk el salto de línea acaba la regla. Tal como está hay dos reglas: un patrón sin acción y una acción sin patrón. ¿Dónde tiene que estar la llave que abre para que sea una sola?
Reto 2 de 2 · ✓ Resuelto
Dos líneas por cada 404
El programa imprime la IP de cada visita que dio un 404, así: IP: 198.51.100.4. Haz que, justo debajo de cada una, imprima también la página que pedía con el formato URL: /wp-login.php. Son dos instrucciones dentro de la misma acción: puedes separarlas con un punto y coma o poner cada una en su línea. En PHP serían dos echo dentro del mismo if.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. No hace falta una regla nueva: el segundo print va dentro de las mismas llaves. Si lo pones en la misma línea, sepáralo del primero con ;. Si prefieres varias líneas, deja la llave que abre junto al patrón.
Resumen
Lo que te llevas de esta lección
awk 'programa' fichero: el programa en la línea de comando, como php -r '...'. Para consultas rápidas.
awk -f programa.awk fichero: el programa en un fichero, como php script.php. Para lo que crece o se repite.
En la terminal, comillas simples alrededor del programa: con dobles bash vacía los $1 antes de que awk los vea. Es '$a' frente a "$a" en PHP.
# es el comentario (// en PHP). El salto de línea acaba la instrucción; el ; solo separa dos en la misma línea.
La llave que abre va en la misma línea que su patrón. Si la bajas, son dos reglas distintas y awk no avisa.
Varios ficheros se leen seguidos; sin fichero, awk lee de una tubería (tail -f access.log | awk '...').
Para recordarlo: «Simples por fuera, dobles por dentro»
Las comillas simples envuelven el programa para que bash no lo toque; las dobles son para los textos de dentro: awk '$7 == "/login"' access.log. Y para elegir cómo lanzarlo: si cabe en una línea, comillas; si no cabe, fichero con -f.