Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 1 de 31 · De PHP a awk ✦ WebMCP implementado

Hola, awk: el bucle que no escribes

7 min de lectura 3 retos

awk es un lenguaje pequeño que lleva en todos los servidores Unix desde 1977 y sirve para una cosa: leer ficheros de texto línea a línea y sacar datos de ellos. En esta lección escribes tu primer programa sobre el log de accesos de una web, ves qué parte del script de PHP ya no tienes que escribir e imprimes los primeros campos.

¿De dónde vienen los nombres?

awk = Aho, Weinberger y Kernighan
Las iniciales de los apellidos de sus tres autores (Alfred Aho, Peter Weinberger y Brian Kernighan), que lo crearon en los laboratorios Bell en 1977. No es una sigla de nada más.
gawk = GNU awk
La versión de awk del proyecto GNU, la más completa. Es la que ejecuta este curso en tu navegador. En Debian y Ubuntu el awk que viene instalado es otro más pequeño, mawk; lo que solo funcione en gawk te lo marcaremos.
log = inglés log, de logbook (cuaderno de bitácora)
En los barcos se apuntaba en un cuaderno, hora a hora, todo lo que pasaba. El log de tu web es lo mismo: una línea por cada petición. En PHP es lo que escribes con error_log().
print = inglés print (imprimir)
Escribe en la pantalla y añade un salto de línea. Es tu echo con un PHP_EOL detrás.
En 4 ideas
1/4

En PHP abres el fichero, haces un foreach por sus líneas y dentro trabajas. En awk el bucle ya está hecho: lo que escribes entre llaves se ejecuta una vez por cada línea del fichero.

1 · ¿Por qué awk?

Cada vez que alguien visita tu web, el servidor (nginx o Apache) apunta una línea en un fichero: el log de accesos. Quién vino, a qué hora, qué página pidió y qué le respondiste. Un día normal son miles de líneas.

Cuando algo va mal (la web va lenta, alguien prueba contraseñas, una página da error) la respuesta está en ese fichero. Podrías escribir un script de PHP para leerlo. awk es el atajo:

  • Ya está instalado. En cualquier servidor Linux, sin composer, sin extensiones y sin desplegar nada.
  • El bucle y el explode vienen hechos. Tú solo dices qué líneas te interesan y qué hacer con ellas.
  • Cabe en una línea de la terminal. Lo que en PHP son diez líneas, aquí suele ser una.
  • Aguanta ficheros enormes. Lee línea a línea y no carga el fichero entero en memoria, como sí hace file() en PHP.

Piensa en PHP como una navaja suiza y en awk como un pelapatatas: solo hace una cosa, pero para esa cosa no hay nada más rápido de sacar del cajón. Todo el curso trabaja sobre el mismo fichero, access.log, y al final construyes con él un informe de tu web.

2 · Tu primer programa

Este es el programa awk más corto que hace algo. Pulsa Ejecutar: se ejecuta en tu navegador y ves la salida debajo.

awkprograma.awk
# En PHP: foreach (file("access.log") as $linea) { echo $linea; }
{ print }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Ha impreso el fichero entero. Fíjate en tres cosas de la caja:

  1. Arriba hay dos pestañas: programa.awk es tu código y access.log es el fichero que lee. Ábrela para ver el log; es de solo lectura.
  2. Debajo del código está la línea de comando: awk -f programa.awk access.log. Es lo que escribirías en la terminal de tu servidor. -f viene de file (fichero): «el programa está en este fichero».
  3. El programa son solo unas llaves con un print dentro. No abre el fichero, no tiene bucle y no nombra el log en ningún sitio.

3 · El bucle que no escribes

Vamos a sacar solo la IP de cada visita, que es lo primero que hay en cada línea. A la izquierda, cómo lo harías en PHP; a la derecha, en awk. Los dos hacen exactamente lo mismo.

PHP 8.5ips.php
<?php
// abrir el fichero y leerlo entero
$lineas = file("access.log", FILE_IGNORE_NEW_LINES);
// el bucle, línea a línea
foreach ($lineas as $linea) {
    // trocear la línea por los espacios
    $campos = preg_split('/\s+/', trim($linea));
    // el primer trozo es la ip
    echo $campos[0], PHP_EOL;
}
awkprograma.awk
# En PHP: echo $campos[0], PHP_EOL;
{ print $1 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,81 s · gawk: 419 ms · mawk: 519 ms. awk tarda 4,3 veces menos que PHP.

De las cuatro cosas que hace el PHP (abrir, recorrer, trocear, imprimir), awk hace solo las tres primeras. A ti te queda la última. Cada línea llega ya partida por los espacios en campos: $1 es el primero, $2 el segundo, y así. En el log, $1 es la IP.

¿Por qué? · En PHP no existe

¿Por qué $1 lleva dólar si en awk las variables no lo llevan?

En PHP el $ va delante de toda variable: $linea, $campos. En awk las variables se escriben sin él (lo verás en el módulo 04). El $ de awk es otra cosa: significa «el campo número…».

$1 se lee «el campo 1», y es como escribir $campos[0] en PHP. Ojo con el número: PHP empieza a contar en 0 y awk en 1. El $0 no es el primer campo: es la línea entera, sin trocear.

¿Qué fallo evita? En PHP, si te equivocas y pides $campos[40] en una línea con 20 trozos, salta un aviso de Undefined array key. En awk un campo que no existe vale texto vacío y el programa sigue. Para un log con líneas raras, es justo lo que quieres.

4 · Imprimir varios campos: con coma o sin coma

La página que pidió cada visita está en el campo 7. Para imprimir la IP y la página, se separan con una coma:

awkprograma.awk
# En PHP: echo $campos[0], " ", $campos[6], PHP_EOL;
{ print $1, $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

La coma hace que print ponga un espacio entre los dos. Si la quitas, los pega sin nada en medio. Pruébalo: ejecuta, mira la salida y después añade la coma.

awkprograma.awk
# En PHP: echo $campos[0] . $campos[6], PHP_EOL;
{ print $1 $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Poner dos cosas seguidas, sin coma, es la forma que tiene awk de concatenar: hace lo que el punto (.) en PHP. Sirve para mezclar tu texto con los campos. Los textos van siempre entre comillas dobles:

awkprograma.awk
# En PHP: echo "Visita de " . $campos[0] . " a " . $campos[6], PHP_EOL;
{ print "Visita de " $1 " a " $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

QuieresPHPawk
Separar con un espacioecho $a, " ", $b;print $1, $7
Pegar (concatenar)echo $a . $b;print $1 $7
Mezclar texto y datosecho "Hola " . $a;print "Hola " $1
La línea enteraecho $linea;print o print $0

5 · En tu servidor

La pregunta que te vas a hacer

Vale, pero… ¿y esto cómo lo ejecuto en el servidor de mi web?

Aquí el programa corre en tu navegador para que practiques sin instalar nada. En tu servidor entras por SSH y escribes el programa entre comillas simples, seguido del fichero:

$ awk '{ print $1, $7 }' /var/log/nginx/access.log
203.0.113.7 /
203.0.113.7 /css/app.css
198.51.100.4 /consulta
…

No hay nada que desplegar: awk ya está ahí. Eso sí, hay varias versiones. Para saber cuál tienes, prueba awk --version (si es gawk te dirá «GNU Awk») o awk -W version (si es mawk). Todo lo de los primeros módulos funciona igual en todas.

Hora de practicar

Retos · 0/3 resueltos

Reto 1 de 3

Solo las IP

El programa imprime cada línea entera. Cámbialo para que imprima solo la IP de cada visita (el primer campo), una por línea. En PHP sería echo $campos[0], PHP_EOL;.

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. awk recorre el fichero por ti: la acción entre llaves se ejecuta una vez por línea. En PHP es el foreach (file(...) as $linea) que ya no escribes.
  2. Cada línea llega troceada por los espacios: $1, $2, $3… Es el preg_split('/\s+/', $linea) de PHP, pero contando desde 1.
  3. $0 es la línea entera, tu $linea de PHP. print a secas imprime $0.
  4. print $1, $7 separa con un espacio; print $1 $7 pega. Sin coma, awk concatena: es el punto de PHP.
  5. Los textos van entre comillas dobles: print "Visita de " $1.
  6. El fichero se le da al ejecutar (awk -f programa.awk access.log), no dentro del programa.

Para recordarlo: «Con coma, separa; sin coma, pega»

LLee
una línea
TTrocea
$1 $2 …
AActúa
{ print }

Si dudas de qué hace print con dos campos, mira si hay coma entre ellos. Y para el resto de la lección: awk Lee la línea, la Trocea y Actúa. Tú solo escribes la A.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.