Lección 1 de 31 · De PHP a awk✦ WebMCP implementado
Hola, awk: el bucle que no escribes
7 min de lectura3 retos
awk es un lenguaje pequeño que lleva en todos los servidores Unix desde 1977 y sirve para una cosa: leer ficheros de texto línea a línea y sacar datos de ellos. En esta lección escribes tu primer programa sobre el log de accesos de una web, ves qué parte del script de PHP ya no tienes que escribir e imprimes los primeros campos.
¿De dónde vienen los nombres?
awk = Aho, Weinberger y Kernighan
Las iniciales de los apellidos de sus tres autores (Alfred Aho, Peter Weinberger y Brian Kernighan), que lo crearon en los laboratorios Bell en 1977. No es una sigla de nada más.
gawk = GNU awk
La versión de awk del proyecto GNU, la más completa. Es la que ejecuta este curso en tu navegador. En Debian y Ubuntu el awk que viene instalado es otro más pequeño, mawk; lo que solo funcione en gawk te lo marcaremos.
log = inglés log, de logbook (cuaderno de bitácora)
En los barcos se apuntaba en un cuaderno, hora a hora, todo lo que pasaba. El log de tu web es lo mismo: una línea por cada petición. En PHP es lo que escribes con error_log().
print = inglés print (imprimir)
Escribe en la pantalla y añade un salto de línea. Es tu echo con un PHP_EOL detrás.
En 4 ideas
1/4
En PHP abres el fichero, haces un foreach por sus líneas y dentro trabajas. En awk el bucle ya está hecho: lo que escribes entre llaves se ejecuta una vez por cada línea del fichero.
En PHP partes la línea con explode() o preg_split(). awk ya te la da troceada por los espacios: $1 es el primer trozo, $2 el segundo… y $0 es la línea entera.
print es tu echo con salto de línea. Con coma entre dos cosas las separa con un espacio; sin coma las pega, como el punto de PHP.
El programa no lleva dentro el nombre del fichero: se lo das al ejecutar, awk -f programa.awk access.log. El mismo programa sirve para el log de hoy y para el de ayer.
1 · ¿Por qué awk?
Cada vez que alguien visita tu web, el servidor (nginx o Apache) apunta una línea en un fichero: el log de accesos. Quién vino, a qué hora, qué página pidió y qué le respondiste. Un día normal son miles de líneas.
Cuando algo va mal (la web va lenta, alguien prueba contraseñas, una página da error) la respuesta está en ese fichero. Podrías escribir un script de PHP para leerlo. awk es el atajo:
Ya está instalado. En cualquier servidor Linux, sin composer, sin extensiones y sin desplegar nada.
El bucle y el explode vienen hechos. Tú solo dices qué líneas te interesan y qué hacer con ellas.
Cabe en una línea de la terminal. Lo que en PHP son diez líneas, aquí suele ser una.
Aguanta ficheros enormes. Lee línea a línea y no carga el fichero entero en memoria, como sí hace file() en PHP.
Piensa en PHP como una navaja suiza y en awk como un pelapatatas: solo hace una cosa, pero para esa cosa no hay nada más rápido de sacar del cajón. Todo el curso trabaja sobre el mismo fichero, access.log, y al final construyes con él un informe de tu web.
2 · Tu primer programa
Este es el programa awk más corto que hace algo. Pulsa Ejecutar: se ejecuta en tu navegador y ves la salida debajo.
awkprograma.awk
# En PHP: foreach (file("access.log") as $linea) { echo $linea; }
{ print }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Ha impreso el fichero entero. Fíjate en tres cosas de la caja:
Arriba hay dos pestañas: programa.awk es tu código y access.log es el fichero que lee. Ábrela para ver el log; es de solo lectura.
Debajo del código está la línea de comando: awk -f programa.awk access.log. Es lo que escribirías en la terminal de tu servidor. -f viene de file (fichero): «el programa está en este fichero».
El programa son solo unas llaves con un print dentro. No abre el fichero, no tiene bucle y no nombra el log en ningún sitio.
3 · El bucle que no escribes
Vamos a sacar solo la IP de cada visita, que es lo primero que hay en cada línea. A la izquierda, cómo lo harías en PHP; a la derecha, en awk. Los dos hacen exactamente lo mismo.
PHP 8.5ips.php
<?php// abrir el fichero y leerlo entero$lineas = file("access.log", FILE_IGNORE_NEW_LINES);
// el bucle, línea a líneaforeach ($lineasas$linea) {
// trocear la línea por los espacios$campos = preg_split('/\s+/', trim($linea));
// el primer trozo es la ipecho$campos[0], PHP_EOL;
}
awkprograma.awk
# En PHP: echo $campos[0], PHP_EOL;
{ print$1 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
⏱ Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,81 s · gawk: 419 ms · mawk: 519 ms. awk tarda 4,3 veces menos que PHP.
De las cuatro cosas que hace el PHP (abrir, recorrer, trocear, imprimir), awk hace solo las tres primeras. A ti te queda la última. Cada línea llega ya partida por los espacios en campos: $1 es el primero, $2 el segundo, y así. En el log, $1 es la IP.
¿Por qué? · En PHP no existe
¿Por qué $1 lleva dólar si en awk las variables no lo llevan?
En PHP el $ va delante de toda variable: $linea, $campos. En awk las variables se escriben sin él (lo verás en el módulo 04). El $ de awk es otra cosa: significa «el campo número…».
$1 se lee «el campo 1», y es como escribir $campos[0] en PHP. Ojo con el número: PHP empieza a contar en 0 y awk en 1. El $0 no es el primer campo: es la línea entera, sin trocear.
¿Qué fallo evita? En PHP, si te equivocas y pides $campos[40] en una línea con 20 trozos, salta un aviso de Undefined array key. En awk un campo que no existe vale texto vacío y el programa sigue. Para un log con líneas raras, es justo lo que quieres.
4 · Imprimir varios campos: con coma o sin coma
La página que pidió cada visita está en el campo 7. Para imprimir la IP y la página, se separan con una coma:
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
La coma hace que print ponga un espacio entre los dos. Si la quitas, los pega sin nada en medio. Pruébalo: ejecuta, mira la salida y después añade la coma.
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Poner dos cosas seguidas, sin coma, es la forma que tiene awk de concatenar: hace lo que el punto (.) en PHP. Sirve para mezclar tu texto con los campos. Los textos van siempre entre comillas dobles:
awkprograma.awk
# En PHP: echo "Visita de " . $campos[0] . " a " . $campos[6], PHP_EOL;
{ print"Visita de "$1" a "$7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Quieres
PHP
awk
Separar con un espacio
echo $a, " ", $b;
print $1, $7
Pegar (concatenar)
echo $a . $b;
print $1 $7
Mezclar texto y datos
echo "Hola " . $a;
print "Hola " $1
La línea entera
echo $linea;
print o print $0
5 · En tu servidor
La pregunta que te vas a hacer
Vale, pero… ¿y esto cómo lo ejecuto en el servidor de mi web?
Aquí el programa corre en tu navegador para que practiques sin instalar nada. En tu servidor entras por SSH y escribes el programa entre comillas simples, seguido del fichero:
No hay nada que desplegar: awk ya está ahí. Eso sí, hay varias versiones. Para saber cuál tienes, prueba awk --version (si es gawk te dirá «GNU Awk») o awk -W version (si es mawk). Todo lo de los primeros módulos funciona igual en todas.
El programa imprime cada línea entera. Cámbialo para que imprima solo la IP de cada visita (el primer campo), una por línea. En PHP sería echo $campos[0], PHP_EOL;.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista.print a secas imprime la línea entera. Dile qué campo quieres: el primero es $1.
Reto 2 de 3 · ✓ Resuelto
Quién pidió qué
Imprime la IP y la página que pidió (campos 1 y 7) separadas por un espacio. Para la primera línea del log debe salir 203.0.113.7 /.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Ejecuta y mira la salida: la IP y la página salen pegadas. ¿Qué le falta a print entre los dos campos?
Reto 3 de 3 · ✓ Resuelto
Una frase por visita
Imprime una frase por cada visita con este formato exacto: Visita de 203.0.113.7 a /. Es decir: el texto Visita de , la IP, el texto a y la página. Es el echo "Visita de " . $ip . " a " . $url; de PHP.
Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.
awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
-f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.
Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.
Pista. Para pegar cosas no hace falta ningún símbolo: se escriben seguidas. Cuidado con los espacios: van dentro de las comillas, " a ".
Resumen
Lo que te llevas de esta lección
awk recorre el fichero por ti: la acción entre llaves se ejecuta una vez por línea. En PHP es el foreach (file(...) as $linea) que ya no escribes.
Cada línea llega troceada por los espacios: $1, $2, $3… Es el preg_split('/\s+/', $linea) de PHP, pero contando desde 1.
$0 es la línea entera, tu $linea de PHP. print a secas imprime $0.
print $1, $7 separa con un espacio; print $1 $7 pega. Sin coma, awk concatena: es el punto de PHP.
Los textos van entre comillas dobles: print "Visita de " $1.
El fichero se le da al ejecutar (awk -f programa.awk access.log), no dentro del programa.
Para recordarlo: «Con coma, separa; sin coma, pega»
LLee una línea
TTrocea $1$2 …
AActúa { print }
Si dudas de qué hace print con dos campos, mira si hay coma entre ellos. Y para el resto de la lección: awk Lee la línea, la Trocea y Actúa. Tú solo escribes la A.