Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 22 de 31 · Texto y fechas ✦ WebMCP implementado

Tus propias funciones

10 min de lectura 4 retos

Llevas tres lecciones recortando y limpiando campos, y los programas empiezan a repetir trozos: «la clase del estado», «¿es un bot?». En PHP lo meterías en una función. En awk también puedes, y se escriben casi igual. Pero hay una diferencia enorme que no se ve a simple vista: dentro de una función de awk, las variables no son tuyas.

En 4 ideas
1/4

Una función se define con function nombre(parametros) { … return valor }, igual que en PHP pero sin $ y sin tipos. Va fuera de las reglas, en cualquier parte del programa.

1 · Definir una función

Una función es una receta con nombre: la escribes una vez y la usas todas las que quieras. Vamos con una que convierte un estado (404) en su clase (4xx). La cuenta es dividir entre 100 y quedarse con la parte entera.

PHP 8.5clases.php
<?php
function clase_de_estado(int $estado): string
{
    // intdiv(404, 100) es 4
    return intdiv($estado, 100) . "xx";
}

$lineas = file("access.log", FILE_IGNORE_NEW_LINES);
foreach ($lineas as $linea) {
    $campos = explode(" ", $linea);
    echo clase_de_estado((int) $campos[8]), " ", $campos[6], PHP_EOL;
}
awkprograma.awk
# En PHP: function clase_de_estado(int $estado): string { … }
function clase_de_estado(estado) {
    # En PHP: return intdiv($estado, 100) . "xx";
    return int(estado / 100) "xx"
}

# En PHP: echo clase_de_estado((int) $campos[8]), " ", $campos[6], PHP_EOL;
{ print clase_de_estado($9), $7 }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 2,08 s · gawk: 869 ms · mawk: 719 ms. awk tarda 2,9 veces menos que PHP.

Se parecen mucho. Las diferencias:

PHPawk
Palabra clavefunctionfunction (igual)
Parámetrosint $estadoestado: sin $ y sin tipo
Tipo de lo que devuelve: stringno se declara
Devolverreturn $valor;return valor
Si no hay returndevuelve nulldevuelve vacío ("", que como número es 0)
Dónde se escribeen cualquier sitio del ficherofuera de las reglas: nunca dentro de unas llaves de acción

Un programa awk ya no es solo una lista de reglas patrón { acción }: ahora tiene también funciones, al mismo nivel. Da igual si las pones arriba o abajo; lo habitual es ponerlas arriba, como los ingredientes antes de la receta.

2 · Al llamarla, el paréntesis va pegado

En PHP puedes escribir strlen ($url) con un espacio y no pasa nada. En awk, con tus funciones, no. Este programa tiene un espacio entre el nombre y el paréntesis:

awkprograma.awkSolo lectura: no arranca, mira el error
function clase_de_estado(estado) {
    return int(estado / 100) "xx"
}

{ print clase_de_estado ($9), $7 }
$ awk -f programa.awk access.log
gawk: programa.awk:5: error: function `clase_de_estado' called with space between name and `(',
or used as a variable or an array

El mensaje lo dice claro: «función llamada con un espacio entre el nombre y el paréntesis».

¿Por qué? · En PHP no existe

¿Por qué awk no deja poner un espacio antes del paréntesis, si en PHP da igual?

Porque en awk el espacio ya significa otra cosa: concatenar. Lo viste en la primera lección: print $1 $7 pega dos campos. Entonces, ¿qué es nombre ($9)? Puede ser «llama a la función nombre» o «pega la variable nombre con ($9)». Son dos lecturas válidas.

Para no tener que adivinar, awk pone una regla: si es una llamada a una función tuya, el paréntesis va pegado. PHP no tiene este problema porque concatena con el punto y marca las variables con $.

gawk te avisa con un error, que es lo mejor que te puede pasar. Otros awk, como mawk, lo aceptan. No te fíes: escribe siempre nombre( y funcionará en todos.

3 · Las variables son de todos (salvo los parámetros)

Esta es la parte importante de la lección. Mira este programa: suma los bytes de todas las visitas en total, y tiene una función kb() que pasa bytes a kilobytes. Dentro de la función hay una variable que también se llama total. En PHP serían dos variables distintas. Ejecútalo:

awkprograma.awk
function kb(bytes) {
    # En PHP esta $total sería local: otra variable distinta
    total = bytes / 1024
    return int(total)
}

# En PHP: $total += (int) $campos[9];
{ total += $10 }

$10 > 100000 { print $7, kb($10) " KB" }

END { print "Total: " kb(total) " KB" }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Dice que el total son 23 KB… y solo el PDF ya pesa 1024 KB. El programa no da ningún error, pero la suma está mal. ¿Qué ha pasado? Que el total de dentro de kb() y el total de fuera son la misma variable. Cada vez que se llama a kb(), la suma que llevabas se pisa.

En awk todas las variables son globales: se ven y se cambian desde cualquier parte del programa. Solo hay una excepción: los parámetros de la función, que son locales. Y de esa excepción sale el truco que usa todo el mundo: declarar la variable como un parámetro de más, que nadie rellena al llamar.

awkprograma.awk
# total va en la lista de parámetros: ahora es local de kb()
function kb(bytes,    total) {
    total = bytes / 1024
    return int(total)
}

{ total += $10 }

$10 > 100000 { print $7, kb($10) " KB" }

END { print "Total: " kb(total) " KB" }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Ahora sí: 1138 KB. Lo único que ha cambiado es la primera línea: function kb(bytes, total). La función se sigue llamando con un solo argumento, kb($10). El parámetro total nace vacío en cada llamada y, al ser parámetro, es local: el total de fuera ya no se entera.

¿Por qué? · En PHP no existe

¿Por qué en awk las variables de una función son globales? En PHP son locales.

Por historia. El awk de 1977 no tenía funciones: los programas eran de una o dos líneas, y que todas las variables fueran globales era lo cómodo (por eso en el END puedes leer lo que sumaste en cada línea). Las funciones llegaron en 1985, y para no cambiar el lenguaje se aprovechó lo único que ya era local: los parámetros.

PHP hace justo lo contrario: dentro de una función todo es local, y si quieres una global tienes que pedirla con global $total;. En PHP lo peligroso hay que pedirlo. En awk lo peligroso viene de serie y lo seguro hay que pedirlo.

El fallo que trae es el más difícil de encontrar de todo awk, porque no hay mensaje de error: una función usa una i o una n para sus cuentas, el programa principal usa otra i u otra n, y se pisan. El bucle de fuera se salta vueltas o un contador sale mal. Regla: toda variable que estrenes dentro de una función, apúntala al final de sus parámetros.

Variable dentro de una funciónPHPawk
Un parámetrolocallocal
Una variable nuevalocalglobal
Para que sea globalglobal $total;no hacer nada
Para que sea localno hacer nadaañadirla como parámetro de más

4 · Los textos se copian; los arrays se comparten

Cuando pasas un texto o un número a una función, le llega una copia: si la función lo cambia, el tuyo sigue igual. Eso es como en PHP. Con los arrays, awk hace otra cosa: le pasa el array de verdad. Este programa no lee ningún fichero; solo lo demuestra:

awkprograma.awk
function cambiar(texto, lista) {
    texto = "cambiado"
    lista[1] = "cambiado"
}

BEGIN {
    mi_texto = "original"
    mi_lista[1] = "original"
    # En PHP haría falta function cambiar(string $texto, array &$lista)
    cambiar(mi_texto, mi_lista)
    print mi_texto, mi_lista[1]
}
$ awk -f programa.awk
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. Sin fichero de datos: este programa solo tiene BEGIN, así que no lee nada.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

El texto sigue original y el array sale cambiado. Es como prestar una fotocopia de tus apuntes (el texto) o prestar el cuaderno (el array): lo que te escriban en el cuaderno, se queda escrito.

En PHP los arrays también se copian, salvo que pongas & delante del parámetro. En awk no se elige: los arrays van siempre por referencia. No es un defecto: es la única manera de que una función te «devuelva» un array. Así funciona split, y así puedes hacer las tuyas:

awkprograma.awk
# rellena el array f con día, mes, año, hora, minuto y segundo; devuelve cuántos trozos hay
function partir_fecha(campo, f) {
    return split(substr(campo, 2), f, /[\/:]/)
}

{
    partir_fecha($4, fecha)
    # En PHP: echo $fecha[3], "h del ", $fecha[0], " de ", $fecha[1], PHP_EOL;
    print fecha[4] "h del " fecha[1] " de " fecha[2]
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

5 · Dos funciones para tu log

Con funciones, el programa se lee casi como una frase. Aquí hay dos: ip_es_bot() devuelve 1 si la IP es de Googlebot (sus IP empiezan por 66.249.) y 0 si no; y clase_de_estado(), que ya conoces. El programa cuenta las visitas de personas por clase de estado:

awkprograma.awk
# En PHP: function ip_es_bot(string $ip): bool { return str_starts_with($ip, "66.249."); }
function ip_es_bot(ip) {
    return index(ip, "66.249.") == 1
}

function clase_de_estado(estado) {
    return int(estado / 100) "xx"
}

# En PHP: if (!ip_es_bot($ip)) { $visitas[clase_de_estado($estado)] = ($visitas[clase_de_estado($estado)] ?? 0) + 1; }
!ip_es_bot($1) { visitas[clase_de_estado($9)]++ }

END {
    for (c = 1; c <= 5; c++) {
        clase = c "xx"
        if (clase in visitas) {
            print clase, visitas[clase]
        }
    }
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Dos detalles. En awk no hay true ni false: una comparación como index(ip, "66.249.") == 1 vale 1 si se cumple y 0 si no, y eso es lo que devuelve la función. Y una función así se puede usar directamente como patrón, con su ! delante para negarla.

La pregunta que te vas a hacer

¿Puedo guardar mis funciones en un fichero aparte, como con require en PHP?

Sí. awk admite varios -f en la misma orden y junta todos los ficheros como si fueran uno. Guardas las funciones en funciones.awk y las usas desde cualquier programa. Esto funciona en cualquier awk:

$ cat funciones.awk
function clase_de_estado(estado) {
    return int(estado / 100) "xx"
}
$ cat programa.awk
$9 >= 500 { print clase_de_estado($9), $7 }
$ awk -f funciones.awk -f programa.awk access.log
5xx /api/ventas

Solo gawk: también existe @include "funciones.awk" como primera línea del programa, que es lo más parecido al require de PHP. En mawk y en macOS no existe; ahí usa los dos -f.

En el módulo 08 construyes un informe entero a base de funciones como estas: es_bot(), hora(), navegador().

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

clase_de_estado()

Completa la función clase_de_estado(estado) para que devuelva la clase de un estado: 2xx para 200, 4xx para 404, 5xx para 503. Ahora devuelve el estado tal cual. El programa la usa para imprimir 2xx / por cada visita. Al comprobar, además, se llama a tu función con 200, 404 y 503 antes de leer el log (por eso la primera línea esperada es 2xx 4xx 5xx). En PHP sería intdiv($estado, 100) . "xx".

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. function nombre(a, b) { return valor }, fuera de las reglas. Como en PHP, pero sin $, sin tipos y sin ;.
  2. Al llamar, el paréntesis pegado: nombre($9). En PHP nombre ($x) vale; en gawk es un error, porque el espacio concatena.
  3. Dentro de una función todo es global menos los parámetros. En PHP es al revés: todo es local salvo lo que declares global.
  4. Para una variable local: parámetro de más, separado por espacios: function kb(bytes, total). Es tu variable local de PHP, declarada a mano.
  5. Textos y números se pasan por copia; los arrays, el original, como un array &$lista de PHP. Así una función puede rellenar un array.
  6. No hay true/false: una función «de sí o no» devuelve 1 o 0 y se usa como patrón: !ip_es_bot($1) { … }.

Para recordarlo: «Lo que no está entre los paréntesis, es de todos»

En una función de awk solo es tuyo lo que aparece en su lista de parámetros. Si estrenas una variable dentro, apúntala ahí, detrás del hueco: function kb(bytes, total).

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.