Mis apuntes · Aprende awk desde PHP

Se guardan solos en este navegador mientras escribes. Puedes usar Markdown. Al descargarlos, la primera línea es tu enlace personal al curso.

Lección 11 de 31 · Variables y control ✦ WebMCP implementado

Variables sin $ y sin declarar: texto o número

9 min de lectura 4 retos

Hasta ahora has filtrado e impreso líneas. Para sumar los bytes del día o sacar una media necesitas guardar datos de una línea para la siguiente: variables. En awk no llevan $, no se declaran y nacen vacías. Es muy cómodo, y tiene una trampa que PHP te avisa y awk no.

¿De dónde vienen los nombres?

int() = inglés integer (número entero)
Corta los decimales de un número: int(3.99) es 3. Es el (int) o el intdiv() de PHP.
% = operador módulo (del latín modulus, medida)
El resto de una división: 20 % 7 es 6. Se escribe y funciona igual que en PHP.
OFMT = Output ForMaT (formato de salida)
La variable de awk que decide con cuántas cifras imprime print un número con decimales. De fábrica son 6 cifras; en la lección siguiente lo controlas tú con printf.
--lint = inglés lint (pelusa)
Un linter es un programa que busca «pelusas» en tu código: cosas legales pero sospechosas. En PHP serían PHPStan o el propio aviso de Undefined variable.
En 4 ideas
1/4

En PHP toda variable lleva $: $total_bytes. En awk no lo lleva: total_bytes. El $ de awk significa «el campo número…» y es otra cosa.

1 · Sin dólar y sin declarar

Una variable es una caja con una etiqueta: guardas algo dentro y lo recuperas por su nombre. En el módulo anterior ya usaste una sin saberlo: el n++ que contaba líneas. Ahora vamos a sumar los bytes que ha servido la web. Los bytes de cada respuesta están en el campo 10.

PHP 8.5bytes.php
<?php
// en PHP la variable se crea antes de usarla
$total_bytes = 0;
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as $linea) {
    $campos = preg_split('/\s+/', trim($linea));
    // el campo 10 de awk es el índice 9 de PHP
    $total_bytes += (int) $campos[9];
}
echo "Bytes servidos: ", $total_bytes, PHP_EOL;
awkprograma.awk
# En PHP: $total_bytes += (int) $campos[9];
{ total_bytes += $10 }
# En PHP: echo "Bytes servidos: ", $total_bytes, PHP_EOL;
END { print "Bytes servidos:", total_bytes }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Medido en el servidor del curso con access.log multiplicado hasta 1.000.000 líneas: PHP 8.5: 1,23 s · gawk: 620 ms · mawk: 520 ms. awk tarda 2,4 veces menos que PHP.

Mira lo que no hay en el awk: ni $ delante de total_bytes, ni una línea que la cree, ni un (int). La primera regla se ejecuta en cada línea y va sumando. La regla END se ejecuta al acabar el fichero, y la variable sigue ahí con todo lo acumulado.

  • El nombre lleva letras, números y guiones bajos, y no puede empezar por un número: total_bytes, visitas2.
  • Mayúsculas y minúsculas cuentan: total y Total son dos variables distintas, como en PHP.
  • awk ya usa nombres en mayúsculas para las suyas (NR, NF, FS…). Escribe las tuyas en minúsculas y nunca chocarás con ellas.

¿Por qué? · En PHP no existe

¿Por qué las variables de awk no llevan $?

Porque el $ ya está cogido. En awk $ es una operación: «dame el campo número…». $7 es el campo 7. Y si detrás pones una variable, awk mira qué número hay en la caja y te da ese campo.

awkprograma.awk
NR == 1 {
    columna = 7
    # sin dolar: lo que hay dentro de la caja
    print columna
    # con dolar: el campo numero 7 de la linea
    print $columna
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

columna vale 7. $columna es «el campo 7», o sea la página (/). Este es el tropiezo número uno de quien viene de PHP: se te va el dedo, escribes $total_bytes y awk no protesta. Entiende «el campo número total_bytes» y te devuelve cualquier cosa.

¿Qué gana awk con esto? Que el campo se puede calcular: $NF ya lo conoces, y en la lección de control de flujo recorrerás todos los campos con $i.

2 · Nacen solas y vacías

En PHP, si usas una variable que no existe, te llevas un Warning: Undefined variable. En awk no hay que crearla: la primera vez que la nombras, existe. Y nace vacía. Este programa no lee ningún fichero; solo pregunta por una variable que nadie ha tocado:

awkprograma.awk
BEGIN {
    # En PHP: Warning: Undefined variable $sin_estrenar
    print "Como texto: [" sin_estrenar "]"
    print "Como numero:", sin_estrenar + 0
}
$ awk -f programa.awk
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. Sin fichero de datos: este programa solo tiene BEGIN, así que no lee nada.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Como texto no hay nada entre los corchetes. Como número vale 0. Es las dos cosas a la vez. Piensa en una pizarra recién borrada: si la lees, no pone nada; si te pones a contar en ella, empiezas desde cero.

Por eso funcionan n++ y total_bytes += $10 sin una línea antes que ponga la variable a cero: la primera vez suman sobre un 0.

¿Por qué? · En PHP no existe

¿Por qué awk no obliga a declarar ni a poner a cero?

awk nació para escribir programas de una línea en la terminal. Si para contar visitas hubiera que escribir antes BEGIN { visitas = 0 }, la mitad del programa serían preparativos.

En PHP ese trabajo lo haces tú: $total = 0; antes del bucle, o $visitas[$ip] = ($visitas[$ip] ?? 0) + 1; para no llevarte el aviso. awk te lo ahorra.

El precio lo pagas en la sección de la errata: como cualquier nombre nuevo vale, awk no puede distinguir una variable nueva de una mal escrita.

3 · Texto o número: depende de lo que hagas

En PHP cada valor tiene un tipo: "200" es un string y 200 es un int. En awk no eliges tipo. El mismo valor se usa como texto o como número según la operación. Es como un papel que pone «20»: lo puedes leer en voz alta (texto) o sumarlo a otra cifra (número).

awkprograma.awk
NR == 1 {
    # con + es un numero. En PHP: $campos[8] + 1
    print $9 + 1
    # pegado a otra cosa es un texto. En PHP: $campos[8] . "1"
    print $9 "1"
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

El estado de la primera línea es 200. Con + awk hace la cuenta: 201. Sin nada en medio lo concatena (lo pega), como viste en la primera lección: 2001. Para guardar un texto con trozos, igual: frase = "Visitas: " visitas.

Operaciónawk la trata comoEn PHP
a + b, a - b, a * b, a / bnúmeroigual
a b (seguidos, sin nada)texto: los pega$a . $b
a " " btexto: los pega con un espacio en medio$a . " " . $b
"abc" + 22: un texto sin número cuenta como 0TypeError: Unsupported operand types: string + int
"3 visitas" + 25: se queda con el número del principio5, con Warning: A non-numeric value encountered

Las dos últimas filas son la misma idea de siempre: awk nunca se para ni avisa. PHP 8 te lanza un error; awk convierte lo que puede y sigue. Para un log con algún dato raro es práctico (hay servidores que escriben - en los bytes cuando no envían nada, y awk lo suma como 0).

A veces quieres obligar a awk a tratar algo de una forma. Hay dos trucos, y los verás en programas de cualquiera:

TrucoQué haceEn PHP
valor + 0Lo convierte en número(int) $valor o (float) $valor
valor ""Lo convierte en texto (le pega un texto vacío)(string) $valor

¿Cuándo hace falta? El caso típico es un contador que nunca llegó a contar. Ninguna visita del log dio el estado 418, así que la variable sigue como nació: vacía.

awkprograma.awk
$9 == 418 { raras++ }
END {
    # la variable nunca se toco: sale vacia
    print "Sin forzar: [" raras "]"
    # En PHP: (int) $raras
    print "Forzando numero: [" (raras + 0) "]"
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

4 · La errata que PHP avisa y awk no

Este es el fallo más traicionero del módulo. Los dos programas tienen la misma errata: en la última línea falta una e en el nombre de la variable. Ejecuta el de awk.

PHP 8.5bytes.php
<?php
$total_bytes = 0;
foreach (file("access.log", FILE_IGNORE_NEW_LINES) as $linea) {
    $campos = preg_split('/\s+/', trim($linea));
    $total_bytes += (int) $campos[9];
}
// la errata: $total_byts
echo "Bytes servidos: ", $total_byts, PHP_EOL;
awkprograma.awk
{ total_bytes += $10 }
# la errata: total_byts
END { print "Bytes servidos:", total_byts }
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

awk imprime Bytes servidos: y nada detrás. Ni un error. PHP tampoco imprime el número, pero además te dice dónde está el fallo:

$ php bytes.php
Bytes servidos: 
Warning: Undefined variable $total_byts in bytes.php on line 8

¿Por qué? · En PHP no existe

¿Por qué awk no avisa de una variable mal escrita?

Es la otra cara de «nacen solas». Para awk total_byts no es un error: es otra variable, recién nacida y vacía. No tiene forma de saber que tú querías decir total_bytes.

Lo malo no es que falle, sino cómo falla: el programa termina bien y el informe sale con un hueco o con un cero. Si ese total va a un correo o a una gráfica, nadie se entera de que es mentira.

Es el mismo fallo que PHP dejaba pasar hace años sin avisos activados. PHP lo arregló avisando; awk sigue igual que en 1977.

Como el lenguaje no te protege, te proteges tú:

  1. Si un total sale vacío o en cero, sospecha primero de una errata. Compara letra a letra el nombre donde sumas y donde imprimes.
  2. Nombres claros y completos: total_bytes se escribe mal menos veces que tb o totbyt, y la errata se ve antes.
  3. Solo gawk: la opción --lint revisa el programa y avisa de las variables que se leen sin haberse rellenado nunca. En mawk o en el awk de macOS no existe: toca revisar a ojo.
$ gawk --lint -f programa.awk access.log
gawk: programa.awk:1: (FILENAME=access.log FNR=1) warning: reference to uninitialized variable `total_bytes'
gawk: programa.awk:3: (FILENAME=access.log FNR=20) warning: reference to uninitialized variable `total_byts'
Bytes servidos: 

5 · Cuentas: ++, +=, división, int() y %

Las cuentas se escriben casi como en PHP. Lo único que cambia de verdad es la potencia.

QuieresPHPawk
Sumar 1$visitas++;visitas++
Acumular$total += $bytes;total += $10
También restar, multiplicar, dividir-= *= /=-= *= /=
Dividir7 / 2 → 3.57 / 2 → 3.5
Dividir sin decimalesintdiv(7, 2) → 3int(7 / 2) → 3
Resto7 % 2 → 17 % 2 → 1
Potencia2 ** 102 ^ 10

Con eso ya sale la media: bytes totales entre número de visitas.

awkprograma.awk
{
    visitas++
    total_bytes += $10
}
END {
    # En PHP: $total_bytes / $visitas
    print "Media:", total_bytes / visitas
    # En PHP: intdiv($total_bytes, $visitas)
    print "Media sin decimales:", int(total_bytes / visitas)
    # En PHP: $visitas % 7
    print "Visitas que sobran al hacer grupos de 7:", visitas % 7
}
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

La división siempre da decimales si los hay. int() los corta: no redondea, tira lo que hay detrás de la coma (int(3.99) es 3). En END también puedes dividir entre NR, que ahí vale el total de líneas.

¿Por qué? · En PHP no existe

¿Por qué no hay división entera, como el intdiv() de PHP?

Porque awk solo tiene una clase de número: con decimales. PHP distingue int de float; awk no. Un 7 y un 7.0 son lo mismo, así que no hay una división «de enteros» aparte.

¿Qué fallo evita? El de C o Go, donde 7 / 2 da 3 y pierdes medio byte sin enterarte. En awk la cuenta sale completa, y si no quieres decimales los cortas tú, a la vista, con int().

¿Qué fallo nuevo trae? print enseña como mucho 6 cifras de un número con decimales: 58311.8, no 58311.800000. Y uno grande como 1234567.5 lo imprime 1.23457e+06. Los enteros salen enteros. Para decidir tú las cifras está printf, que es la lección siguiente.

La pregunta que te vas a hacer

¿Y con un log de 2 GB? ¿Cabe la suma en una variable?

De sobra. Los números de awk son del mismo tipo que el float de PHP, y guardan enteros exactos hasta 9007199254740992 (2 elevado a 53). En bytes son unos 8 000 terabytes: muchos años de tráfico de una web normal.

Y la memoria no crece: awk lee una línea, suma y la olvida. Un log de 2 GB ocupa lo mismo que uno de 2 KB, porque lo único que guardas es el total.

Hora de practicar

Retos · 0/4 resueltos

Reto 1 de 4

Los bytes del día

El programa debería sumar los bytes de todas las respuestas (campo 10) e imprimir al final Bytes servidos: 1166236. Ahora imprime solo los bytes de la última línea. Arréglalo. Es el $total_bytes += $campos[9]; de PHP.

Al pulsar Comprobar, tu programa se ejecuta en tu navegador con el fichero que ves y con otro distinto que no ves: tiene que acertar con los dos.

awkprograma.awk · editable
$ awk -f programa.awk access.log
¿Qué significa esta línea?
  1. awk: el programa que lee el fichero. En tu servidor puede ser gawk (el de este curso) o mawk (el de Debian y Ubuntu).
  2. -f programa.awk: f de file (fichero). El programa no va escrito en la línea, está guardado en el fichero programa.awk: es lo que ves en la pestaña del mismo nombre. Sin -f, el programa se escribe entre comillas simples: awk '{ print $1 }' access.log.
  3. access.log: los datos, el fichero que awk lee línea a línea. Va siempre al final y puede haber varios: los lee uno detrás de otro.

Las variantes (una línea, varios ficheros, tuberías con |) y qué formatos puede leer awk: lección Una línea o un fichero.

Resumen

Lo que te llevas de esta lección

  1. Las variables van sin $ y sin declarar: total_bytes += $10. En PHP, $total_bytes += $campos[9]; con su $total_bytes = 0; antes.
  2. $variable no es la variable: es el campo cuyo número está en ella. columna = 7; print $columna imprime el campo 7, tu $campos[$columna - 1].
  3. Una variable sin estrenar vale "" y 0 a la vez. En PHP sería Warning: Undefined variable.
  4. El uso decide: con + - * / es un número, pegada a otra cosa es un texto. + 0 fuerza número ((int) en PHP) y "" fuerza texto ((string)).
  5. Una variable mal escrita es una variable nueva y vacía, sin aviso. Si un total sale en blanco o en cero, busca la errata.
  6. / siempre da decimales; int() los corta (el intdiv() de PHP); % es el resto y la potencia es ^ (en PHP, **).

Para recordarlo: «Sin dólar, sin declarar, sin avisar»

SSin dólar
total_bytes
SSin declarar
nace "" y 0
SSin avisar
ojo a la errata

Las tres cosas que cambian respecto a PHP, en orden: la variable no lleva $, no hay que crearla… y si te equivocas al escribirla, nadie te lo dice. Las dos primeras son un regalo; la tercera es la factura.

Los programas se ejecutan con GNU awk 5.4.1 compilado a WebAssembly, software libre con licencia GPL-3.0. Código fuente: gawk en ftp.gnu.org · receta de compilación.