No todo lo que parece neutral lo es

Tu experimento puede estar impecable y tu conclusión ser falsa igual. El culpable favorito: el control.

En el laboratorio esto se aprende temprano y por las malas: antes de medir la muestra, se mide el blanco. Si el blanco está contaminado, todos los números que salen después son ruido con cara de resultado. El control no es decorativo — es lo que le da validez a la medición.

En machine learning pasa igual, y se olvida más seguido. Ejemplo: para medir sesgos en modelos de lenguaje necesitás palabras “neutrales” como referencia. Pero ¿quién audita a las neutrales? Una palabra que suena inocente puede venir cargada — y si tu referencia hereda el mismo sesgo que estás midiendo, tu medición nace muerta.

Cuando Caliskan, Bryson y Narayanan publicaron en Science (2017) el test WEAT para cuantificar sesgos en embeddings, gran parte del método es exactamente eso: la selección y validación cuidadosa de los conjuntos de palabras. Medir es fácil. Medir válido es lo difícil — y es lo que separa un paper de Science de un gráfico lindo.

La moraleja excede al NLP: cada vez que evaluás un modelo, un prompt o un A/B test, tu baseline ES parte del experimento. Un baseline mal elegido no te deja sin conclusión — te deja con una conclusión falsa, que es peor. Y en un equipo que itera rápido, una conclusión falsa es carísima: se convierte en decisiones, sprints y arquitectura antes de que alguien la cuestione.

Por eso no compro la falsa dicotomía entre rigor y velocidad. El rigor bien puesto ES velocidad: auditar el baseline cuesta 3 líneas de código hoy, o un trimestre de iterar sobre una mentira mañana. más abajo te dejo la notebook que mide qué tan “neutral” es tu referencia antes de que contamine el experimento

Y una pregunta para llevarse: si el control hay que auditarlo… ¿con qué se audita al auditor? ¿Dónde corta la cadena? (Spoiler: los autores de WEAT tienen una respuesta elegante — está en el paper.)

¿Cuál es el baseline que nunca auditaste?