La T de ChatGPT y dónde vive "banco"

La “T” de ChatGPT existe para resolver un problema que vos resolvés sin darte cuenta.

Leé estas dos frases: “me senté en un banco de la plaza” / “fui al banco a pedir un crédito”. Tu cerebro desambiguó “banco” antes de terminar de leer. Ni lo registraste.

Los modelos de lenguaje tardaron años en aprender ese truco. Hasta 2018, el estándar (word2vec) representaba cada palabra como UN punto fijo en un espacio de significados: el “banco” de la plaza y el de los créditos, congelados en el mismo lugar.

La solución fue darlo vuelta: que el vector no dependa de la palabra, sino de la palabra EN SU CONTEXTO. Eso hace el mecanismo de atención: cada palabra “mira” a las que la rodean y ajusta su representación. Al lado de “plaza”, el vector de “banco” aterriza en el barrio de los asientos; al lado de “crédito”, en el financiero. Esa idea es el Transformer, la T de ChatGPT.

Preguntas que me quedaron picando:

• Si cada contexto genera un punto distinto… ¿existe “el” significado de una palabra, o solo la nube de todos sus usos?
• ¿Cuánto contexto hace falta para desambiguar? ¿La frase alcanza o hay palabras que necesitan el documento entero?
• Si el modelo aprende significados por compañías… ¿qué pasa con una palabra que nunca vio?