La temperatura modifica la distribución utilizada por algunos modos de muestreo al generar texto. Una temperatura menor suele concentrar las probabilidades y una mayor repartirlas. Eso puede cambiar qué respuesta obtenemos y cómo funciona una tarea concreta, sin proporcionar una garantía de veracidad ni convertir al modelo en una fuente infalible.
La idea, paso a paso
En términos técnicos, la temperatura actúa sobre los logits, que son los valores brutos que el modelo genera antes de convertirlos en probabilidades. Estos logits se escalan de acuerdo con el valor de temperatura antes de ser normalizados. Por ejemplo, si los logits son 2, 1 y 0, y la temperatura es 0.5, el modelo asignará más peso al valor más alto (2), lo que hará que la respuesta sea más concentrada y predecible. Si la temperatura se eleva a 1.5, los logits se escalarán de manera que se distribuirán de forma más uniforme, lo que permitirá respuestas más diversas. Este proceso se ilustra en un gráfico teórico que se basa en logits ficticios, no en resultados reales de un modelo.
Un ejemplo para entenderlo
En el gráfico partimos de tres logits inventados: 2, 1 y 0. Al dividirlos por una temperatura de 0,5 y normalizar, las probabilidades aproximadas son 86,7 %, 11,7 % y 1,6 %. Con 1,5 son 56,3 %, 28,9 % y 14,8 %. Son cálculos educativos, no mediciones de un producto. Ninguna columna indica qué opción es verdadera.
Qué conviene comprobar
Un error frecuente al ajustar la temperatura es pensar que bajarla garantizará respuestas sin errores o que subirla hará al modelo más creativo sin límites. En realidad, la temperatura solo influye en la variedad de las respuestas, no es una garantía de calidad o veracidad. Por ejemplo, si se ajusta a un valor muy bajo, el modelo podría repetir respuestas similares sin ofrecer nuevas soluciones, lo que puede limitar la utilidad en ciertos contextos. Por otro lado, si se sube demasiado, el modelo podría generar respuestas que no se ajusten al contexto o incluso que parezcan aleatorias.
Antes de ajustar la temperatura, es importante definir claramente la tarea y evaluar qué tipo de salida se busca. Por ejemplo, si se trata de generar ideas creativas para un proyecto, una temperatura alta puede ser útil. Si se necesita una respuesta precisa, como en la extracción de datos de un documento, una temperatura baja puede ser más adecuada. En ambos casos, es recomendable probar varios valores y evaluar los resultados con ejemplos propios para determinar cuál ofrece el mejor equilibrio.
La temperatura puede cambiar qué respuesta se obtiene y, por tanto, el resultado de una tarea. Lo que no proporciona es una garantía de veracidad. Su efecto se evalúa en el modelo y modo de generación concretos; algunos modos no usan ese parámetro y un valor bajo no asegura determinismo universal.
Pruébalo con un caso pequeño
Define dos tareas y qué comprobarías antes de ajustar generación.
Para revisar tu ejercicio, distingue qué dato entra, qué resultado esperas y con qué evidencia lo comprobarías. Si aparece una duda, anótala como tal en lugar de completar el dato. El propósito es detectar una decisión concreta que puedas justificar, no obtener una respuesta que solo suene convincente.
Cómo leer el esquema
Distribuciones calculadas con logits ficticios: 2, 1 y 0. No son datos de un modelo.
Fuentes
Documentación original utilizada para los conceptos de este artículo.