Ai2 presentó StateBench el 3 de noviembre de 2026 para evaluar cómo siguen los modelos los cambios de estado en documentos largos. Su interés para quienes desarrollan asistentes está en separar preguntas distintas: localizar un dato, encontrar su última actualización y reconstruir una cadena de modificaciones.
Leer mucho texto no garantiza responder bien cuando varios cambios dependen unos de otros. El anuncio de Ai2 estudia esa diferencia con tareas controladas; no es una prueba de fiabilidad de cualquier agente empresarial.
Cuatro dificultades que conviene distinguir
Los niveles van desde un valor que permanece fijo hasta operaciones entre variables:
- Inmutable: recuperar el valor inicial, que nunca cambia.
- Sobrescritura: localizar el último valor explícito.
- Actualización propia: calcular cada cambio a partir del estado anterior de esa misma variable.
- Dependencias entre variables: copiar el valor que otra tiene en ese momento o seguir intercambios.
Ai2 conserva el número de variables y valores y las posiciones de las asignaciones para comparar los niveles. En sus evaluaciones, los modelos de frontera probados empeoran al alargarse las cadenas más difíciles. Los ensayos con entrenamiento directo también muestran diferencias entre arquitecturas. Son resultados de los autores bajo esas condiciones, sin mediciones propias de Puntoes ni un ganador universal que trasladar a producción.
El valor se copia; no queda enlazado para siempre
El repositorio de StateBench aclara un detalle necesario para interpretar los ejercicios: copiar una variable toma su valor en ese instante; no crea una referencia que siga cambiando con ella.
Ejemplo explicativo propio, sin ejecutar un modelo: primero A vale 4; después se copia A en B; finalmente A pasa a valer 7. B sigue valiendo 4. Responder 7 confundiría el valor actual de A con el que se copió anteriormente. Este ejemplo ilustra la semántica; no reproduce un resultado medido del benchmark ni mide rendimiento.
El código permite generar trazas reproducibles y presentar el mismo problema de distintas formas. Los identificadores de origen ayudan a relacionar esas variantes. La licencia Apache 2.0 corresponde al código del repositorio; no damos por supuestas condiciones idénticas para cualquier dato o modelo utilizado.
La tarjeta del conjunto de datos describe tareas sintéticas y formatos como código, celdas de hoja de cálculo o personas en habitaciones. Sus particiones por longitud se basan en un tokenizador especificado: contar tokens y contar operaciones son medidas diferentes. No hemos descargado el conjunto completo ni ejecutado su evaluación.
Cómo convertir la pregunta en una evaluación útil
Nuestra propuesta editorial para un asistente de pedidos sería crear casos separados: encontrar una dirección, aplicar una sustitución y reconstruir qué dirección estaba vigente cuando se confirmó un envío. Son casos hipotéticos para diseñar una evaluación propia; StateBench no acredita resultados en pedidos reales.
Cada caso necesitaría una respuesta de referencia revisada y un historial inequívoco. También convendría distinguir fallos al recuperar una actualización de fallos al combinarla con cambios anteriores. Es una separación compatible con nuestro antecedente sobre evaluar respuestas y abstenciones en RAG, aunque las tareas de ambos trabajos sean diferentes.
El límite decisivo del marco actual es que mantiene fijo el número de variables. Una conversación real puede introducir nuevas personas, objetos y relaciones. Por eso interpretaríamos sus resultados como una herramienta de diagnóstico, junto a pruebas de la aplicación concreta, sin convertirlos en autorización para que el texto generado sustituya el estado verificado del sistema.