Investigadores han sugerido la existencia de una nueva “ley de escalado” en inteligencia artificial (IA), pero muchos expertos son escépticos. Las leyes de escalado en IA son conceptos que explican cómo mejora el rendimiento de los modelos de IA a medida que aumentan el tamaño de los conjuntos de datos y los recursos de computación utilizados para entrenarlos. Hasta hace aproximadamente un año, el enfoque principal era el “pre-entrenamiento”, que consiste en entrenar modelos cada vez más grandes con conjuntos de datos más amplios.

Aunque el pre-entrenamiento sigue siendo relevante, han surgido dos nuevas leyes: el escalado post-entrenamiento y el escalado en tiempo de prueba. El escalado post-entrenamiento se refiere a ajustar el comportamiento de un modelo, mientras que el escalado en tiempo de prueba implica aplicar más recursos de computación para mejorar la inferencia, es decir, la ejecución de los modelos.

Recientemente, investigadores de Google y la Universidad de California en Berkeley propusieron lo que algunos han llamado una cuarta ley: la “búsqueda en tiempo de inferencia”. Esta técnica permite que un modelo genere múltiples respuestas posibles a una consulta al mismo tiempo y luego seleccione la mejor. Según los investigadores, esta metodología puede mejorar el rendimiento de modelos más antiguos, como el Gemini 1.5 Pro de Google, superando a otros modelos en pruebas de ciencia y matemáticas.

Eric Zhao, uno de los coautores del estudio, mencionó que al muestrear aleatoriamente 200 respuestas y verificar por sí mismo, el modelo Gemini 1.5 logra mejores resultados que el modelo o1-preview. Sin embargo, varios expertos advierten que los resultados no son sorprendentes y que la búsqueda en tiempo de inferencia podría no ser útil en muchos casos. Matthew Guzdial, investigador de IA, explicó que esta técnica funciona mejor cuando hay una buena “función de evaluación”, es decir, cuando la mejor respuesta a una pregunta es fácil de identificar. Pero muchas consultas no son tan simples.

Mike Cook, otro experto en IA, coincidió en que la búsqueda en tiempo de inferencia no mejora el proceso de razonamiento del modelo, sino que es una forma de sortear las limitaciones de una tecnología que puede cometer errores. La posibilidad de que la búsqueda en tiempo de inferencia tenga limitaciones es una noticia poco alentadora para una industria de IA que busca escalar el razonamiento de los modelos de manera eficiente. Los coautores del estudio señalaron que los modelos de razonamiento actuales pueden generar costos de computación muy altos por un solo problema matemático. La búsqueda de nuevas técnicas de escalado seguramente continuará.