Noam Brown, quien lidera la investigación sobre razonamiento en inteligencia artificial en OpenAI, comentó que los modelos de IA que razonan, como el o1 de OpenAI, podrían haberse desarrollado hace 20 años si los investigadores hubieran conocido el enfoque y los algoritmos adecuados. Durante un panel en la conferencia GTC de Nvidia en San José, Brown explicó que la investigación en esta dirección fue descuidada por varias razones. Observó que los humanos dedican mucho tiempo a pensar antes de actuar en situaciones difíciles, lo que podría ser muy útil en la IA.
Brown es uno de los principales arquitectos del modelo o1, que utiliza una técnica llamada inferencia en tiempo de prueba para “pensar” antes de responder a las consultas. Esta técnica implica aplicar computación adicional a los modelos para permitir un tipo de razonamiento. En general, los modelos de razonamiento son más precisos y confiables que los modelos tradicionales, especialmente en áreas como matemáticas y ciencias.
Sin embargo, Brown enfatizó que el preentrenamiento, que consiste en entrenar modelos cada vez más grandes con conjuntos de datos más amplios, no está “muerto”. Los laboratorios de IA, incluido OpenAI, solían concentrar sus esfuerzos en escalar el preentrenamiento, pero ahora están dividiendo su tiempo entre el preentrenamiento y la inferencia en tiempo de prueba, enfoques que Brown describió como complementarios.
Durante el panel, se le preguntó a Brown si la academia podría realizar experimentos a la escala de los laboratorios de IA como OpenAI, dado que las instituciones generalmente carecen de recursos computacionales. Admitió que ha sido más difícil en los últimos años, ya que los modelos requieren más computación, pero que los académicos pueden tener un impacto explorando áreas que requieren menos recursos, como el diseño de arquitecturas de modelos. Brown mencionó que hay una oportunidad de colaboración entre los laboratorios de vanguardia y la academia, y que los laboratorios están atentos a las publicaciones académicas que presenten argumentos convincentes para investigar.
Los comentarios de Brown llegan en un momento en que la administración de Trump está realizando recortes significativos en las subvenciones científicas. Expertos en IA, incluido el Premio Nobel Geoffrey Hinton, han criticado estos recortes, advirtiendo que podrían amenazar los esfuerzos de investigación en IA tanto en el país como en el extranjero. Brown destacó que la evaluación de la IA es un área donde la academia podría tener un impacto significativo, señalando que el estado de los benchmarks en IA es realmente deficiente y no requiere mucha computación para mejorarlo. Actualmente, los benchmarks populares tienden a evaluar conocimientos esotéricos y sus puntajes no correlacionan bien con la competencia en tareas que realmente importan, lo que ha llevado a una confusión generalizada sobre las capacidades y mejoras de los modelos.
