Mira Murati, quien dirige el Thinking Machines Lab, ha captado la atención de muchos con su laboratorio de investigación, respaldado por una inversión de 2 mil millones de dólares y un equipo de destacados exinvestigadores de OpenAI. En una publicación de blog reciente, el laboratorio presentó uno de sus proyectos: la creación de modelos de inteligencia artificial (IA) que generen respuestas reproducibles.
El artículo, titulado “Derrotando el No-determinismo en la Inferencia de LLM”, explora por qué las respuestas de los modelos de IA pueden ser aleatorias. Por ejemplo, si le preguntas a ChatGPT la misma pregunta varias veces, es probable que obtengas respuestas diferentes cada vez. Esto se ha aceptado en la comunidad de IA como un hecho, ya que los modelos actuales son considerados sistemas no deterministas. Sin embargo, el Thinking Machines Lab cree que este problema puede solucionarse.
El laboratorio ha lanzado su blog de investigación, Connectionism, donde compartirán temas variados relacionados con su trabajo. En la primera publicación, el investigador Horace He argumenta que la aleatoriedad en los modelos de IA proviene de cómo se ensamblan los núcleos de GPU, que son pequeños programas que funcionan en los chips de Nvidia, durante el procesamiento de inferencia. He sugiere que al controlar cuidadosamente esta capa, se pueden hacer los modelos de IA más deterministas.
Esto no solo ayudaría a las empresas y científicos a obtener respuestas más confiables, sino que también podría mejorar el entrenamiento del aprendizaje por refuerzo (RL). Este proceso recompensa a los modelos de IA por respuestas correctas, pero si las respuestas son ligeramente diferentes, los datos se vuelven ruidosos. Respuestas más consistentes podrían hacer que el proceso de RL sea más fluido.
Thinking Machines Lab ha informado a los inversionistas que planea utilizar el aprendizaje por refuerzo para personalizar modelos de IA para negocios. Murati, exdirectora de tecnología de OpenAI, mencionó en julio que el primer producto del laboratorio se presentará en los próximos meses y será “útil para investigadores y startups que desarrollan modelos personalizados”. Aún no está claro qué producto será o si utilizará técnicas de esta investigación para generar respuestas más reproducibles.
El laboratorio también planea publicar regularmente entradas de blog, código y otra información sobre su investigación para “beneficiar al público y mejorar nuestra propia cultura de investigación”. Esta publicación es la primera de la nueva serie de blogs llamada “Connectionism”, que parece ser parte de ese esfuerzo. Aunque OpenAI también se comprometió a la investigación abierta al ser fundado, ha cerrado más su acceso a medida que ha crecido. Veremos si el laboratorio de Murati se mantiene fiel a esta promesa.
El blog de investigación ofrece una rara mirada dentro de una de las startups de IA más secretas de Silicon Valley. Aunque no revela exactamente hacia dónde se dirige la tecnología, indica que el Thinking Machines Lab está abordando algunas de las preguntas más grandes en la frontera de la investigación en IA. La verdadera prueba será si el laboratorio puede resolver estos problemas y crear productos en torno a su investigación para justificar su valoración de 12 mil millones de dólares.
