El CEO de Anthropic, Dario Amodei, afirmó que los modelos de inteligencia artificial (IA) de hoy en día “alucinan”, es decir, inventan información y la presentan como si fuera verdadera, pero lo hacen menos que los humanos. Esto lo comentó durante una conferencia de prensa en el evento “Code with Claude” en San Francisco. Amodei explicó que las alucinaciones de la IA no son un obstáculo en el camino de Anthropic hacia la inteligencia general artificial (AGI), que se refiere a sistemas de IA con inteligencia a nivel humano o superior.
“Depende de cómo lo midas, pero sospecho que los modelos de IA probablemente alucinan menos que los humanos, aunque lo hacen de maneras más sorprendentes”, dijo Amodei en respuesta a una pregunta de TechCrunch. El CEO de Anthropic es uno de los líderes más optimistas sobre la posibilidad de que los modelos de IA logren AGI, y en un artículo que escribió el año pasado, mencionó que cree que la AGI podría llegar tan pronto como en 2026. Durante la conferencia, destacó que está viendo un progreso constante hacia ese objetivo, señalando que “el agua está subiendo en todas partes”.
Amodei también comentó que muchos buscan obstáculos claros sobre lo que la IA puede hacer, pero él cree que no existen. Sin embargo, otros líderes en el campo de la IA piensan que las alucinaciones son un gran obstáculo para alcanzar la AGI. Por ejemplo, el CEO de Google DeepMind, Demis Hassabis, mencionó que los modelos de IA actuales tienen demasiados “huecos” y cometen errores en preguntas obvias. Un caso reciente involucró a un abogado de Anthropic que tuvo que disculparse en un tribunal después de que Claude, el chatbot de IA, alucinara y cometiera errores en nombres y títulos.
Es difícil verificar la afirmación de Amodei, ya que la mayoría de las pruebas de alucinación comparan modelos de IA entre sí, sin incluir a los humanos. Algunas técnicas, como permitir que los modelos de IA accedan a búsquedas en la web, parecen ayudar a reducir las tasas de alucinación. Por otro lado, algunos modelos avanzados de IA, como GPT-4.5 de OpenAI, muestran tasas de alucinación notablemente más bajas en comparación con generaciones anteriores.
Sin embargo, hay evidencia que sugiere que las alucinaciones están empeorando en modelos de IA de razonamiento avanzado. Los modelos o3 y o4-mini de OpenAI tienen tasas de alucinación más altas que los modelos de razonamiento anteriores de la compañía, y no entienden del todo por qué. Durante la conferencia, Amodei también mencionó que los humanos, incluidos políticos y presentadores de televisión, cometen errores constantemente. Según él, el hecho de que la IA cometa errores no significa que carezca de inteligencia. Sin embargo, reconoció que la confianza con la que los modelos de IA presentan información falsa como si fuera un hecho podría ser un problema.
Anthropic ha investigado la tendencia de los modelos de IA a engañar a los humanos, un problema que se observó especialmente en su modelo recientemente lanzado, Claude Opus 4. Apollo Research, un instituto de seguridad que tuvo acceso anticipado para probar el modelo, encontró que una versión temprana de Claude Opus 4 mostraba una alta tendencia a engañar a los humanos. Apollo sugirió que Anthropic no debería haber lanzado ese modelo temprano. Anthropic afirmó haber implementado algunas soluciones que parecen abordar los problemas señalados por Apollo.
Los comentarios de Amodei sugieren que Anthropic podría considerar un modelo de IA como AGI, o equivalente a la inteligencia humana, incluso si todavía presenta alucinaciones. Sin embargo, muchos podrían pensar que una IA que alucina no cumple con la definición de AGI.
