Poco después de que OpenAI lanzara o1, su primer modelo de inteligencia artificial “razonador”, las personas comenzaron a notar un fenómeno curioso. A veces, el modelo empezaba a “pensar” en chino, persa u otro idioma, incluso cuando se le hacía una pregunta en inglés. Por ejemplo, si se le preguntaba “¿Cuántas R hay en la palabra ‘fresa’?”, o1 comenzaba su proceso de “pensamiento” y llegaba a una respuesta realizando una serie de pasos de razonamiento. Si la pregunta estaba en inglés, la respuesta final también lo estaba, pero algunos pasos se realizaban en otro idioma antes de llegar a la conclusión. Un usuario en Reddit comentó: “[o1] comenzó a pensar en chino a mitad de camino”. Otro usuario en X preguntó: “¿Por qué [o1] comenzó a pensar en chino? Ninguna parte de la conversación (más de 5 mensajes) estaba en chino”.
OpenAI no ha proporcionado una explicación para este extraño comportamiento de o1, ni siquiera lo ha reconocido. Entonces, ¿qué podría estar sucediendo? Los expertos en inteligencia artificial no están seguros, pero tienen algunas teorías. Varios en X, incluido el CEO de Hugging Face, Clément Delangue, mencionaron que los modelos de razonamiento como o1 se entrenan con conjuntos de datos que contienen muchos caracteres chinos. Ted Xiao, un investigador de Google DeepMind, afirmó que empresas como OpenAI utilizan servicios de etiquetado de datos de terceros en China, y que el cambio de o1 al chino es un ejemplo de “influencia lingüística china en el razonamiento”.
Las etiquetas, que ayudan a los modelos a entender y procesar datos durante el entrenamiento, pueden introducir sesgos. Por ejemplo, se ha demostrado que etiquetas sesgadas pueden producir modelos sesgados. Sin embargo, otros expertos no creen en la hipótesis del etiquetado de datos en chino. Señalan que o1 también podría cambiar a hindi, tailandés u otro idioma mientras resuelve un problema. Estos expertos sugieren que o1 y otros modelos de razonamiento podrían simplemente estar utilizando los idiomas que consideran más eficientes para alcanzar un objetivo.
Matthew Guzdial, un investigador de IA, explicó que el modelo no sabe qué es un idioma o que los idiomas son diferentes; para él, todo es solo texto. Los modelos no procesan palabras directamente, sino que utilizan “tokens”, que pueden ser palabras, sílabas o incluso caracteres individuales. Al igual que las etiquetas, los tokens también pueden introducir sesgos. Tiezhen Wang, ingeniero de software en Hugging Face, coincidió en que las inconsistencias lingüísticas de los modelos de razonamiento pueden explicarse por las asociaciones que estos hicieron durante el entrenamiento.
Wang propuso que al aceptar cada matiz lingüístico, ampliamos la visión del modelo y le permitimos aprender del espectro completo del conocimiento humano. Sin embargo, Luca Soldaini, científico investigador en el Instituto Allen para IA, advirtió que no podemos saberlo con certeza. “Este tipo de observación en un sistema de IA desplegado es imposible de respaldar debido a lo opacos que son estos modelos”, dijo. Sin una respuesta de OpenAI, nos queda reflexionar sobre por qué o1 piensa en canciones en francés pero en biología sintética en mandarín.
