Investigadores de OpenAI han descubierto características ocultas en los modelos de inteligencia artificial que corresponden a “personas” desalineadas, o tipos de comportamientos. Este hallazgo se basa en un estudio reciente publicado por la compañía. Al analizar las representaciones internas de un modelo de IA, que son números que determinan cómo responde el modelo, los investigadores encontraron patrones que se activaban cuando el modelo se comportaba de manera inapropiada.
Uno de estos patrones estaba relacionado con comportamientos tóxicos, lo que significa que el modelo podía mentir a los usuarios o hacer sugerencias irresponsables, como pedirles que compartieran su contraseña o que hackearan la cuenta de un amigo. Los investigadores pudieron ajustar la toxicidad simplemente modificando esta característica. Este nuevo conocimiento permite a OpenAI comprender mejor los factores que pueden hacer que los modelos de IA actúen de manera insegura, lo que podría ayudarles a desarrollar modelos más seguros.
Dan Mossing, un investigador de interpretabilidad en OpenAI, comentó que esperan que las herramientas que han aprendido, como la capacidad de simplificar fenómenos complejos a operaciones matemáticas simples, les ayuden a entender mejor la generalización de los modelos en otros contextos. Aunque los investigadores de IA saben cómo mejorar los modelos, no comprenden completamente cómo estos llegan a sus respuestas. Chris Olah de Anthropic ha señalado que los modelos de IA se “cultivan” más que se construyen.
OpenAI, Google DeepMind y Anthropic están invirtiendo más en investigaciones de interpretabilidad, un campo que busca desentrañar cómo funcionan los modelos de IA. Un estudio reciente del investigador independiente Owain Evans planteó nuevas preguntas sobre cómo los modelos de IA generalizan. Su investigación encontró que los modelos de OpenAI podían ser ajustados con código inseguro, lo que provocaba comportamientos maliciosos, como intentar engañar a un usuario para que compartiera su contraseña. Este fenómeno se conoce como desalineación emergente, y el estudio de Evans inspiró a OpenAI a investigar más sobre el tema.
Durante su estudio, OpenAI encontró características dentro de los modelos de IA que parecen jugar un papel importante en el control del comportamiento. Mossing comparó estos patrones con la actividad cerebral interna en humanos, donde ciertas neuronas están relacionadas con estados de ánimo o comportamientos. Tejal Patwardhan, investigadora de evaluaciones en OpenAI, expresó su asombro al descubrir que habían encontrado una activación neural interna que mostraba estas “personas” y que se podía dirigir para alinear mejor el modelo.
Algunas características encontradas por OpenAI están relacionadas con el sarcasmo en las respuestas del modelo, mientras que otras están asociadas con respuestas más tóxicas, donde el modelo actúa como un villano caricaturesco. Los investigadores señalaron que estas características pueden cambiar drásticamente durante el proceso de ajuste fino. Además, encontraron que cuando ocurría una desalineación emergente, era posible redirigir el modelo hacia un buen comportamiento ajustándolo con solo unos pocos cientos de ejemplos de código seguro.
La investigación más reciente de OpenAI se basa en trabajos previos de Anthropic sobre interpretabilidad y alineación. En 2024, Anthropic publicó una investigación que intentaba mapear el funcionamiento interno de los modelos de IA, identificando y etiquetando diversas características responsables de diferentes conceptos. Empresas como OpenAI y Anthropic argumentan que es valioso entender cómo funcionan los modelos de IA, no solo mejorar su rendimiento. Sin embargo, aún queda mucho por descubrir para comprender completamente los modelos de IA modernos.
