La parcialidad en la inteligencia artificial (IA) se refiere a la discriminación que se presenta en los resultados generados por los sistemas de IA. Según Bogdan Sergiienko, director tecnológico de Master of Code Global, la parcialidad ocurre cuando los sistemas de IA producen resultados sesgados que reflejan prejuicios sociales, como los relacionados con género, raza, cultura o política. Estos sesgos a menudo refuerzan las desigualdades sociales existentes.

Adnan Masood, arquitecto principal de IA en UST, señala que una de las preocupaciones más importantes en los Modelos de Lenguaje Grande (LLMs) actuales son los sesgos demográficos, que provocan un rendimiento desigual entre grupos raciales y de género. También existen sesgos ideológicos que reflejan puntos de vista políticos dominantes y sesgos temporales que anclan los modelos a información desactualizada. Además, sesgos cognitivos más sutiles, como los efectos de anclaje y el sesgo de disponibilidad, pueden influir en los resultados de los LLM de maneras complejas y potencialmente dañinas.

Debido a esta parcialidad, los modelos de IA pueden generar textos o imágenes que refuercen estereotipos sobre los roles de género. Por ejemplo, Sergiienko menciona que al generar imágenes de profesionales, a menudo se representa a los hombres como doctores y a las mujeres como enfermeras. También señala un análisis de Bloomberg de más de 5000 imágenes generadas por IA, donde las personas con tonos de piel más claros eran desproporcionadamente representadas en roles laborales bien remunerados.

¿Cómo entran los sesgos en los LLM? Sergiienko explica que hay varias formas en que los sesgos pueden infiltrarse en los LLM:

1. Datos de entrenamiento sesgados: Si los datos utilizados para entrenar los LLM contienen sesgos sociales, la IA los aprende y los replica en sus respuestas.
2. Etiquetas sesgadas: En el aprendizaje supervisado, si las etiquetas o anotaciones son incorrectas o subjetivas, la IA puede producir predicciones sesgadas.
3. Sesgo algorítmico: Los métodos utilizados en el entrenamiento de modelos de IA pueden amplificar sesgos preexistentes en los datos.
4. Asociaciones implícitas: Sesgos no intencionados en el lenguaje o contexto dentro de los datos de entrenamiento pueden llevar a resultados defectuosos.
5. Influencia humana: Desarrolladores, anotadores de datos y usuarios pueden introducir sus propios sesgos de manera no intencionada durante el entrenamiento o la interacción con el modelo.
6. Falta de contexto: Por ejemplo, al generar “una Barbie de Sudán del Sur”, la IA puede asociar imágenes de personas de Sudán del Sur con armas debido a que muchas fotos etiquetadas de esta manera incluyen este atributo.

¿Puede la IA ser completamente libre de sesgos? Los expertos creen que eliminar por completo los sesgos humanos puede ser un objetivo difícil de alcanzar para la IA. Masood sostiene que los sistemas de IA pueden diseñarse para ser más imparciales que los humanos en dominios específicos al aplicar consistentemente criterios de equidad bien definidos. La clave para reducir el sesgo radica en buscar una IA que complemente la toma de decisiones humanas, aprovechando las fortalezas de ambos y estableciendo salvaguardias robustas contra la amplificación de sesgos dañinos.

Antes de eliminar el sesgo de los LLM, es importante identificarlo primero. Masood sugiere un enfoque variado que utilice datos numéricos, análisis de expertos y pruebas en el mundo real. Identificar el sesgo no es una tarea única, sino un proceso continuo. A medida que los LLM se implementan en entornos nuevos y dinámicos, pueden surgir sesgos nuevos e imprevistos que no eran evidentes durante las pruebas controladas.

Para mitigar los efectos del sesgo, las empresas deben implementar prácticas que aseguren una representación diversa dentro de los equipos de desarrollo de IA. También deben crear comités de revisión ética para examinar los datos de entrenamiento y los resultados del modelo, así como invertir en auditorías de terceros para verificar de manera independiente las afirmaciones de equidad. Es crucial definir métricas claras para la equidad y evaluar continuamente los modelos en función de estos estándares.

Sergiienko también ofrece varias estrategias para minimizar el sesgo, como usar conjuntos de datos diversos y representativos, implementar generación aumentada por recuperación (RAG), pre-generar y almacenar respuestas para temas sensibles, y revisar y refinar los mensajes del sistema para evitar resultados sesgados o inexactos.

Mitigar el sesgo es un desafío complejo. Beatriz Sanz Saiz, líder de Datos y IA en EY Consulting, señala que algunos intentos recientes de eliminar el sesgo han llevado a resultados que no reflejan la realidad. Por ejemplo, al solicitar una imagen de soldados alemanes de la Segunda Guerra Mundial, el algoritmo generó una imagen con un número equilibrado de hombres y mujeres, así como de personas caucásicas y de color, lo que no era del todo cierto.

Esto plantea la pregunta de si los LLM deberían ser entrenados para buscar la verdad o si hay potencial en construir una inteligencia que no aprenda de los errores del pasado. La respuesta ideal podría ser una combinación de ambos enfoques.