Hay una controversia en torno a estudios “generados por IA” que se presentaron en la conferencia ICLR de este año, un evento importante en el campo de la inteligencia artificial. Al menos tres laboratorios de IA —Sakana, Intology y Autoscience— afirman haber utilizado IA para crear estudios que fueron aceptados en los talleres de ICLR. En estas conferencias, los organizadores revisan los estudios antes de su publicación.
Sakana informó a los líderes de ICLR antes de enviar sus trabajos generados por IA y obtuvo el consentimiento de los revisores. Sin embargo, Intology y Autoscience no hicieron lo mismo, según confirmó un portavoz de ICLR. Varios académicos de IA criticaron a Intology y Autoscience en redes sociales, argumentando que estaban aprovechando el proceso de revisión por pares. Prithviraj Ammanabrolu, profesor asistente de ciencias de la computación en UC San Diego, comentó que estos trabajos de IA utilizan espacios revisados por pares como si fueran evaluaciones humanas, sin que nadie haya consentido en proporcionar este trabajo gratuito.
La revisión por pares es un proceso que consume tiempo y esfuerzo, y la mayoría de las veces es voluntario. Según una encuesta reciente de Nature, el 40% de los académicos dedica entre dos y cuatro horas a revisar un solo estudio. Este trabajo ha ido en aumento, y el número de artículos presentados en la conferencia de IA más grande, NeurIPS, creció un 41% el año pasado.
Ya había un problema de contenido generado por IA en el ámbito académico. Un análisis encontró que entre el 6.5% y el 16.9% de los trabajos presentados en conferencias de IA en 2023 probablemente contenían texto sintético. Sin embargo, el uso de la revisión por pares por parte de empresas de IA para evaluar y publicitar su tecnología es algo relativamente nuevo.
Intology afirmó en una publicación que sus trabajos recibieron críticas positivas unánimes, destacando que los revisores elogiaron una de sus ideas “ingeniosas”. Sin embargo, esto no fue bien recibido por la comunidad académica. Ashwinee Panda, un investigador postdoctoral en la Universidad de Maryland, comentó que presentar trabajos generados por IA sin dar a los organizadores la oportunidad de rechazarlos muestra una “falta de respeto por el tiempo de los revisores humanos”.
Sakana admitió que su IA cometió errores de citación “embarazosos” y que solo uno de los tres trabajos generados por IA que decidieron presentar habría cumplido con los requisitos para ser aceptado. La empresa retiró su trabajo de ICLR para ser transparente y respetar la convención de ICLR.
Alexander Doria, cofundador de la startup de IA Pleias, sugirió que la cantidad de envíos sintéticos a ICLR indica la necesidad de una “agencia pública o empresa regulada” para realizar evaluaciones de estudios generados por IA de alta calidad a cambio de una compensación. Doria afirmó que las evaluaciones deben ser realizadas por investigadores que sean completamente compensados por su tiempo, subrayando que la academia no debe ser un lugar para externalizar evaluaciones gratuitas de IA.
