En los últimos años, el trabajo de los ingenieros de software ha cambiado gracias a herramientas de codificación impulsadas por inteligencia artificial (IA) como Cursor y GitHub Copilot. Estas herramientas prometen aumentar la productividad al escribir automáticamente líneas de código, corregir errores y probar cambios. Están basadas en modelos de IA de OpenAI, Google DeepMind, Anthropic y xAI, que han mejorado rápidamente en diversas pruebas de ingeniería de software.
Sin embargo, un nuevo estudio publicado por el grupo de investigación sin fines de lucro METR cuestiona cuánto realmente mejoran la productividad estas herramientas para los desarrolladores experimentados. METR realizó un ensayo controlado aleatorio reclutando a 16 desarrolladores de código abierto con experiencia, quienes completaron 246 tareas reales en grandes repositorios de código a los que contribuyen regularmente. Aproximadamente la mitad de las tareas se etiquetaron como “permitidas por IA”, permitiendo a los desarrolladores usar herramientas de codificación de IA como Cursor Pro, mientras que la otra mitad no permitía el uso de estas herramientas.
Antes de comenzar, los desarrolladores estimaron que el uso de herramientas de IA reduciría su tiempo de finalización en un 24%. Sin embargo, los resultados fueron sorprendentes: “Descubrimos que permitir el uso de IA en realidad aumenta el tiempo de finalización en un 19%—los desarrolladores son más lentos al usar herramientas de IA”, comentaron los investigadores. Solo el 56% de los desarrolladores del estudio tenía experiencia previa con Cursor, la principal herramienta de IA utilizada. Aunque casi todos (94%) habían trabajado con modelos de lenguaje basados en la web, esta fue la primera vez que algunos usaron Cursor específicamente. Los investigadores señalaron que los desarrolladores recibieron capacitación sobre el uso de Cursor antes del estudio.
Los hallazgos de METR plantean dudas sobre las ganancias de productividad que se esperan de las herramientas de codificación de IA para 2025. Según el estudio, los desarrolladores no deben suponer que estas herramientas, conocidas como “codificadores de ambiente”, acelerarán automáticamente su trabajo.
Los investigadores sugieren algunas razones por las cuales la IA ralentizó a los desarrolladores en lugar de acelerar su trabajo. Primero, los desarrolladores pasan mucho más tiempo dando instrucciones a la IA y esperando respuestas en lugar de codificar. Además, la IA tiende a tener dificultades con bases de código grandes y complejas, como las utilizadas en esta prueba. Los autores del estudio son cautelosos y no quieren sacar conclusiones definitivas, afirmando que no creen que los sistemas de IA no logren acelerar a muchos desarrolladores de software.
Otros estudios a gran escala han demostrado que las herramientas de codificación de IA sí aceleran los flujos de trabajo de los ingenieros de software. También mencionan que el progreso de la IA ha sido significativo en los últimos años y que no esperarían los mismos resultados en tres meses. METR ha encontrado que las herramientas de codificación de IA han mejorado significativamente su capacidad para completar tareas complejas en los últimos años. Sin embargo, la investigación también ofrece razones para ser escépticos sobre las ganancias prometidas por estas herramientas, ya que otros estudios han mostrado que pueden introducir errores y, en algunos casos, vulnerabilidades de seguridad.
