Agregar “ojos” a la inteligencia artificial puede ser complicado. No queremos que vea todo lo que hacemos todo el tiempo, pero muchos de nosotros estaríamos de acuerdo en que una asistencia visual de IA puede ser muy útil. La nueva función Copilot Vision de Microsoft podría ser una de las aplicaciones más prometedoras de capacidades visuales basadas en IA que he visto.
Microsoft presentó la actualización de Copilot Vision para sus aplicaciones de Windows y móviles en un evento especial por el 50 aniversario de la compañía. Con esta actualización, Copilot ha mejorado significativamente, utilizando modelos de inteligencia artificial propios y de OpenAI para ofrecer actualizaciones en memoria, búsqueda, personalización y capacidades visuales.
He visto a Copilot Vision en acción y puedo decir que es una de las actualizaciones más emocionantes. En la versión actual para la aplicación de escritorio de Windows, Copilot Vision puede ver las aplicaciones que tienes abiertas. Al abrir Copilot, puedes seleccionar un nuevo ícono de gafas que te muestra una lista de las aplicaciones en uso.
Por ejemplo, si tienes Blender 3D y Clipchamp abiertos, Copilot es consciente de ello, pero no está observando constantemente. Al seleccionar Blender 3D, me di cuenta de que Copilot puede ver qué aplicación estás usando y responde de acuerdo con ella y el proyecto en el que trabajas.
Cuando le preguntamos sobre cómo hacer que el diseño de una mesa 3D fuera más tradicional, Copilot respondió de manera contextual, a pesar de que no le dimos muchos detalles. Luego, al preguntar sobre cómo hacer anotaciones en la aplicación, Copilot ajustó rápidamente su respuesta para indicarnos dónde encontrar el ícono para añadir anotaciones.
Esto es muy útil porque no interrumpes tu flujo de trabajo para buscar información o explicar qué aplicación estás usando. Copilot Vision ve y sabe.
En otra demostración, apuntamos Copilot a nuestro proyecto abierto en Clipchamp y le preguntamos cómo hacer que las transiciones de video fueran más suaves. En lugar de una respuesta de texto, Copilot Vision nos mostró exactamente dónde encontrar la herramienta necesaria en la aplicación, con una flecha gigante apuntando al lugar correcto.
Hemos visto un video de demostración que muestra a Copilot Vision explorando más a fondo la aplicación Photoshop para encontrar las herramientas adecuadas. Imagina un futuro donde usas comandos de texto o tu voz para realizar tareas en una aplicación abierta, y Copilot Vision te guía visualmente a través del proceso.
La buena noticia es que la versión de Copilot Vision que reconoce la aplicación y el proyecto en el que trabajas ya está disponible. La mala noticia es que la función que realmente quiero no tiene un plazo definido, pero espero que no tarde mucho en llegar.
