Google ha lanzado una nueva función en su API Gemini que promete hacer que sus modelos de inteligencia artificial sean más económicos para los desarrolladores externos. Esta función se llama “caché implícita” y, según Google, puede ofrecer ahorros de hasta el 75% en el “contexto repetitivo” que se envía a los modelos a través de la API Gemini. Esta mejora es especialmente relevante para los desarrolladores, ya que los costos de uso de modelos avanzados siguen aumentando.
La caché es una práctica común en la industria de la inteligencia artificial que permite reutilizar datos que se acceden con frecuencia, lo que reduce tanto los requisitos de computación como los costos. Por ejemplo, la caché puede almacenar respuestas a preguntas que los usuarios suelen hacer, evitando que el modelo tenga que generar las mismas respuestas repetidamente. Anteriormente, Google ofrecía una caché de prompts, pero era explícita, lo que significaba que los desarrolladores debían definir cuáles eran los prompts más frecuentes. Esto a menudo requería mucho trabajo manual y algunos desarrolladores se quejaron de que la implementación de esta caché en el modelo Gemini 2.5 Pro resultaba en facturas de API sorprendentemente altas. Las quejas aumentaron en la última semana, lo que llevó al equipo de Gemini a disculparse y prometer cambios.
A diferencia de la caché explícita, la caché implícita es automática y está habilitada por defecto para los modelos Gemini 2.5. Esto significa que si una solicitud a la API de Gemini coincide con una solicitud anterior, se aplicarán automáticamente los ahorros de costos. Según Google, cuando envías una solicitud a uno de los modelos Gemini 2.5, si comparte un prefijo común con solicitudes anteriores, es elegible para aprovechar la caché.
El número mínimo de tokens requeridos para activar la caché implícita es de 1,024 para el modelo 2.5 Flash y de 2,048 para el modelo 2.5 Pro. Esto no es una cantidad muy grande, por lo que no debería ser difícil activar estos ahorros automáticos. Sin embargo, es importante tener en cuenta que Google no ha proporcionado ninguna verificación externa que confirme que este nuevo sistema de caché implícita cumplirá con los ahorros prometidos. Por lo tanto, será interesante ver qué opinan los primeros usuarios sobre esta nueva función.
