Alibaba ha desarrollado una nueva tecnología llamada ZeroSearch, que permite entrenar modelos de búsqueda de inteligencia artificial sin necesidad de usar motores de búsqueda reales. Esto podría reducir los costos de entrenamiento en hasta un 88% en comparación con las API comerciales como las de Google.
En un estudio titulado “Incentivizar la capacidad de búsqueda de LLMs sin buscar”, Alibaba explica que su método utiliza documentos generados por inteligencia artificial para simular los resultados de motores de búsqueda reales. Los investigadores de Alibaba también mencionan que usar documentos simulados puede mejorar la calidad del entrenamiento, ya que los resultados de los motores de búsqueda a menudo son impredecibles y pueden introducir errores en el proceso de aprendizaje.
La principal diferencia entre un motor de búsqueda real y este modelo simulado radica en el estilo del texto que se devuelve. ZeroSearch tiene la capacidad de degradar gradualmente la calidad de los documentos para simular escenarios de búsqueda más desafiantes.
Un gran beneficio de esta tecnología es el ahorro significativo en costos. Entrenar con el modelo de 14B de ZeroSearch cuesta alrededor de $70.80 por 64,000 consultas, en comparación con aproximadamente $586.70 utilizando las API de Google. Los costos son aún más bajos para los modelos de 7B y 3B, que cuestan $35.40 y $17.70 por 64,000 consultas, respectivamente. Sin embargo, todos los modelos de ZeroSearch y el método de API de Google requieren el mismo tiempo de procesamiento.
Es importante mencionar que para utilizar el método ZeroSearch se necesitan de uno a cuatro servidores GPU A100, mientras que el método de API de Google no requiere GPU, lo que podría tener un impacto negativo en términos de sostenibilidad, como el consumo de energía y las emisiones.
A pesar de estas limitaciones, Alibaba considera que desafiar la dependencia de plataformas costosas como las API de Google y reducir los costos podría ayudar a democratizar aún más el desarrollo de la inteligencia artificial.
