Alibaba ha presentado ZeroSearch, una innovadora técnica que permite a los modelos de lenguaje (LLMs) desarrollar capacidades de búsqueda sin necesidad de interactuar con motores de búsqueda reales. Esta metodología utiliza un enfoque de simulación basado en aprendizaje por refuerzo, donde un modelo de lenguaje simula los resultados de búsqueda generando documentos relevantes o irrelevantes en respuesta a una consulta. Durante el entrenamiento, se emplea una estrategia de "currículum" que degrada gradualmente la calidad de los documentos generados, exponiendo al modelo a escenarios de recuperación cada vez más desafiantes.
Una de las principales ventajas de ZeroSearch es la significativa reducción de costos en el entrenamiento de modelos de lenguaje. Por ejemplo, entrenar un modelo con 64,000 consultas de búsqueda utilizando motores de búsqueda comerciales podría costar aproximadamente $586.70. En contraste, utilizando ZeroSearch con un modelo de simulación de 14 mil millones de parámetros en cuatro GPUs A100, el costo se reduce a solo $70.80, lo que representa una disminución del 88%.
Además de los ahorros económicos, ZeroSearch ha demostrado un rendimiento competitivo en tareas de recuperación de información. En pruebas realizadas en siete conjuntos de datos de preguntas y respuestas, un modelo de 7 mil millones de parámetros entrenado con ZeroSearch logró un rendimiento comparable al de los motores de búsqueda reales, mientras que un modelo de 14 mil millones de parámetros incluso superó este rendimiento .
Esta innovación abre nuevas posibilidades para el desarrollo de asistentes de inteligencia artificial más eficientes y accesibles, al reducir la dependencia de servicios de búsqueda externos y los costos asociados.
