Los sistemas AltaVista, EnlaWeb, Lycos, Olé/Terra,
Ozú, Sol, Ya y Yahoo se evaluaron en términos de:
1) su ajuste al espacio web español y
2) su rendimiento en la recuperación de información en dicho espacio.
Para la determinación del ajuste se eligieron como indicadores su
cobertura general, su aporte específico, la proporción de resultados
erróneos (enlaces perdidos) y la accesibilidad de los documentos
web españoles a través de los ocho sistemas. La determinación
del rendimiento de la recuperación se basó en el cálculo de
la precisión y la exhaustividad relativa de los resultados de búsquedas
realizadas en el primer trimestre de 2003. La elección de
los temas de búsqueda y el juicio de relevancia corrió a cargo de
usuarios reales. El 12,4% de los resultados de búsqueda condujeron
a enlaces erróneos. El 76% de los resultados obtenidos se obtuvieron a partir de un único sistema. El rendimiento de los
sistemas, expresado en términos de exhaustividad y precisión, es reducido, con valores promedio de exhaustividad situados
entre el 7 (AltaVista) y el 14% (Ozú) y de precisión entre el 9 (Sol) y el 30% (Ozú). Sólo Yahoo muestra un comportamiento
típico con relación inversa entre los valores a lo largo de los 20 resultados de búsqueda. Los sistemas restantes
muestran invariablemente un ascenso en las cifras de precisión a partir del segundo o tercer resultado de búsqueda, lo
que abunda en la idea de defectos en el algoritmo de ordenación de los resultados obtenidos.