Problema de Baidu
Sí, estos textos se recopilaron utilizando el programa araña de Baidu~~
En los primeros días del desarrollo de Internet, había relativamente pocos sitios web y era más fácil encontrar información. Sin embargo, con el desarrollo explosivo de Internet, los usuarios comunes de Internet son como buscar una aguja en un pajar para encontrar la información que necesitan. En este momento, han surgido sitios web de búsqueda profesionales para satisfacer las necesidades de recuperación de información del público.
El antepasado de los motores de búsqueda en el sentido moderno es Archie, inventado en 1990 por Alan Emtage, un estudiante de la Universidad de Montreal. Aunque la World Wide Web aún no había aparecido en ese momento, las transferencias de archivos en la red todavía eran bastante frecuentes y, debido a que una gran cantidad de archivos estaban dispersos entre varios hosts FTP dispersos, era muy inconveniente realizar consultas, pensó Alan Emtage. de desarrollar un sistema que pueda buscar por nombre de archivo Sistema de archivos, así está Archie.
El principio de funcionamiento de Archie es muy parecido al de los motores de búsqueda actuales. Se basa en programas de script para buscar automáticamente archivos en Internet y luego indexa información relevante para que los usuarios la consulten con determinadas expresiones. Inspirados por la popularidad de Archie entre los usuarios, los Servicios de Computación del Sistema de la Universidad de Nevada desarrollaron otra herramienta de búsqueda muy similar en 1993. Sin embargo, además de indexar archivos, la herramienta de búsqueda en ese momento también podía recuperar páginas web.
En aquella época, el término "robot" era muy popular entre los programadores. Un "robot" informático se refiere a un programa de software que puede realizar una tarea sin interrupción a una velocidad que los humanos no pueden alcanzar. Debido a que los programas "robots" diseñados específicamente para recuperar información se arrastran por la web como arañas, los programas "robots" de los motores de búsqueda se denominan programas "araña".