El inventor del motor de búsqueda y por qué lo inventó

Antes de 1990, nadie podía buscar en Internet.

El antepasado de todos los motores de búsqueda es Archie (Archie FAQ) inventado en 1990 por Alan Emtage, Peter Deutsch y Bill Wheelan, estudiantes de la Universidad McGill de Montreal. La World Wide Web aún no había aparecido. Archie fue el primer programa que indexó automáticamente los archivos de sitios web FTP anónimos en Internet, pero aún no era un verdadero motor de búsqueda. Archie es una lista de búsqueda de nombres de archivos FTP. El usuario debe ingresar el nombre exacto del archivo a buscar y Archie le indicará qué dirección FTP puede descargar el archivo.

Debido a la popularidad de Archie e inspirados por él, los Servicios de Computación del Sistema de la Universidad de Nevada desarrollaron una herramienta de búsqueda Gopher (Preguntas frecuentes de Gopher) Veronica (Preguntas frecuentes sobre Veronica) en 1993. Jughead es otra herramienta de búsqueda de Gopher posterior.

Debido a que el programa Robot utilizado específicamente para recuperar información se arrastra por Internet como una araña, el programa Robot del motor de búsqueda se llama programa araña (Spider FAQ). El primer programa Spider del mundo fue el World Wide Web Wanderer del MIT Matthew Gray, que se utilizó para seguir la escala de desarrollo de Internet. Al principio sólo se utilizaba para contar el número de servidores en Internet, pero luego se desarrolló para capturar también direcciones web (URL).

En correspondencia con Wanderer, Martijn Koster creó ALIWEB (Martijn Koster Annouces the Availability of Aliweb) en octubre de 1993, que equivale a la versión HTTP de Archie. ALIWEB no utiliza un robot de búsqueda de red. Si los administradores de sitios web quieren que sus páginas web se incluyan en ALIWEB, deben enviar ellos mismos la información del índice del perfil de cada página web, similar a lo que todos conocieron más tarde como Yahoo.

A finales de 1993, comenzaron a surgir uno tras otro algunos motores de búsqueda basados ​​en este principio. Los tres más famosos son: JumpStation en Escocia y The World Wide Web Worm (Primera mención del mundo de McBryan). por Oliver McBryan de la Universidad de Colorado, Wide Web Worm), la araña de ingeniería de software basada en repositorios (RBSE) de la NASA.

En febrero de 1993, seis estudiantes universitarios de Stanford tuvieron la idea de analizar las relaciones entre palabras para buscar de manera más efectiva las grandes cantidades de información en Internet. Esto es emoción. Más tarde, se hizo famoso por su concepto de búsqueda. En mayo de 2002, Excite, que fue adquirida por Infospace, abandonó su propio motor de búsqueda y cambió al metabuscador Dogpile.

En enero de 1994, el primero que pudo. tanto buscar como navegar El directorio clasificado EINet Galaxy (Tradewave Galaxy) está en línea. Además de la búsqueda en sitios web, también admite búsquedas Gopher y Telnet.

En abril de 1994, dos estudiantes de doctorado de Stanford, los chino-estadounidenses Jerry Yang y David Filo***, cofundaron Yahoo. A medida que crecía el número de visitas y los enlaces incluidos, el directorio de Yahoo comenzó a admitir búsquedas simples en bases de datos.

Debido a que los datos de Yahoo! se ingresan manualmente, en realidad no se puede clasificar como un motor de búsqueda y, de hecho, es solo un directorio en el que se pueden realizar búsquedas. La eficiencia de la búsqueda ha mejorado significativamente. (Yahoo utilizará sucesivamente Altavista, Inktomi y Google para proporcionar servicios de motores de búsqueda)

A principios de 1994, Brian Pinkerton, un estudiante de informática de la Universidad de Washington, inició su pequeño proyecto WebCrawler (Brian Pinkerton anuncia la disponibilidad de rastreador web). Cuando WebCrawler se lanzó oficialmente el 20 de abril de 1994, contenía contenido de sólo 6.000 servidores. WebCrawler es el primer motor de búsqueda de texto completo en Internet que admite la búsqueda en el texto completo de un archivo. Antes, los usuarios solo podían buscar por URL y resumen. El resumen generalmente provenía de comentarios manuales o de las primeras 100 palabras del texto de forma automática. recuperado por un programa. (Más tarde, webcrawler fue adquirido sucesivamente por AOL y Excite, y ahora utiliza el metabuscador Dogpile como excite)

Lycos (el Centro de Traducción Automática de la Universidad Carnegie Mellon anuncia Lycos) es otro avance importante en la historia de la búsqueda. motores. Michael Mauldin de la Universidad Carnegie Mellon integró el programa araña de John Leavitt en su programa de indexación para crear Lycos. El 20 de julio de 1994, se lanzó oficialmente Lycos con un volumen de datos de 54.000. Además de la clasificación por relevancia, Lycos también proporciona restricciones de coincidencia de prefijos y similitud de caracteres. Lycos fue el primero en utilizar un resumen automático de páginas web en los resultados de búsqueda, y su mayor ventaja es que supera con creces la cantidad de datos de otros motores de búsqueda: en. Agosto de 1994 mensual: 394.000 documentos; enero de 1995: 1,5 millones de documentos; noviembre de 1996: más de 60 millones de documentos. (Nota: en abril de 1999, Lycos detuvo su Spider y cambió a Fast para proporcionar servicios de motor de búsqueda)

Infoseek (Steve Kirsch anuncia demostraciones gratuitas del motor de búsqueda Infoseek) es otro motor de búsqueda importante de la empresa. Aunque afirmó haber sido fundado en enero de 1994, su motor de búsqueda no estuvo disponible al público hasta finales de año. Al principio, Infoseek era sólo un motor de búsqueda discreto. Seguía los conceptos de Yahoo! y Lycos sin innovaciones exclusivas. Pero su historia y su posterior aclamación demuestran que ser el primero en subir al escenario no siempre importa al principio. La interfaz fácil de usar de Infoseek y numerosos servicios adicionales (como seguimiento de UPS, noticias, un directorio y similares) lo han hecho cada vez más popular. El acuerdo estratégico con Netscape en diciembre de 1995 lo convirtió en un potente motor de búsqueda: cuando el usuario hace clic en el botón de búsqueda del navegador Netscape, aparece el servicio de búsqueda de Infoseek, que antes era proporcionado por Yahoo! (Nota: Infoseek fue conocido más tarde por su relevancia. En febrero de 2001, Infoseek abandonó su propio motor de búsqueda y comenzó a utilizar los resultados de búsqueda de Overture)

En 1995, apareció una nueva forma de motor de búsqueda, Now: A Resumen de metamotores de búsqueda.

Los usuarios solo necesitan enviar una solicitud de búsqueda una vez, y el metabuscador es responsable de la conversión y el procesamiento antes de enviarla a múltiples motores de búsqueda independientes preseleccionados. Todos los resultados de la consulta devueltos por cada motor de búsqueda independiente se centralizarán y procesarán antes de regresar a ellos. el usuario. El primer metabuscador fue Metacrawler de Eric Selberg y Oren Etzioni, estudiantes de maestría en la Universidad de Washington. El concepto de metabuscador suena bien, pero los resultados de búsqueda nunca son ideales, por lo que ningún metabuscador ha tenido nunca una posición sólida.

AltaVista de DEC (desde el verano de 2001, algunos internautas necesitan acceder a él a través de p-roxy, no se puede usar p-roxy, búsqueda de altavista de selección única de qbseach, solo se puede acceder a la primera página de resultados de búsqueda se mostrará) es un recién llegado, 1995. Sólo debutó en diciembre de este año (Comunicado de prensa de la beta pública de AltaVista). Sin embargo, una gran cantidad de características innovadoras hicieron que alcanzara rápidamente los primeros puestos de los motores de búsqueda en ese momento. La ventaja más destacada de Altavista es su velocidad (motor de búsqueda 9238: Es curioso, se dice que el propósito del diseño de Altavista es simplemente demostrar la poderosa potencia informática del chip DEC Alpha). Otras características nuevas de Altavista han cambiado para siempre la definición de los motores de búsqueda. AltaVista es el primer motor de búsqueda que admite búsquedas en lenguaje natural. AltaVista es el primer motor de búsqueda que implementa una sintaxis de búsqueda avanzada (como AND, OR, NOT, etc.). Los usuarios pueden utilizar AltaVista para buscar el contenido de grupos de noticias (grupos de noticias) y obtener artículos de Internet. También pueden buscar texto en nombres de imágenes, buscar títulos, buscar subprogramas Java y buscar objetos ActiveX. AltaVista también afirma ser el primer motor de búsqueda que permite a los usuarios enviar o eliminar URL a la base de datos del índice web y puede conectarse en línea en 24 horas. Una de las novedades más interesantes de AltaVista es la búsqueda de todos los sitios web que tengan enlaces que apunten a una URL. AltaVista también ha realizado muchas innovaciones en la interfaz orientada al usuario. Coloca "consejos" debajo del área del cuadro de búsqueda para ayudar a los usuarios a expresar mejor sus términos de búsqueda. Estos consejos se actualizan con frecuencia, de modo que después de buscar varias veces, los usuarios verán muchas funciones interesantes que quizás nunca hayan conocido. Esta serie de funciones poco a poco han sido ampliamente adoptadas por otros motores de búsqueda. En 1997, AltaVista lanzó LiveTopics, un sistema de presentación gráfica para ayudar a los usuarios a encontrar lo que buscan entre miles de resultados de búsqueda.

Luego llegó HotBot. El 26 de septiembre de 1995, Eric Brewer, asistente de informática de UC Berkeley, y el estudiante de doctorado Paul Gauthier fundaron Inktomi (UC Berkeley anuncia Inktomi). El 20 de mayo de 1996, se fundó la empresa Inktomi y el poderoso HotBot apareció frente al mundo. Afirma ser capaz de rastrear e indexar más de 10 millones de páginas cada día, por lo que tiene mucho más contenido nuevo que otros motores de búsqueda. HotBot también utiliza ampliamente cookies para almacenar las preferencias de búsqueda personales de los usuarios. (Hotbot fue uno de los motores de búsqueda más populares en los años siguientes y luego fue adquirido por Lycos)

Northernlight se fundó en Cambridge, Massachusetts, en septiembre de 1995. En agosto de 1997, se lanzó oficialmente el motor de búsqueda Northernlight. Aparece. Era uno de los motores de búsqueda con la base de datos más grande, no tenía palabras vacías, tenía excelentes noticias de actualidad, una colección especial de más de 7.100 publicaciones, buena sintaxis de búsqueda avanzada y fue el primero en admitir la clasificación automática de resultados de búsqueda simples.

(El 16 de enero de 2002, el motor de búsqueda Northernlight fue cerrado y posteriormente adquirido por Divine. Sin embargo, en Nlresearch, aún puede utilizar el motor de búsqueda Northernlight seleccionando "Sólo World Wide Web")

1998 Antes En octubre, Google era simplemente BackRub, un pequeño proyecto de la Universidad de Stanford. En 1995, el estudiante de doctorado Larry Page comenzó a estudiar diseño de motores de búsqueda y registró el nombre de dominio google.com el 15 de septiembre de 1997. A finales de 1997, con la participación de Sergey Brin, Scott Hassan y Alan Steremberg, BachRub comenzó a proporcionar demostración. En febrero de 1999, Google completó la transformación de la versión Alpha a la versión Beta. Google reconoce el 27 de septiembre de 1998 como su cumpleaños.

Las innovaciones de Google en búsqueda integrada, compatibilidad con varios idiomas, interfaz de usuario y otras funciones como Pagerank, resúmenes dinámicos, instantáneas web, DailyRefresh, compatibilidad con formatos de documentos múltiples, búsqueda de personas en diccionarios de mapas, etc. al igual que Altavista, ahora son De una vez por todas, cambió la definición de buscador.

Antes de mediados de la década de 2000, aunque Google era muy elogiado por su precisión de búsqueda, su base de datos no era tan grande como la de otros motores de búsqueda y carecía de sintaxis de búsqueda avanzada, por lo que su valor de uso no era muy alto y su La promoción no fue rápida. No fue hasta que la base de datos se actualizó a mediados de 2000 y Yahoo la seleccionó como su motor de búsqueda que se disparó.

Fast (Alltheweb) se fundó en 1997 como resultado de una investigación académica en la Universidad Noruega de Ciencia y Tecnología (NTNU). En mayo de 1999, lanzó su propio motor de búsqueda AllTheWeb. El objetivo fundamental de Fast es ser el motor de búsqueda más grande y rápido del mundo, y ha estado cerca de lograrlo en los últimos años. La búsqueda web de Fast (Alltheweb) puede usar ODP para clasificar automáticamente, admitir búsquedas en Flash y PDF, admitir búsquedas en varios idiomas y también proporcionar búsqueda de noticias, búsqueda de imágenes, videos, MP3 y FTP, y tiene una búsqueda avanzada extremadamente poderosa. funciones.

Teoma se originó como un proyecto en la Universidad de Rutgers en 1998. El profesor Apostolos Gerasoulis llevó al profesor chino Tao Yang y a otros a fundar Teoma en Piscataway, Nueva Jersey. Debutó en la primavera de 2001. Fue adquirido por el motor de búsqueda basado en preguntas Ask Jeeves en septiembre de 2001 y fue lanzado nuevamente en abril de 2002. La base de datos de Teoma es todavía pequeña en la actualidad, pero tiene dos funciones destacadas: admite Refine, que es similar a la clasificación automática, y también proporciona Recursos, que es un directorio de enlaces profesional.

Wisenut fue fundada por la coreana Yeogirl Yun. La versión Beta se lanzó en la primavera de 2001 y la versión oficial el 5 de septiembre de 2001. En abril de 2002, fue adquirida por looksmart, un proveedor de directorios de categorías. Wisenut también tiene dos características destacadas: WiseGuide, que incluye clasificación automática y términos de búsqueda relacionados, y Sneak-a-Peek, que muestra una vista previa de los resultados de la búsqueda.

Gigablast fue fundado por el ex ingeniero de Infoseek Matt Wells. Demostró la versión pre-beta en marzo de 2002 y lanzó la versión beta el 21 de julio de 2002. La base de datos de Gigablast es todavía relativamente pequeña en la actualidad, pero también proporciona instantáneas de páginas web. Una característica especial es la indexación instantánea de páginas web, que se pueden buscar tan pronto como se envía su página web (nota: la función de pan de carne de estos spammers es. cerrado temporalmente).

Openfind se fundó en enero de 1998. Su tecnología se originó en el laboratorio GAIS dirigido por el profesor Wu Sheng de la Universidad Nacional Chung Cheng en Taiwán.

Al principio, Openfind era sólo un motor de búsqueda chino. Alguna vez fue el mejor motor de búsqueda chino. En su apogeo, también proporcionó motores de búsqueda chinos para los tres famosos portales Sina, Qimo y Yahoo. dividido gradualmente entre Baidu y Google. En junio de 2002, Openfind relanzó la versión Beta del motor de búsqueda Openfind basado en el Proyecto GAIS30, lanzó PolyRankTM, anunció que había rastreado un total de 3.500 millones de páginas web y comenzó a ingresar al campo de la búsqueda en inglés desde entonces. , las actualizaciones tecnológicas se han acelerado significativamente.

SkyNet de la Universidad de Pekín es el resultado de la investigación del proyecto científico y tecnológico clave del "Noveno Plan Quinquenal" nacional "Codificación china y descubrimiento de información distribuida en chino e inglés". Fue desarrollado por Network and Distributed Systems. Laboratorio del Departamento de Informática de la Universidad de Pekín en 1997. El 29 de octubre de 2019 se prestó oficialmente el servicio en CERNET. A principios de 2000, se estableció un nuevo grupo de investigación del motor de búsqueda Tianwang. Fue desarrollado con financiación del Fondo Nacional del Proyecto de Planificación del Desarrollo de la Investigación Básica 973. Contiene alrededor de 60 millones de páginas web. Potente función de búsqueda ftp.

Baidu En enero de 2000, Robin Li, el inventor de la patente de análisis de hipervínculos y ex ingeniero senior de Infoseek, y su amigo Xu Yong (Ph.D., Universidad de California, Berkeley) fundaron Baidu en Zhongguancun. , Pekín. La versión Beta del motor de búsqueda Baidu.com se lanzó en agosto de 2001 (anteriormente, Baidu solo proporcionaba motores de búsqueda para otros portales como Sohu, Sina, Tom, etc.), y el motor de búsqueda Baidu se lanzó oficialmente el 22 de octubre de 2001. Aunque Baidu sólo ofrece búsquedas en chino, actualmente contiene más de 90 millones de páginas web chinas, lo que la convierte probablemente en la base de datos china más grande. Otras características del motor de búsqueda de Baidu incluyen: instantáneas de páginas web, vista previa de páginas web/vista previa de todas las páginas web, términos de búsqueda relacionados, consejos para corregir errores tipográficos, búsqueda de noticias, búsqueda Flash y búsqueda rápida de información. Después del inicio del Proyecto Blitzen en marzo de 2002, las actualizaciones tecnológicas se aceleraron significativamente