¿Qué significa la inclusión en los motores de búsqueda?

Es decir, Google restringirá los robots en un determinado centro de datos para completar este trabajo, y no habrá ninguna situación en la que dos centros de datos indexen la misma versión de la página web al mismo tiempo. No hay ningún error en esta afirmación. Parece que en el registro de acceso al servidor, a menudo podemos ver que GoogleBot procedente de diferentes IP visita la misma página web varias veces en un corto período de tiempo, lo que demuestra la existencia de FreshBot. La información registrada por FreshBot incluye la URL de la página web, TimeStamp (la marca de tiempo de la creación o actualización de la página web) y la información principal de la página web (Nota: esto es controvertido y muchas personas creen que FreshBot No lee la información de la página web de destino, pero esta parte del trabajo se deja a DeepBot. Sin embargo, el autor prefiere la declaración anterior, porque la lista de URL enviada por FreshBot a DeepBot excluirá las páginas cuya indexación e inclusión están prohibidas para mejorar la eficiencia. ?