Cómo cancelar el nombre de dominio raíz que se envió a Baidu

Puede colocar robot.txt en el directorio del sitio web y prohibir que los rastreadores de arañas de Baidu lo busquen e incluyan.

Hay muchos sitios web sobre la sintaxis de robot.txt

El archivo "robots.txt" contiene uno o más registros separados por líneas en blanco (CR, CR/NL o NL como terminador), el formato de cada registro es el siguiente:

":"

Puede utilizar # para la anotación específica. El método de uso es el mismo que la convención en UNIX. Los registros en este archivo generalmente comienzan con una o más líneas de User-agent, seguidas de varias líneas Disallow. Los detalles son los siguientes:

User-agent:

El valor de. este elemento es Para describir el nombre del robot del motor de búsqueda, en el archivo "robots.txt", si hay varios registros de agente de usuario, significa que el protocolo restringirá varios robots. Para este archivo, debe haberlos. al menos un Registro de Usuario-agente. Si el valor de este elemento se establece en *, el protocolo es válido para cualquier robot. En el archivo "robots.txt", solo puede haber un registro como "User-agent: *".

No permitir:

El valor de este elemento se utiliza para describir una URL a la que no desea que se acceda. Esta URL puede ser una ruta completa o cualquier ruta parcial. terminando en Disallow El robot no accederá a ninguna de las URL al principio. Por ejemplo:

"Disallow: /help" no permite que los motores de búsqueda accedan a /help.html y /help/index.html, mientras que "Disallow: /help/" permite que los robots accedan a /help. html y no puede acceder a /help/index.html.

Si algún registro Disallow está vacío, significa que se permite el acceso a todas las partes del sitio web. Debe haber al menos un registro Disallow en el archivo "/robots.txt". Si "/robots.txt" es un archivo vacío, el sitio web está abierto a todos los robots de los motores de búsqueda.

Si aún no entiendes nada, búscalo en Google y Baidu y obtendrás mucho~~