Cómo escribir el archivo robot.txt de SEO, y cómo bloquear algunas páginas web que han incluido. Por favor, dame algún consejo. Si no lo explicas claramente, no recibirás puntos.
Si es Google, la respuesta es muy rápida; si es Baidu, incluso si lo agregas, puede incluirse y la velocidad de eliminación también es muy lenta. Mi blog de SEO para parejas es bueno. ejemplo. Para bloquear un sitio web completo, utilice una barra diagonal.
No permitir: /?Para bloquear un directorio y todo su contenido, agregue una barra diagonal después del nombre del directorio.
No permitir: /directorio inútil/? Para bloquear una página web, indique la página web.
No permitir: /PrivateDocuments.html? Para eliminar una imagen específica de Google Imágenes, agregue lo siguiente:
User-agent: Googlebot-Image
No permitir: /images/dog.jpg ?Para eliminar todas las imágenes de su sitio de Google Imágenes, ejecute el siguiente comando:
Agente de usuario: Googlebot-Image
No permitir: /?Para bloquear archivos de un tipo de archivo específico (por ejemplo, .gif), utilice lo siguiente:
Agente de usuario: Googlebot
Disallow: /*.gif$? siendo rastreado y al mismo tiempo permitiendo que aparezcan anuncios de Adsense en esas páginas, desactive todos los robots excepto Mediapartners-Google. Esto evita que la página aparezca en los resultados de búsqueda y permite que los robots de Mediapartners-Google analicen la página para determinar qué anuncios mostrar. Los bots de Mediapartners-Google no comparten páginas web con otros agentes de usuario de Google. Por ejemplo:
Agente de usuario: *
No permitir: /
Agente de usuario: Mediapartners-Google
Permitir: /< / p>
El robot de Google (pero no todos los motores de búsqueda) sigue ciertos principios de coincidencia de patrones. Para hacer coincidir caracteres consecutivos, utilice un asterisco (*). Por ejemplo, para bloquear el acceso a todos los subdirectorios que comienzan con privado, utilice lo siguiente:
Agente de usuario: Googlebot
Disallow: /private*/?Para bloquear el acceso a todos Para acceder una URL que contiene un signo de interrogación (?) (específicamente, una URL que comienza con su nombre de dominio, seguida de cualquier cadena, luego un signo de interrogación y luego cualquier cadena), use lo siguiente:
Usuario- agente: Googlebot
No permitir: /*?Para especificar una coincidencia al final de una URL, utilice $. Por ejemplo, para bloquear todas las URL que terminan en .xls, use lo siguiente:
Agente de usuario: Googlebot
No permitir: /*.xls$ Puede hacer coincidir este patrón con Usado en junto con la directiva Allow. Por ejemplo, si ? representa un ID de sesión, es posible que desee excluir cualquier URL que contenga ? para asegurarse de que Googlebot no rastree páginas duplicadas. Pero las URL que terminan en ? pueden ser versiones de la página que desea incluir.
En este caso, puede configurar su archivo robots.txt de la siguiente manera:
Agente de usuario: *
Permitir: /*?$
No permitir: / *?Disallow: /*? La directiva bloqueará todas las URL que contengan ? (específicamente, bloqueará cualquier URL que comience con su nombre de dominio, seguida de cualquier cadena, luego un signo de interrogación y luego cualquier URL de cadena).
Permitir: La directiva /*?$ permitirá cualquier URL que termine en ? (específicamente, permitirá cualquier URL que comience con su nombre de dominio, seguida de cualquier cadena, luego ?, y nada después de ? URL). que contenga caracteres).