Red de conocimiento informático - Descarga de software - Escriba un programa de rastreo web (también conocido como araña web) en Java, que es un motor de búsqueda web. buscar soluciones

Escriba un programa de rastreo web (también conocido como araña web) en Java, que es un motor de búsqueda web. buscar soluciones

Hay muchos métodos, déjame decirte uno.

Puede utilizar HttpClient para obtener el código fuente de la página web y luego buscar cada enlace en el código fuente.

El siguiente código puede obtener el código fuente strURL de la página web como enlace de la página web

HttpClient client = new HttpClient();

client.getHttpConnectionManager() getParams().setConnectionTimeout(500);

client.getHttpConnectionManager().getParams().setSoTimeout(500);

método = nuevo PostMethod(strURL);

client.executeMethod(método);

webStatus += método.getStatusLine().getStatusCode()+",";

if(! "200".equals ( método.getStatusLine().getStatusCode()+"")){

if(! "".equals(method.getStatusLine().getStatusCode()+""))

return "";

}

InputStream es = método.getResponseBodyAsStream();

BufferedReader br = nuevo BufferedReader(nuevo InputStreamReader(es, currEncoding) ) ;

StringBuffer stringBuffer = new StringBuffer();

String str = "";

while ((str = br.readLine()) != null ) {

stringBuffer.append(str);

}

content = stringBuffer.toString();

No lo hago No te conozco Si hay alguna pregunta específica, algunas seguirán haciéndote.