¿Cómo almacena Java datos en la base de datos MySQL en páginas?

Según tengo entendido, la función principal de su programa es:

Capturar el contenido de la página de otro sitio web

Después del análisis, guárdelo en su propia base de datos

Luego, muestre los datos que acaba de capturar en la página

Si tengo entendido que es correcto, lo que desea hacer es un recopilador de datos del sitio web, entonces

Hay Dos métodos de almacenamiento de paginación:

Opción A

Buscar una tabla en la base de datos para almacenar el número de secuencia actual. Por ejemplo, ahora hay 1000 datos en el sitio web. un campo que se puede calibrar El número de serie de los datos es la identificación del artículo del sitio web (estos datos deben encontrarlos usted mismo según la empresa)

Luego, cuando lea el sitio web de la otra parte, primero lea el html del sitio web en la memoria de Java y luego analice este HTML y lea una lista.

Al recorrer la lista, compare el ID del artículo con el ID del artículo almacenado en la base de datos. que la ID del artículo se ha almacenado, no se almacenará. Si no se ha almacenado antes, guárdelo nuevamente

Registre la cantidad de artículos almacenados actualmente durante el proceso transversal y deje de almacenar cuando llegue. un número específico (puede definirlo usted mismo, como 100 artículos), salga del ciclo y luego almacene la identificación del artículo actualmente recorrido en la base de datos

De esta manera, solo el número especificado (como 100 artículos) se almacena cada vez

Opción B

Si el sitio web que desea rastrear también está paginado, entonces rastrea una página a la vez y registra el número actual de páginas rastreadas. en la base de datos

Observando Obtenga los patrones de URL de diferentes datos de página del sitio web de la otra parte. Por ejemplo, si encuentra que los datos en la página x de su sitio web siempre se basan en el nombre de dominio/específico. page?page=x, luego, la próxima vez que rastree, lea el último rastreo de la base de datos. El número de páginas, luego agregue 1

Deletree la URL de la nueva página, luego acceda a ella y luego rastrearlo

De esta manera, solo se almacena una página de datos a la vez

Método de visualización de paginación:

Utilice la sintaxis de límite de MySQL: límite x, y , lo que significa leer y filas de datos a partir de la fila x

Supongamos que actualmente desea pasar a la página En la página, cada página tiene datos de fila. SQL debe escribirse así: select?*?from? user?limit?((page-1)*row), row

Por ejemplo, hay 20 filas en una página, el método de escritura en la página 3 select?*?from?user?limit? 40,20