Análisis sobre la dirección de desarrollo de la tecnología VFP en la recopilación de datos web
Análisis de la dirección de desarrollo de la tecnología VFP en la recopilación de datos de páginas web
A medida que la tecnología de la información cambia el desarrollo de la educación universitaria, la construcción de recursos digitales juega un papel importante en la construcción del aprendizaje universitario. los recursos y la construcción de organizaciones de aprendizaje juega un papel importante. La construcción de recursos digitales es un recurso didáctico básico importante que satisface las necesidades de la enseñanza moderna. Es una fuerza impulsora importante para que las escuelas, los profesores y los estudiantes aprendan, se comuniquen, compartan e innoven. Todas las universidades consideran la construcción de recursos digitales como una tarea clave. Sin embargo, muchos colegios y universidades enfrentan fondos insuficientes para la construcción de recursos digitales. Además de comprar recursos externos, también necesitan desarrollar algunos recursos digitales internamente. En cuanto a la construcción de recursos digitales, la construcción de recursos digitales de varias universidades tiene necesidades generales e individuales, que no pueden resolverse mediante adquisiciones externas. Bajo esta premisa, el autor intentó utilizar la tecnología Visual FoxPro (en lo sucesivo, VFP) para construir un sistema que pueda recopilar datos de páginas web para recopilar recursos de aprendizaje en línea sin problemas de derechos de autor y reunir recursos de aprendizaje de diferentes fuentes en la misma base de datos. para construir temas Biblioteca de recursos digitales.
1. La recopilación de recursos digitales en colegios y universidades requiere tecnología VFP
1.1 Selección desde la perspectiva de satisfacer las necesidades de servicios básicos
Desde la perspectiva de proporcionar servicios básicos , qué tecnología elegir Al desarrollar, primero partimos de las necesidades, si puede satisfacer las necesidades reales del trabajo y si el sistema puede funcionar de manera estable y eficiente. En lugar de simplemente perseguir el avance. El más avanzado no es necesariamente el que mejor cubre las necesidades. La recopilación de datos realizada por el autor es solo una herramienta gradual en la etapa de recopilación de datos en la etapa inicial de la construcción de recursos digitales y puede satisfacer el trabajo de captura de datos de las universidades dentro del rango de nodos de tiempo. Por lo tanto, bajo la premisa de una orientación clara de la demanda, lo más razonable es utilizar los medios más económicos para lograr un funcionamiento estable y eficiente de los servicios básicos. VFP tiene las características tanto de herramientas de desarrollo como de bases de datos, puede lograr una conexión perfecta con operaciones y datos y puede satisfacer plenamente las necesidades de los usuarios en la recopilación y organización temprana de datos.
1.2 Usuarios existentes y derivados de tecnología
La base de datos VFP se ha utilizado ampliamente en colegios y universidades en los últimos diez años. Los sistemas de gestión de muchos departamentos de servicios docentes se han desarrollado en base a VFP. Por ejemplo, los sistemas de administración académica y los sistemas académicos y de ingeniería de muchas universidades se desarrollan en base a VFP. Por lo tanto, hay muchos usuarios de VFP en colegios y universidades. Al construir un nuevo sistema, lo primero que se debe considerar es la compatibilidad del acoplamiento del sistema, preferiblemente los sistemas agregados posteriormente deberían poder acoplarse sin problemas con el sistema anterior. Además, debido a que VFP es simple y fácil de aprender, muchos maestros han explorado y aprendido gradualmente durante el uso y mantenimiento del sistema, y gradualmente han dominado las habilidades básicas de desarrollo de VFP. Por lo tanto, utilizar VFP para desarrollar un sistema de recopilación de datos es una herramienta que puede ser aceptada por el entorno de la aplicación y reconocida por los usuarios.
1.3 Ventajas técnicas propias de VFP
VFP es una herramienta de desarrollo y también una base de datos en sí. La base de datos VFP se ha desarrollado hasta ser bastante madura. El sistema VFP es pequeño y compacto en comparación con bases de datos como Oracle, no ocupa demasiado espacio de almacenamiento. En comparación con otras bases de datos, el desarrollo de aplicaciones VFP es más eficiente. En comparación con algunos lenguajes de desarrollo, VFP en sí tiene potentes funciones de consulta. Por lo tanto, VFP es una combinación de desarrollo y base de datos, que es fácil de aprender y flexible de operar. Al mismo tiempo, VFP tiene una sólida interoperabilidad y soporte de red.
2. Diseño de un sistema de recopilación de datos web
2.1 Introducción a la tecnología VFP
VFP es un software de desarrollo de bases de datos lanzado por Microsoft, que proporciona una variedad de imágenes herramientas de programación, destacando la programación orientada a objetos. Admite comandos y funciones del lenguaje de consulta estructurado (SQL). Debido a sus ricas funciones, flexibilidad y conveniencia, y su temprana aparición, ha sido muy popular en China durante un tiempo. La última versión es la 9.0. Hoy en día, debido a su estabilidad, eficiencia, facilidad de aprendizaje y uso, una gran cantidad de colegios y universidades todavía lo utilizan como una pequeña base de datos, y muchos software front-end de sistemas de gestión de enseñanza en línea también utilizan VFP para desarrollarse.
2.2 Objetivos del diseño del sistema
¿Aplicamos el sistema de recopilación de datos de páginas web desarrollado por VFP al subproyecto de construcción de recursos digitales de la escuela? ¿La recopilación de contenido de videos de aprendizaje con derechos de autor de código abierto, específicamente? , es analizar y rastrear datos de las URL de fuentes de video con derechos de autor de código abierto proporcionadas por muchas escuelas extranjeras famosas y, finalmente, extraer, indexar y guardar datos de video y texto con derechos de autor de código abierto en la biblioteca de recursos de la escuela.
2.3 Estructura funcional del sistema
El sistema de recopilación de datos de páginas web desarrollado por VFP adopta un diseño modular, que consta de algunos componentes principales y módulos complementarios. Los componentes principales se pueden configurar y los componentes del sistema están compuestos por una consola de administración, un controlador de secuencia de rastreo, un controlador central, un procesador de control de flujo y un control de subprocesos múltiples. La consola de administración permite a los operadores configurar parámetros y administrar tareas. El controlador de orden de rastreo controla el orden y las propiedades relacionadas de las actividades de rastreo. La tarea de captura se inicializa pasando la información de la tarea al controlador central después de la clasificación. El controlador central procesa la información de URL de la cola y la información de URL completa, y pasa las instrucciones de la tarea al procesador de control de flujo del 'área de trabajo central' del trabajo de recopilación. El procesamiento de tareas del procesador de control de flujo central opera en forma de transmisión e incluye tres partes: lectura previa, recuperación y escritura. El funcionamiento del procesador de control de flujo es multiproceso, lo que garantiza una alta eficiencia de toda la colección.
¿En el área de trabajo principal de recopilación? En el procesador de control de flujo, el proceso de trabajo es el siguiente: primero, después de recibir la URL de la cola enviada desde el controlador central, comienza la lectura previa. -La lectura es principalmente hacer algún trabajo de preprocesamiento, retrasar y reprocesar el procesamiento. A continuación, se realiza el trabajo de extracción. La extracción implica principalmente obtener recursos http, realizar la conversión de IP, emitir solicitudes de encabezado http y recibir respuestas, y luego extraer las etiquetas del HTML de destino. Finalmente, se realiza la escritura. La tarea de escritura es almacenar el registro de rastreo, devolver el contenido rastreado y las características extraídas, filtrar y realizar la acción de almacenamiento. Una vez completado este proceso, el procesador de control de flujo enviará la URL completa al controlador central para su mantenimiento final.
3. Implementación del sistema
3.1 Entorno de hardware para la ejecución del programa
El sistema operativo es Microsoft Windows XP o superior, la memoria es 1G o superior y la el disco duro ocupa aproximadamente 230 MB, el rastreo de datos utiliza 4 MB de banda ancha ADSL.
3.2 Extractos del programa principal
3.3 Conclusiones experimentales
Aplicamos el sistema de recopilación de datos de páginas web desarrollado por VFP al subproyecto de construcción de recursos digitales escolares. estudio de derechos de autor de código abierto Para recopilar contenido de video, analizar y rastrear datos de URL de fuentes de video de código abierto con derechos de autor proporcionadas por muchas escuelas extranjeras prestigiosas y probar el rendimiento del sistema de recopilación de datos de páginas web desarrollado por VFP para proporcionar pruebas para mejoras posteriores. Establecimos cuatro indicadores para probar los cuatro aspectos de la precisión de la recopilación de datos, la tasa de recuperación, la tasa de cobertura y la eficiencia del programa. La tasa de precisión se refiere a si el sistema de recopilación de datos de la página web desarrollado por VFP puede extraer correctamente la URL. Cuanto mayor sea la tasa de precisión, mejor será el efecto de rastreo; la tasa de recuperación se refiere a la relación entre los datos detectados por el rastreador del programa y los datos; que se puede rastrear. Cuanto mayor sea la tasa de recuperación, mejor será el rendimiento del rastreador. La cobertura se refiere a la cobertura de la colección de sitios web especificada, y la cobertura debe ser completa, la eficiencia del programa se refiere a la velocidad y estabilidad del sistema de recopilación de datos de la página web desarrollado por VFP. Gracias a un funcionamiento ininterrumpido y sin problemas las 24 horas del día, se han recopilado más de 3 millones de páginas de datos de páginas web. La precisión, la tasa de recuperación, la tasa de cobertura y la eficiencia del programa de recopilación de datos logran resultados ideales.
4. Conclusión
Este artículo describe un flujo de trabajo y un algoritmo de rastreo de un rastreador de recopilación de datos de páginas web basado en tecnología VFP, que controla el rastreo a partir del análisis y extracción de enlaces y contenido de páginas web. , se proporcionan los procedimientos básicos para la implementación específica y los resultados de las pruebas son bastante satisfactorios. Aunque el sistema de recopilación de datos de páginas web basado en la tecnología VFP en sí es liviano, en vista de la demanda actual de construcción de recursos digitales en colegios y universidades, se ha demostrado que la solución propuesta en este artículo puede completar de manera eficiente la recopilación de datos de páginas web. Es un método económico, práctico, estable y eficiente. Juega un papel importante en la construcción de recursos digitales en las universidades. Sin embargo, aún es necesario mejorar el rendimiento de este sistema, especialmente la selección prioritaria de URL.