Red de conocimiento informático - Problemas con los teléfonos móviles - r¿Cómo resolver el problema de la memoria insuficiente al leer grandes conjuntos de datos? ¿Existe algún método eficaz con Linux?

r¿Cómo resolver el problema de la memoria insuficiente al leer grandes conjuntos de datos? ¿Existe algún método eficaz con Linux?

Un método relativamente simple y tosco es establecer el parámetro nrows en fread.

rTodas las funciones que leen datos tienen dos parámetros, nrows y skip. Puede escribir un bucle para leer un archivo en secciones, omitir las leídas anteriormente y usar nrows para controlar el número máximo de líneas leídas para evitar memoria insuficiente.

Escriba archivos localmente después de la segmentación, use rm para eliminar variables más grandes y use gc() para liberar esta parte de la memoria.

-La ventaja es que es simple y tosco y está disponible en múltiples plataformas. La desventaja es que es muy lento...

Si es posible, se recomienda solicitar un servidor para ejecutarlo. Por ejemplo, los estudiantes pueden preguntar a sus profesores si tienen servidores para informática a gran escala.

Además, el límite de memoria del sistema Unix es mejor que el de Windows. Desafortunadamente, no sé la forma correcta de abrir QAQ.