Cómo configurar un host de aprendizaje profundo
¿Quién puede evitar la “confusión de GPU” al utilizar IA? A continuación se muestra una lista de algunas GPU adecuadas para el entrenamiento de modelos de aprendizaje profundo y una comparación de ellas.
Comparación de CPU y GPU
La CPU es un excelente líder con múltiples funciones. Su ventaja radica en sus sólidas capacidades de programación, gestión y coordinación, seguidas de su potencia informática. La GPU equivale a un empleado con "mucha potencia informática" que acepta la programación de la CPU.
La siguiente figura es el diagrama de estructura interna del procesador:
DRAM es una memoria dinámica de acceso aleatorio y es una memoria común del sistema.
Memoria caché: Como memoria caché en el ordenador, es una memoria pequeña pero de alta velocidad ubicada entre la CPU y la memoria principal DRAM.
La unidad lógica aritmética ALU es un circuito lógico combinacional que puede implementar múltiples conjuntos de operaciones aritméticas y operaciones lógicas.
Cuando necesitas hacer lo mismo con big data, la GPU es más adecuada. Cuando necesitas hacer muchas cosas con los mismos datos, la CPU es la adecuada.
¿Qué puede hacer una GPU? En cuanto a gráficos y operaciones matriciales grandes, como los algoritmos de aprendizaje automático, la GPU puede mostrar su talento.
En resumen, la CPU es buena para operaciones complejas, como controlar la situación general, y la GPU es buena para realizar operaciones repetitivas simples en big data. Las CPU son profesores que realizan trabajos mentales complejos, mientras que las GPU son trabajadores manuales que realizan cálculos paralelos masivos.
El aprendizaje profundo es un modelo de red matemático establecido para simular el sistema nervioso del cerebro humano. La característica más importante de este modelo es que requiere grandes datos para su entrenamiento. Por lo tanto, los requisitos de los procesadores de computadora requieren una gran cantidad de cálculos repetidos en paralelo. Las GPU tienen esta experiencia. Por lo tanto, las GPU salen a la luz para asumir tareas importantes.
Versión demasiado larga para leer
A partir de febrero de 2020, las siguientes GPU pueden entrenar todos los modelos de lenguaje e imagen actuales: RTX 8000: 48 GB de VRAM, alrededor de $5500 RTX 6000: 24 GB de VRAM, ~$4000 Titan RTX: 24GB VRAM, ~$2500
Las siguientes GPU pueden entrenar la mayoría (pero no todos) los modelos: RTX 2080 Ti: 11GB VRAM, ~$1150 GTX 1080 Ti: 11GB VRAM, una máquina reacondicionada cuesta alrededor de $800 RTX 2080: 8GB VRAM, alrededor de $720 RTX 2070: 8GB VRAM, alrededor de $500
Las siguientes GPU no son adecuadas para entrenar los modelos actuales: RTX 2060: 6GB VRAM, alrededor de $359 dólares.
El entrenamiento en esta GPU requiere un tamaño de lote relativamente pequeño y la aproximación de distribución del modelo se verá afectada, por lo que la precisión del modelo puede ser menor.
Consejos de compra de GPU
RTX 2060 (6 GB): Quieres explorar el aprendizaje profundo en tu tiempo libre. RTX 2070 o 2080 (8 GB): te tomas en serio el aprendizaje profundo, pero el presupuesto de tu GPU es de solo entre $600 y $800. 8 GB de VRAM están disponibles en la mayoría de los modelos. RTX 2080 Ti (11 GB): te tomas en serio el aprendizaje profundo y el presupuesto de tu GPU ronda los 1200 dólares. El RTX 2080 Ti es aproximadamente un 40% más rápido que el RTX 2080. Titan RTX y Quadro RTX 6000 (24 GB): estás utilizando mucho modelos modernos pero no tienes el presupuesto para un RTX 8000. Quadro RTX 8000 (48 GB): o estás buscando invertir en el futuro o estás buscando el modelo más reciente y genial para 2020. NV TESLA V100 (32 GB): si necesita utilizar CUDA en el centro de datos de NVIDIA, entonces TESLA es imprescindible. Modelo de imagen
Tamaño máximo de lote antes de quedarse sin memoria: * indica que la GPU no tiene suficiente memoria para ejecutar el modelo.
Rendimiento (en imágenes procesadas por segundo): * indica que la GPU no tiene suficiente memoria para ejecutar el modelo.
Modelo de idioma
Tamaño máximo de lote antes de quedarse sin memoria: * indica que la GPU no tiene suficiente memoria para ejecutar el modelo.
Rendimiento: * La GPU no tiene suficiente memoria para ejecutar el modelo.
Rendimiento después de la normalización usando resultados de Quadro RTX 8000
Modelo de imagen
Modelo de idioma
Conclusión
Modelos de idioma Benefíciese de una memoria GPU más grande que los modelos de imagen. Observe que la curva de la derecha es más pronunciada que la de la izquierda. Esto sugiere que los modelos de lenguaje están más limitados por el tamaño de la memoria, mientras que los modelos de imágenes están más limitados por la potencia computacional. Las GPU con VRAM más grande tienen un mejor rendimiento porque el uso de lotes más grandes ayuda a saturar los núcleos CUDA. Las GPU con mayor VRAM logran tamaños de lote proporcionalmente mayores. Cualquiera con algún conocimiento de matemáticas en la escuela primaria sabe que esto tiene sentido: una GPU con 24 GB de VRAM puede acomodar lotes 3 veces más grandes que una GPU con 8 GB de VRAM. Los modelos de lenguaje de secuencia larga consumen cantidades de memoria desproporcionadamente grandes en comparación con otros modelos porque la atención es un término cuadrático de la longitud de la secuencia.
Nota: Modelo de prueba
Modelo de imagen:
Modelo de lenguaje:
Cloudhin se centra en el aprendizaje profundo y la personalización de servidores informáticos de alto rendimiento , optimizado y configurado para los principales marcos de aprendizaje profundo, como TensorFlow, Caffe 2, Theano o Torch, proporcionando potentes capacidades de aprendizaje profundo en el escritorio.
Haga clic para ingresar la descripción de la imagen
Haga clic para ingresar la descripción de la imagen