Cómo determinar si pytorch usa gpu

1. Para ejecutar el modelo instanciado en paralelo en varias GPU, simplemente use el método nn.DataParallel(model). Puede usar torch.cuda.device_count() para verificar la cantidad de GPU.

2. Hay tres parámetros en nn.DataParallel. El primero es el modelo que debe paralelizarse, el segundo es la lista de GPU utilizadas en paralelo (todas las GPU disponibles se utilizan de forma predeterminada). el tercero es el modelo, el número de dispositivo donde se encuentra la salida (puede ser cpu, el valor predeterminado es GPU0).

3. Para verificar el efecto paralelo, definimos un modelo que imprime los tamaños de entrada y salida, y utilizamos 2 GPU para paralelizar el modelo.

4. Utilizando cualquier conjunto de datos, después de que el modelo genera los resultados, imprimimos el tamaño de los resultados de salida y los comparamos con los resultados impresos en el modelo.

5. En Modelo está el resultado impreso dentro del modelo, y Afuera es el resultado impreso fuera del modelo. La comparación muestra que el tamaño del lote de Outside es la suma de todos los modelos In, lo que significa que los datos de un lote se distribuyen uniformemente a cada GPU paralela para el cálculo y luego los resultados de salida se fusionan.