¿Cuál es la diferencia entre DNN y DBN en el aprendizaje profundo?

Como puede verse por el nombre, DNN es una red neuronal profunda, similar a una red neuronal superficial. Su método de entrenamiento también es BP, sin introducir entrenamiento previo no supervisado. ReLU se utiliza en la función de activación de la capa oculta para mejorar la "dispersión del gradiente" y mejorar el fenómeno de sobreajuste mediante el descarte de regularización. Softmax se utiliza como función de activación en la capa de salida. La función objetivo es la entropía cruzada.

Es un modelo discriminante supervisado.

La estructura de aprendizaje profundo del codificador automático de eliminación de ruido apilado (SDA) es similar a DBN y está "apilada" con una red no supervisada. Tiene un entrenamiento previo en capas para encontrar mejores parámetros y finalmente usa BP para ajustar la red. En comparación con DNN, resulta útil inicializar la matriz de pesos utilizando varios algoritmos. Sin embargo, las deficiencias también son evidentes. La codiciosa matriz de pesos de aprendizaje de cada capa también lleva demasiado tiempo de entrenamiento. Frente a una gran cantidad de datos, el efecto de dnn (relu) no es peor que el de la estructura de aprendizaje profundo previamente entrenada. Al final, DBN también fue considerado un "modelo de generación".

CNN tampoco tiene un proceso de preentrenamiento y el algoritmo de entrenamiento también utiliza BP. Porque agregar convolución permite un mejor procesamiento de datos 2D, como imágenes y sonidos. Y actualmente parece estar funcionando mejor que otras redes. Dnn/dbn/sda todos manejan datos 1D.