¿Qué conocimientos básicos se necesitan para el aprendizaje profundo?

Fundamentos matemáticos

Si puedes leer sin problemas las fórmulas matemáticas en artículos de aprendizaje profundo y puedes derivar nuevos métodos de forma independiente, significa que ya tienes los fundamentos matemáticos necesarios.

Dominar los conocimientos matemáticos contenidos en los cuatro cursos matemáticos de análisis matemático, álgebra lineal, teoría de la probabilidad y optimización convexa, y estar familiarizado con las teorías y métodos básicos del aprendizaje automático son los requisitos previos para ingresar al aprendizaje profundo. tecnología. Porque ya sea comprender las operaciones y la derivación de gradiente de cada capa en una red profunda, formalizar el problema o derivar la función de pérdida, es inseparable de una base sólida en matemáticas y aprendizaje automático.

Análisis Matemático

En los cursos de matemáticas avanzadas que ofrecen las carreras de ingeniería, el principal contenido que se estudia es el cálculo. Para la investigación y aplicaciones generales del aprendizaje profundo, es necesario centrarse en revisar conocimientos básicos como funciones y límites, derivadas (especialmente la derivación de funciones compuestas), diferenciales, integrales, expansiones de series de potencias, ecuaciones diferenciales, etc. En el proceso de optimización del aprendizaje profundo, resolver la primera derivada de una función es el trabajo más básico. Cuando piensas en el teorema del valor medio diferencial, la fórmula de Taylor y los multiplicadores de Lagrange, no deberías pensar que te resultan familiares.

Álgebra lineal

Las operaciones en el aprendizaje profundo a menudo se expresan como operaciones vectoriales y matriciales. El álgebra lineal es una rama de las matemáticas que toma vectores y matrices como objetos de investigación. Los aspectos que deben revisarse incluyen vectores, espacios lineales, ecuaciones lineales, matrices, operaciones matriciales y sus propiedades, y cálculo vectorial. Cuando se trata de matrices jacobianas y hessianas, es necesario conocer la forma matemática exacta; cuando se le da una función de pérdida en forma matricial, puede resolver fácilmente el gradiente.

Teoría de la probabilidad

La teoría de la probabilidad es una rama de las matemáticas que estudia las leyes cuantitativas de los fenómenos aleatorios. Las variables aleatorias tienen muchas aplicaciones en el aprendizaje profundo, ya sea el descenso de gradiente estocástico o la inicialización de parámetros. Los métodos (como Xavier), o el algoritmo de regularización de abandono, son inseparables del soporte teórico de la teoría de la probabilidad. Además de dominar los conceptos básicos de los fenómenos aleatorios (como experimentos aleatorios, espacio muestral, probabilidad, probabilidad condicional, etc.), variables aleatorias y su distribución, también es necesario tener algunos conocimientos de la ley de los grandes números y la ley central. teorema de límite, estimación de parámetros, prueba de hipótesis, etc. Comprenda y, además, podrá aprender un poco más sobre los procesos estocásticos y las cadenas aleatorias de Markov.

Optimización convexa

Combinada con los tres cursos básicos de matemáticas anteriores, se puede decir que la optimización convexa es un curso aplicado. Pero para el aprendizaje profundo, debido a que los métodos de optimización de aprendizaje profundo comúnmente utilizados a menudo solo usan información de gradiente de primer orden para el descenso de gradiente estocástico, los profesionales en realidad no necesitan mucho conocimiento de optimización convexa "avanzado". Comprender los conceptos básicos de conjuntos convexos, funciones convexas y optimización convexa, dominar los conceptos generales de problemas duales, dominar métodos comunes de optimización sin restricciones, como el método de descenso de gradiente, el método de descenso de gradiente estocástico y el método de Newton, y comprender la igualdad de un punto restringida. Método de optimización restringido por optimización y desigualdad, que puede cumplir con los requisitos teóricos para comprender los métodos de optimización en el aprendizaje profundo.

Aprendizaje automático

En el análisis final, el aprendizaje profundo es solo un tipo de método de aprendizaje automático, mientras que el aprendizaje automático estadístico es la metodología de facto en el campo del aprendizaje automático. Tomando el aprendizaje supervisado como ejemplo, es necesario dominar tecnologías representativas de aprendizaje automático, como la regresión y clasificación de modelos lineales, máquinas de vectores de soporte y métodos de núcleo, y métodos de bosque aleatorio, y comprender la selección e inferencia de modelos, la tecnología de regularización de modelos y el modelo. integración, método Bootstrap, modelo gráfico de probabilidad, etc. Para ir un paso más allá, también es necesario comprender técnicas especializadas como el aprendizaje semisupervisado, el aprendizaje no supervisado y el aprendizaje por refuerzo.